Většina postupů odhadu zahrnuje hledání parametrů, které minimalizují (nebo maximalizují) určitou objektivní funkci. Například s OLS minimalizujeme součet čtverců zbytků. S odhadem maximální pravděpodobnosti maximalizujeme funkci pravděpodobnosti protokolu. Rozdíl je triviální: minimalizaci lze převést na maximalizaci pomocí negativu objektivní funkce.
Někdy lze tento problém vyřešit algebraicky a vytvořit řešení v uzavřené formě. S OLS vyřešíte systém podmínek prvního řádu a získáte známý vzorec (ačkoli k vyhodnocení odpovědi stále pravděpodobně potřebujete počítač). V ostatních případech to není matematicky možné a je třeba hledat hodnoty parametrů pomocí počítače. V tomto případě hraje větší roli počítač a algoritmus. Jedním z příkladů je nelineární metoda Least Squares. Nezískáte explicitní vzorec; vše, co dostanete, je recept, který potřebujete k implementaci do počítače. Recept může začít úvodním odhadem, jaké mohou být parametry a jak se mohou lišit. Poté vyzkoušíte různé kombinace parametrů a uvidíte, který vám dává nejnižší / nejvyšší hodnotu objektivní funkce. Jedná se o přístup hrubou silou a trvá dlouho. Například s 5 parametry s 10 možnými hodnotami musíte vyzkoušet kombinace $ 10 ^ 5 $, a to vás jen přivede do blízkosti správné odpovědi, pokud máte štěstí. Tento přístup se nazývá vyhledávání v mřížce.
Nebo můžete začít odhadem a tento odhad zpřesnit v určitém směru, dokud vylepšení v objektivní funkci nebude menší než určitá hodnota. Obvykle se jim říká gradientové metody (i když existují i jiné, které nepoužívají gradient k výběru, kterým směrem se vydat, například genetické algoritmy a simulované žíhání). Některé takové problémy zaručují rychlé nalezení správné odpovědi (kvadratické objektivní funkce). Jiní takovou záruku neposkytují. Možná se obáváte, že jste uvízli v místním, nikoli globálním, optimu, takže zkusíte řadu počátečních odhadů. Možná zjistíte, že divoce odlišné parametry vám dávají stejnou hodnotu objektivní funkce, takže nevíte, kterou sadu vybrat.
Tady je pěkný způsob, jak získat intuici. Předpokládejme, že jste měli jednoduchý exponenciální regresní model, kde jediným regresorem je intercept: \ begin {equation} E [y] = \ exp \ {\ alpha \} \ end {equation}
Objektivní funkce je \ begin {equation} Q_N (\ alpha) = - \ frac {1} {2N} \ sum_i ^ N \ left (y_i - \ exp \ {\ alpha \} \ right) ^ 2 \ end {equation}
S tímto jednoduchým problémem jsou oba přístupy proveditelné. Řešení uzavřené formy, které získáte odvozením derivátu, je $ \ alpha ^ * = \ ln \ bar y $. Můžete také ověřit, že vám cokoli jiného dává vyšší hodnotu objektivní funkce, místo toho připojíte $ \ ln (\ bar y + k) $. Pokud jste měli nějaké regresory, analytické řešení zmizí z okna.