Jde o to, že někdy mohou různé modely (pro stejná data) vést k funkcím pravděpodobnosti, které se liší multiplikativní konstantou, ale informační obsah musí být jasně stejný. Příklad:

Modelujeme $ n $ nezávislé Bernoulliho experimenty, které vedou k datům $ X_1, \ tečky, X_n $ , každá s distribucí Bernoulli s parametrem (pravděpodobnost) $ p $ . To vede k funkci pravděpodobnosti $$ \ prod_ {i = 1} ^ np ^ {x_i} (1-p) ^ {1-x_i} $$ Nebo my může shrnout data podle binomicky distribuované proměnné $ Y = X_1 + X_2 + \ dotsm + X_n $ , která má binomické rozdělení, což vede k funkci pravděpodobnosti $$ \ binom {n} {y} p ^ y (1-p) ^ {ny} $$ který jako funkce neznámého parametru $ p $ , je úměrný dřívější funkci pravděpodobnosti. Tyto dvě funkce pravděpodobnosti jasně obsahují stejné informace a měly by vést ke stejným závěrům!

A podle definice se považují za stejnou funkci pravděpodobnosti.

Další hledisko: pozorujte, že když jsou funkce pravděpodobnosti použity v Bayesově větě, podle potřeby pro Bayesian analýza, takové multiplikativní konstanty jednoduše zruší! takže jsou pro bayesiánskou inferenci zjevně irelevantní. Stejně tak se zruší při výpočtu poměrů pravděpodobnosti, jak se používá v testech optimální hypotézy (Neyman-Pearsonovo lemma.) A nebude to mít žádný vliv na hodnotu odhadů maximální pravděpodobnosti. Vidíme tedy, že ve většině častých závěrů nemůže hrát roli.

Můžeme argumentovat ještě z jiného hlediska. Výše uvedená Bernoulliho funkce pravděpodobnosti (dále jen termín „hustota“) je ve skutečnosti hustota s ohledem na míru počítání, tj. Míru na nezáporných celých číslech s hmotností jedna pro každé nezáporné celé číslo. Mohli jsme ale definovat hustotu s ohledem na některé další dominující míry. V tomto příkladu se to bude zdát (a je) umělé, ale ve větších prostorech (funkčních prostorech) je to opravdu zásadní! Pojďme pro ilustraci použít specifické geometrické rozdělení, napsané $ \ lambda $ , s $ \ lambda ( 0) = 1/2 $ , $ \ lambda (1) = 1/4 $ , $ \ lambda (2) = 1/8 $ atd. Pak je hustota Bernoulliho distribuce vzhledem k $ \ lambda $ dána $$ f _ {\ lambda} (x) = p ^ x (1-p) ^ {1-x} \ cdot 2 ^ {x + 1} $$ , což znamená $$ P (X = x) = f_ \ lambda (x) \ cdot \ lambda (x) $$ S tímto novým, dominujícím měřítkem se funkce pravděpodobnosti stává (s notací shora) $$ \ prod_ {i = 1} ^ np ^ {x_i} (1-p) ^ {1-x_i} 2 ^ {x_i + 1} = p ^ y (1-p) ^ { ny} 2 ^ {y + n} $$ si povšimněte zvláštního faktoru $ 2 ^ {y + n} $ . Takže při změně dominující míry použité v definici funkce pravděpodobnosti vzniká nová multiplikativní konstanta, která nezávisí na neznámém parametru $ p $ a je zjevně irelevantní. To je další způsob, jak zjistit, jak multiplikativní konstanty musí být irelevantní. Tento argument lze zobecnit pomocí derivátů Radon-Nikodym (výše uvedený argument je příkladem.)

V podstatě to znamená, že záleží pouze na relativní hodnotě PDF. Například standardní normální (gaussovský) PDF je: $ f (x) = \ frac {1} {\ sqrt {2 \ pi}} e ^ {- x ^ 2/2} $, vaše kniha říká, že místo toho mohou použít $ g (x) = e ^ {- x ^ 2/2} $, protože se nestarají o stupnici, tj. $ c = \ frac {1} {\ sqrt {2 \ pi}} $ .

Stává se to proto, že maximalizují funkci pravděpodobnosti a $ c \ cdot g (x) $ a $ g (x) $ budou mít stejné maximum. Proto bude maximálně $ e ^ {- x ^ 2/2} $ stejné jako $ f (x) $. Neobtěžují se tedy měřítkem.

Nemohu vysvětlit význam nabídky, ale pro odhad maximální pravděpodobnosti nezáleží na tom, zda se rozhodneme najít maximum funkce pravděpodobnosti $ L (\ mathbf x; \ theta ) $ (považováno za funkci $ \ theta $ nebo maximum $ aL (\ mathbf x; \ theta) $ kde $ a $ je nějaká konstanta. je to proto, že nás nezajímá maximální hodnota $ L (\ mathbf x; \ theta) $, ale spíše hodnota $ \ theta _ {\ text {ML}} $, kde se toto maximum vyskytuje, a to jak $ L (\ mathbf x; \ theta) $, tak $ aL (\ mathbf x; \ theta ) $ dosáhnou své maximální hodnoty na stejném $ \ theta _ {\ text {ML}} $. Multiplikativní konstanty tedy lze ignorovat. Podobně bychom mohli uvažovat o jakékoli monotónní funkci $ g (\ cdot) $ (například logaritmus) pravděpodobnostní funkce $ L (\ mathbf x; \ theta) $, určete maximum $ g (L (\ mathbf x; \ theta)) $ a odvozte hodnotu $ \ theta _ {\ text {ML} } $ z toho. Pro logaritmus se multipliativní konstanta $ a $ stává aditivní konstantou $ \ ln (a) $ a také ji lze v Proces hledání umístění maxima: $ \ ln (a) + \ ln (L (\ mathbf x; \ theta) $ je maximalizováno ve stejném bodě jako $ \ ln (L (\ mathbf x; \ theta) $.

Pokud jde o odhad maximální a posteriori pravděpodobnosti (MAP) , $ \ theta $ je považováno za realizaci náhodné proměnné $ \ Theta $ s a priori hustotní funkcí $ f _ {\ Theta} (\ theta) $, data $ \ mathbf x $ jsou považováno za realizaci náhodné proměnné $ \ mathbf X $ a za funkci pravděpodobnosti se považuje hodnota podmíněné hustoty $ f _ {\ mathbf X \ mid \ Theta} (\ mathbf x \ mid \ Theta = \ theta) $ z $ \ mathbf X $ podmíněno na $ \ Theta = \ theta $; uvedená funkce podmíněné hustoty je hodnocena na $ \ mathbf x $. a posteriori hustota $ \ Theta $ je $$ f _ {\ Theta \ mid \ mathbf X} (\ theta \ mid \ mathbf x) = \ frac {f _ {\ mathbf X \ mid \ Theta} (\ mathbf x \ mid \ Theta = \ theta ) f_ \ Theta (\ theta)} {f _ {\ mathbf X} (\ mathbf x)} \ tag {1} $$, ve kterém rozpoznáme čitatele jako hustotu kloubu $ f _ {\ mathbf X, \ Theta} (\ mathbf x, \ theta) $ dat a odhadovaných parametrů. Bod $ \ theta _ {\ text {MAP}} $, kde $ f _ {\ Theta \ mid \ mathbf X} (\ theta \ mid \ mathbf x) $ dosáhne maximální hodnoty, je odhad MAP $ \ theta $, a, pomocí stejných argumentů jako v odstavci vidíme, že můžeme ignorovat $ [f _ {\ mathbf X} (\ mathbf x)] ^ {- 1} $ na pravé straně $ (1) $ jako multiplikativní konstantu, jak můžeme ignorujte multiplikativní konstanty v obou $ f _ {\ mathbf X \ mid \ Theta} (\ mathbf x \ mid \ Theta = \ theta) $ a v $ f_ \ Theta (\ theta) $. Podobně, když se používají pravděpodobnosti logu, můžeme ignorovat aditivní konstanty.

Laicky řečeno, často budete hledat maximální pravděpodobnost a $ f (x) $ a $ kf (x) $ sdílejí stejné kritické body.

Navrhoval bych, aby ve funkci pravděpodobnosti nevypadly žádné konstantní výrazy (tj. výrazy, které neobsahují parametry). Za obvyklých okolností nemají vliv na $ \ text {argmax} $ pravděpodobnosti, jak již bylo zmíněno. Ale:

Mohou nastat neobvyklé okolnosti, kdy budete muset maximalizovat pravděpodobnost s výhradou stropu - a pak byste měli „pamatovat“ na zahrnutí jakýchkoli konstant do výpočtu jeho hodnoty.

Můžete také provádět testy výběru modelů pro nevnořené modely pomocí hodnoty pravděpodobnosti v procesu - a protože modely nejsou vnořené, budou mít dvě pravděpodobnosti různé konstanty.

Kromě toho věta

„Protože pravděpodobnost je definována pouze do multiplikativní konstanty proporcionality (nebo aditivní konstanty pro logaritmickou pravděpodobnost)“

je nesprávné , protože pravděpodobnost je první funkce společné hustoty pravděpodobnosti , nejen „libovolná“ objektivní funkce, která má být maximalizována.