Otázka:
Je binární logistická regrese zvláštním případem multinomické logistické regrese, když má výsledek 2 úrovně?
nostock
2014-02-20 12:29:10 UTC
view on stackexchange narkive permalink

Je správné říci, že binární logistická regrese je speciální případ multinomické logistické regrese, když má výsledek dvě úrovně?

Pro další odpověď, do značné míry ekvivalentní se dvěma odpověďmi zde, ale s jinou prezentací: [Softmax vs Sigmoid function in Logistic classifier] (http://stats.stackexchange.com/a/254071/12359)
Dva odpovědi:
Maarten Buis
2014-02-20 16:39:57 UTC
view on stackexchange narkive permalink

Krátká odpověď: Ano.

Delší odpověď:

Zvažte závislou proměnnou $ y $ skládající se z kategorií $ J $, než by model multinomiální logit modeloval pravděpodobnost, že $ y $ spadá do kategorie $ m $ jako:

$ \ mathrm {Pr} (y = m | x) = \ frac {\ exp (x \ beta_m)} {\ sum_ {j = 1} ^ J \ exp (x \ beta_j)} $

kde $ \ beta_1 = 0 $.

Takže pokud $ y $ má tři kategorie (1,2,3), můžete získejte tři pravděpodobnosti jako:

$ \ mathrm {Pr} (y = 1 | x) = \ frac {\ exp (x0)} {\ exp (x0) + \ exp (x \ beta_2) + \ exp (x \ beta_3)} = \ frac {1} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $

$ \ mathrm {Pr} (y = 2 | x) = \ frac {\ exp (x \ beta_2)} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $

$ \ mathrm {Pr} (y = 3 | x) = \ frac {\ exp (x \ beta_3)} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $

Ve vašem zvláštním případě kde $ y $ má dvě kategorie, které s tím souvisí:

$ \ mathrm {Pr} (y = 1 | x) = \ frac {1} {1 + \ exp (x \ beta_2)} $

$ \ mathrm {Pr} (y = 2 | x) = \ frac {\ exp (x \ beta_2)} {1 + \ exp (x \ beta_2)} $

Toto je přesně binární logistická regrese.

Díky za odpověď.Dává mi to smysl, kromě jedné otázky.Proč můžeme předpokládat beta1 jako 0?
@Allen Pokud existují 3 kategorie a známe dvě z těchto pravděpodobností, pak známe také třetí, protože tyto pravděpodobnosti sečtou až 1. Takže s $ m $ kategoriemi nemůžeme odhadnout $ m $ pravděpodobnosti, ale $ m-1 $.To znamená, že potřebujeme omezení pro jednu sadu $ \ beta $ s.Nastavení $ \ beta_1 = 0 $ je ekvivalentní k vyslovení $ Pr (y = 1) = 1- \ sum_ {m = 2} ^ M Pr (y = m) $
Lerner Zhang
2017-01-02 20:23:48 UTC
view on stackexchange narkive permalink

Přijatá odpověď i odpověď Francka jsou úžasné, ale chci trochu podrobně popsat proces odečítání v $ \ beta $. A doufám, že moje odpověď bude snadno čitelná.

Obecná rovnice pro pravděpodobnost pádu závislé proměnné $ Y_i $ do kategorie $ c $ (ve všech kategoriích $ K $), vzhledem k vzorku (pozorování) $ X_i $, je definována jako :
$$ Pr (Y_i = c) = \ frac {e ^ {\ beta_c * X_i}} {\ sum ^ K_ {k = 1} e ^ {\ beta_k * X_i}} $$

Protože pro všechny $ Y_i $ je $ \ sum ^ K_ {k = 1} Pr (Y_i = k) $ 1, pak musí existovat určitý $ Pr (Y_i = c) $, který je určen všemi pravděpodobnosti odpočinku (když $ k \ neq c $). Výsledkem je, že pro každý vzorek $ X_i $ existují pouze $ K-1 $ samostatně specifikovatelné koeficienty ($ \ beta $).

Podle charakteristik výše uvedené rovnice zůstává pravděpodobnost stejná, pokud odečteme konstantu od každé položky ve vektoru $ \ beta $. To je:

$$ \ frac {e ^ {(\ beta_c + C) * X_i}} {\ sum ^ K_ {k = 1} e ^ {(\ beta_k + C) * X_i} } = \ frac {e ^ {C * X_i} e ^ {\ beta_cX_i}} {e ^ {C * X_i} \ sum ^ K_ {k = 1} e ^ {\ beta_k * X_i}} = \ frac {e ^ {\ beta_cX_i}} {\ sum ^ K_ {k = 1} e ^ {\ beta_kX_i}} $$

Pak je pro nás rozumné vydělat $ C = - \ beta_K $ (alternativně libovolné other $ k $), což má za následek, že položka Kth nového koeficientu pro každý vektor bude $ \ beta $ 0 (pouze kategorie $ K-1 $ jsou nyní považovány za samostatně specifikovatelné).

$ \ beta'_1 = \ beta_1- \ beta_K $
......
$ \ beta '_ {K-1} = \ beta_ {K-1} - \ beta_K $
$ \ beta'_K = \ beta_K- \ beta_K = 0 $

Proto můžeme přenést první obecnou rovnici ve formě:
$$ Pr (Y_i = c ) = \ frac {e ^ {\ beta'_c * X_i}} {e ^ {0 * X_i} + \ sum ^ {K-1} _ {k = 1} e ^ {\ beta'_k * X_i}} = \ frac {e ^ {\ beta'_c * X_i}} {1+ \ sum ^ {K-1} _ {k = 1} e ^ {\ beta'_k * X_i}} $$

Když máme dvě kategorie, tedy když je distribuce závislé proměnné binomické, nebo $ K = 2 $, máme (pokud je kategorie Kth, když $ Y_i = 2 $):
$$ Pr ( Y_i = 1) = \ frac {e ^ {\ beta'_1 * X_i}} {1 + e ^ {\ beta'_1 * X_i}} = \ frac {1} {1 + e ^ {- \ beta'_1 * X_i}} $$ a $$ Pr (Y_i = 2) = 1-Pr (Y_i = 1) $$

To jsou známé rovnice, které vidíte v binomické logistické regrese.

Reference: https://en.wikipedia.org/wiki/Multinomial_logistic_regression



Tyto otázky a odpovědi byly automaticky přeloženy z anglického jazyka.Původní obsah je k dispozici na webu stackexchange, za který děkujeme za licenci cc by-sa 3.0, pod kterou je distribuován.
Loading...