Je správné říci, že binární logistická regrese je speciální případ multinomické logistické regrese, když má výsledek dvě úrovně?
Je správné říci, že binární logistická regrese je speciální případ multinomické logistické regrese, když má výsledek dvě úrovně?
Krátká odpověď: Ano.
Delší odpověď:
Zvažte závislou proměnnou $ y $ skládající se z kategorií $ J $, než by model multinomiální logit modeloval pravděpodobnost, že $ y $ spadá do kategorie $ m $ jako:
$ \ mathrm {Pr} (y = m | x) = \ frac {\ exp (x \ beta_m)} {\ sum_ {j = 1} ^ J \ exp (x \ beta_j)} $
kde $ \ beta_1 = 0 $.
Takže pokud $ y $ má tři kategorie (1,2,3), můžete získejte tři pravděpodobnosti jako:
$ \ mathrm {Pr} (y = 1 | x) = \ frac {\ exp (x0)} {\ exp (x0) + \ exp (x \ beta_2) + \ exp (x \ beta_3)} = \ frac {1} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $
$ \ mathrm {Pr} (y = 2 | x) = \ frac {\ exp (x \ beta_2)} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $
$ \ mathrm {Pr} (y = 3 | x) = \ frac {\ exp (x \ beta_3)} {1 + \ exp (x \ beta_2) + \ exp (x \ beta_3)} $
Ve vašem zvláštním případě kde $ y $ má dvě kategorie, které s tím souvisí:
$ \ mathrm {Pr} (y = 1 | x) = \ frac {1} {1 + \ exp (x \ beta_2)} $
$ \ mathrm {Pr} (y = 2 | x) = \ frac {\ exp (x \ beta_2)} {1 + \ exp (x \ beta_2)} $
Toto je přesně binární logistická regrese.
Přijatá odpověď i odpověď Francka jsou úžasné, ale chci trochu podrobně popsat proces odečítání v $ \ beta $. A doufám, že moje odpověď bude snadno čitelná.
Obecná rovnice pro pravděpodobnost pádu závislé proměnné $ Y_i $ do kategorie $ c $ (ve všech kategoriích $ K $), vzhledem k vzorku (pozorování) $ X_i $, je definována jako :
$$ Pr (Y_i = c) = \ frac {e ^ {\ beta_c * X_i}} {\ sum ^ K_ {k = 1} e ^ {\ beta_k * X_i}} $$
Protože pro všechny $ Y_i $ je $ \ sum ^ K_ {k = 1} Pr (Y_i = k) $ 1, pak musí existovat určitý $ Pr (Y_i = c) $, který je určen všemi pravděpodobnosti odpočinku (když $ k \ neq c $). Výsledkem je, že pro každý vzorek $ X_i $ existují pouze $ K-1 $ samostatně specifikovatelné koeficienty ($ \ beta $).
Podle charakteristik výše uvedené rovnice zůstává pravděpodobnost stejná, pokud odečteme konstantu od každé položky ve vektoru $ \ beta $. To je:
$$ \ frac {e ^ {(\ beta_c + C) * X_i}} {\ sum ^ K_ {k = 1} e ^ {(\ beta_k + C) * X_i} } = \ frac {e ^ {C * X_i} e ^ {\ beta_cX_i}} {e ^ {C * X_i} \ sum ^ K_ {k = 1} e ^ {\ beta_k * X_i}} = \ frac {e ^ {\ beta_cX_i}} {\ sum ^ K_ {k = 1} e ^ {\ beta_kX_i}} $$
Pak je pro nás rozumné vydělat $ C = - \ beta_K $ (alternativně libovolné other $ k $), což má za následek, že položka Kth nového koeficientu pro každý vektor bude $ \ beta $ 0 (pouze kategorie $ K-1 $ jsou nyní považovány za samostatně specifikovatelné).
$ \ beta'_1 = \ beta_1- \ beta_K $
......
$ \ beta '_ {K-1} = \ beta_ {K-1} - \ beta_K $
$ \ beta'_K = \ beta_K- \ beta_K = 0 $
Proto můžeme přenést první obecnou rovnici ve formě:
$$ Pr (Y_i = c ) = \ frac {e ^ {\ beta'_c * X_i}} {e ^ {0 * X_i} + \ sum ^ {K-1} _ {k = 1} e ^ {\ beta'_k * X_i}} = \ frac {e ^ {\ beta'_c * X_i}} {1+ \ sum ^ {K-1} _ {k = 1} e ^ {\ beta'_k * X_i}} $$
Když máme dvě kategorie, tedy když je distribuce závislé proměnné binomické, nebo $ K = 2 $, máme (pokud je kategorie Kth, když $ Y_i = 2 $):
$$ Pr ( Y_i = 1) = \ frac {e ^ {\ beta'_1 * X_i}} {1 + e ^ {\ beta'_1 * X_i}} = \ frac {1} {1 + e ^ {- \ beta'_1 * X_i}} $$ a $$ Pr (Y_i = 2) = 1-Pr (Y_i = 1) $$
To jsou známé rovnice, které vidíte v binomické logistické regrese.
Reference: https://en.wikipedia.org/wiki/Multinomial_logistic_regression