Otázka:
Existuje rozdíl mezi „ovládáním“ a „ignorováním“ jiných proměnných ve vícenásobné regrese?
Siddharth Gopi
2013-12-07 08:14:24 UTC
view on stackexchange narkive permalink

Koeficient vysvětlující proměnné ve vícenásobné regrese nám říká vztah dané vysvětlující proměnné se závislou proměnnou. To vše při „ovládání“ ostatních vysvětlujících proměnných.

Jak jsem si to zatím prohlédl:

Zatímco se každý koeficient počítá, ostatní proměnné se neberou v úvahu , takže je považuji za ignorované.

Mám tedy pravdu, když si myslím, že výrazy „kontrolované“ a „ignorované“ lze použít zaměnitelně?

Touto otázkou jsem nebyl tak nadšený, dokud jsem neviděl ty dva, které jste si mysleli, že jste inspirovali @gung nabídnout.
Nevěděli jste o rozhovoru, který jsme vedli jinde, který motivoval tuto otázku, @DWin. Bylo příliš mnoho snažit se to vysvětlit v komentáři, proto jsem požádal OP, aby z něj učinilo formální otázku. Vlastně si myslím, že výslovné vyvedení rozdílu b / t ignorování a ovládání dalších proměnných v regresi je skvělá otázka a jsem rád, že se to zde diskutovalo.
viz také první diagram [zde] (http://en.wikipedia.org/wiki/Simpson%27s_paradox)
Jsou k dispozici data použitá v této otázce, abychom je mohli spustit sami jako vzdělávací vzorek.
Dva odpovědi:
gung - Reinstate Monica
2013-12-07 08:29:26 UTC
view on stackexchange narkive permalink

Ovládání něčeho a ignorování něco není totéž. Uvažujme o vesmíru, ve kterém existují pouze 3 proměnné: $ Y $, $ X_1 $ a $ X_2 $. Chceme vytvořit regresní model, který předpovídá $ Y $, a zvláště nás zajímá jeho vztah s $ X_1 $. Existují dvě základní možnosti.

  1. Mohli bychom posoudit vztah mezi $ X_1 $ a $ Y $ při ovládání pro $ X_2 $:
    $$ Y = \ beta_0 + \ beta_1X_1 + \ beta_2X_2 $$ nebo

  2. mohli bychom posoudit vztah mezi $ X_1 $ a $ Y $ při ignorování $ X_2 $:

    $ $ Y = \ beta_0 + \ beta_1X_1 $$

Je pravda, že se jedná o velmi jednoduché modely, ale představují různé způsoby pohledu na to, jak vztah mezi $ X_1 $ a $ Y $ se projevuje. Odhadovaná částka $ \ hat \ beta_1 $ s může být často u obou modelů podobná, ale může se lišit. Nejdůležitější při určování toho, jak odlišné jsou, je vztah (nebo jeho nedostatek) mezi $ X_1 $ a $ X_2 $. Zvažte toto číslo:

enter image description here

V tomto scénáři je korelace $ X_1 $ s $ X_2 $. Vzhledem k tomu, že děj je dvourozměrný, tak trochu ignoruje $ X_2 $ (možná ironicky), takže jsem pro každý bod označil hodnoty $ X_2 $ s odlišnými symboly a barvami (níže uvedený pseudo-3D obrázek poskytuje další způsob, jak to zkusit pro zobrazení struktury dat). Pokud by se vešel regresní model, který ignoroval $ X_2 $, dostali bychom plnou černou regresní čáru. Pokud by se vešel model, který ovládal za $ X_2 $, dostali bychom regresní rovinu, kterou je opět těžké vykreslit, takže jsem do této roviny vykreslil tři řezy, kde $ X_2 = 1 $, $ X_2 = 2 $ a $ X_2 = 3 $. Máme tedy řádky, které ukazují vztah mezi $ X_1 $ a $ Y $, které platí, když kontrolujeme pro $ X_2 $. Všimněte si, že ovládání pro $ X_2 $ nepřináší jediný řádek, ale sadu řádků.

enter image description here

Dalším způsobem, jak přemýšlet o rozdílu mezi ignorováním a ovládáním pro jinou proměnnou, je zvážit rozdíl mezi okrajovou distribucí a podmíněná distribuce. Zvažte toto číslo:

enter image description here

( Toto je převzato z mé odpovědi zde: Jaká je intuice za podmíněnými Gaussovými distribucemi? )

Pokud se podíváte na normální křivku nakreslenou nalevo od hlavního obrázku, jedná se o okrajové rozdělení $ Y $ . Jedná se o distribuci $ Y $, pokud ignorujeme jeho vztah s $ X $. Na hlavním obrázku jsou dvě normální křivky představující podmíněné rozdělení $ Y $, když $ X_1 = 25 $ a $ X_1 = 45 $. Podmíněné distribuce řídí na úrovni $ X_1 $, zatímco marginální distribuce ji ignoruje .

Gung, toto je poučné, jsem rád, že jsem udělal chybu, když jsem ve své odpovědi na tuto otázku použil slovo „ignorovat“. Nyní se pokusím zjistit, jak přesně statistické balíčky „kontrolují“ ostatní proměnné. (Moje první myšlenka spočívá v tom, že používají určitá měřítka, jako je Pearsonův korelační koeficient. S mnoha vysvětlujícími proměnnými by se to ale změnilo) Děkuji za odpověď!
Nemáte zač, @garciaj,, i když jsem ještě neskončil ;-). Hledám jinou postavu; Možná to budu muset udělat úplně od začátku.
Přidal jsem poslední část, @garciaj,, i když tu myšlenku už možná chápete. Pokud jde o to, jak se to dělá, jednoduše to vypadne z matematiky hledání odhadovaných svahů, které minimalizují ztrátu funkce OLS (viz můj [komentář] (http://stats.stackexchange.com/questions/71260//71262#comment138162_71262) na propojená odpověď a / nebo moje odpověď [zde] (http://stats.stackexchange.com/questions/22718//22721#22721)). Pro intuici byste mohli myslet na to, že každá proměnná, ale 1 je držena na svých prostředcích, a pak se najde sklon zbývající proměnné (alespoň pokud nedochází k žádným interakcím).
Ilustrujete kritický bod. „Obrácení“, tj. Změna znaménka, odhadovaného účinku podmíněného regresorem není něco, s čím se často zachází dobře, ale vaše nová ilustrace velmi jasně ukazuje, jak by tento výsledek mohl nastat.
Díky, @DWin. Vlastně tu postavu v podstatě mám (v podstatě) někde v jiné odpovědi, ale nemohl jsem ji najít, ani jsem nenašel soubor kódu, který jsem použil k jeho vytvoření, takže jsem jej musel předělat úplně od začátku. Mám více způsobů, jak se pokusit vysvětlit podmíněné vs. marginální, ale to by mělo stačit.
Grafická ukázka je velmi cenná. Udržuje realitu dat (a skutečnost, že byla získána z procesu odběru vzorků) v lepším zaostření.
Zásadní myšlenka na prvním obrázku spočívá v tom, že tyto body leží v trojrozměrném prostoru, s červenými kruhy v ploché rovině na obrazovce počítače, modrými trojúhelníky v rovnoběžné rovině trochu před obrazovkou a zelenými plusy v letadle kousek před tím. Regresní rovina se nakloní směrem dolů doprava, ale směrem vzhůru od obrazovky směrem k vám se svažuje nahoru. Všimněte si, že k tomuto jevu dochází, protože X1 a X2 jsou korelované, pokud by byly nekorelované, odhadované beta by byly stejné.
@gung Je v prvním grafu sklon regresní přímky při ovládání $ X_2 $ stejný pro každou hodnotu $ X_2 $? Jen se snažím spojit to zpět s mým [all else equal] (http://stats.stackexchange.com/questions/84314/what-does-all-else-equal-mean-in-multiple-regression) příspěvkem .
@EconStats, zde není žádná interakce ani jiná proměnná, která je funkcí $ X_1 $, takže sklon regresní přímky ovládající $ X_2 $ je stejný při každé hodnotě $ X_2 $.
@gung úžasné vysvětlení provedeno zde.Opravdu!Malá následná otázka: Jsem jen zvědavý, jak se odhad skutečně provádí.Pokud jde o váš první graf, máme tři řádky OLS, z nichž každý nám dává hodnotu $ \ beta_1 $.Co se stane, když se tyto tři hodnoty $ \ beta_1 $ budou lišit?Vezmeme jen průměr ze tří odhadovaných $ beta_1 $?Cítím, že je těžké přemýšlet o tom, jak pochopit, co se stane v odhadu a spojit to se skutečným odhadem OL $ \ beta = (X ^ TX) ^ {- 1} X ^ Ty $
@ErosRam,, které by mohly být lepší jako nová otázka.Stručně řečeno, pokud máte 2 X proměnných, namísto přímky vkládáte rovinu.Pokud se odpovídající sklon vztahu y ~ x2 změní s rostoucím x1, znamená to, že existuje interakce b / t x1 & x2.
Děkuji @gung.Udělal jsem novou otázku, jak jsi navrhl, ve snaze shrnout všechny mé myšlenky a otázky.Doufám, že vám nevadí, že jsem si z tohoto příspěvku půjčil jeden z vašich plánů.Pokud tak učiníte, samozřejmě to okamžitě odstraním.Zde je odkaz na mou otázku: http://stats.stackexchange.com/questions/146859/estimation-process-in-ols-with-categorical-variables-and-dummy-coding
A tento druh korelace mezi prediktory (např. Scénář @gung) je obvykle základem případu [Simpsonova paradoxu] (https://en.wikipedia.org/wiki/Simpson%27s_paradox#Correlation_b Between_variables).Ve vesmíru s více než třemi proměnnými je rozumné si uvědomit, že to může číhat na vaše závěry (d'oh!).
@gung: Omlouváme se za nekropost.Je přesné říkat, že ovládání proměnné X je ekvivalentní stanovení hodnoty X?Příklad: pokud kontrolujeme plat za roky vzdělávání, nevracíme se ke všem lidem se stejnou úrovní vzdělání, např. Udržujeme roky vzdělávání konstantní?
@MSIS,, když ovládáte proměnnou v modelu, model se pokusí udržet ji konstantní (pevnou) kvůli odhadu všeho jiného v modelu.Jedná se však pouze o pokus a podléhá náhodným chybám, takže nemusí být nutně totožný s tím, co byste dostali, kdybyste provedli studii s proměnnou fyzicky fixovanou na danou hodnotu.
@gung: děkuji, jen pro důkladnou kontrolu.řekněme, že jsem chtěl kontrolovat příjem X1 v Y = a1X1 + a2X2 + a3X3, například pro lidi vydělávající 40 000 $.Stala by se moje regresní rovnice Y = a140 000 + a2X2 + a3X3, myslím, že podmíněná regrese, jakýsi „řez“?To by pak snížilo rozměr o 1?Omlouvám se, jestli jsem tady tlustý, a ještě jednou děkuji.
Nejsem si jistý, jestli tě sleduji, @MSIS.Může být lepší položit novou otázku, než se pokusit to hashovat v komentářích.Pokud byste chtěli mít fixní příjem, shromáždili byste pouze údaje o lidech, kteří vydělají přesně 40 000 $, a potom nezahrnuli příjem do modelu, který má být vybaven.
To je skvělá odpověď, @gung!Miluji grafy!I když v prvním grafu můžeme „vidět“ odhady pro X1 a X2, možná je přidáme jako znecitlivění a také v textu pod grafem se trochu zdůrazňuje, jak se mění ve dvou nastaveních?
Vážený pane, můžeme říci, že ovládání jiného prediktoru znamená to, co zmiňuji [ZDE] (https://stats.stackexchange.com/questions/483172/holding-other-predictors-constant-via-simulation-in-r)?
DWin
2013-12-07 08:25:05 UTC
view on stackexchange narkive permalink

Jsou ne ignorovány. Pokud by byli „ignorováni“, nebyli by v modelu. Odhad zájmové vysvětlující proměnné je u ostatních proměnných podmíněn . Odhad je vytvořen „v kontextu“ nebo „s ohledem na dopad“ ostatních proměnných v modelu.

Odhad samozřejmě podléhá dalším proměnným. Musíme to však očistit zavedením takzvaných dalších faktorů do modelu. Někdy však mohou mít tyto faktory kategorický charakter a způsobovat více problémů, než poskytnout platné řešení.


ⓘ
Tyto otázky a odpovědi byly automaticky přeloženy z anglického jazyka.Původní obsah je k dispozici na webu stackexchange, za který děkujeme za licenci cc by-sa 3.0, pod kterou je distribuován.
Loading...