Je silně dokázáno, že použití prahových úrovní významnosti, jako je $ P = 0,05 $ nebo $ P = 0,01 $, je historickou kocovinou z období, kdy většina výzkumníků závisela na dříve vypočítaných tabulkách kritických hodnot. Dobrý software nyní poskytne přímo hodnoty $ P $. Dobrý software vám umožní přizpůsobit si analýzu a nebude záviset na testech učebnice.

Je to svárlivé, jen proto, že některé problémy s testováním významnosti vyžadují rozhodnutí, jako je to v oblasti kontroly kvality, kde je rozhodování o přijetí nebo odmítnutí dávky, následované akcí v obou směrech. I tam by však mezní hodnoty, které mají být použity, měly vyrůst z analýzy rizik, neměly by záviset na tradici. A často ve vědách je analýza kvantitativních indikací vhodnější než rozhodnutí: přemýšlení kvantitativně implikuje pozornost velikostem hodnot $ P $ a nejen hrubé dichotomii, významné versus nevýznamné.

Označím, že se zde dotýkám složitého a kontroverzního problému, na který se zaměřují celé knihy a pravděpodobně tisíce papírů, ale zdá se být pro toto téma spravedlivým příkladem.

Jednou z metod, se kterou si myslím, že se mnou bude mnoho návštěvníků tohoto webu souhlasit, je postupná regrese. Stále se to děje stále , ale nemusíte hledat daleko odborníky na tomto webu, kteří říkají, že litují jeho použití. Metoda jako LASSO je mnohem výhodnější.

Můj názor je takový, že přinejmenším v (aplikované) ekonometrii je stále častěji normou používat robustní nebo empirickou kovarianční matici než „anachronickou praxi“ spoléhání se (asymptoticky) na správnou specifikaci kovarianční matice . To samozřejmě není bez diskuse: viz některé z odpovědí, které jsem zde odkazoval na CrossValidated, ale je to určitě jasný trend.

Mezi příklady patří standardní chyba robustní heteroscedasticity (standardní chyby Eicker-Huber-White). Někteří vědci jako Angrist a Pischke zjevně doporučují vždy používat heteroscedasticitu robustní standardní chybu místo „anachronického“ postupu, aby jako výchozí použili normální standardní chybu a zkontrolovali, zda je předpoklad E [uu '] = \ sigma ^ 2 I_n $ je zaručeno.

Mezi další příklady patří data panelu, Imbens a Wooldridge píšou například na svých přednáškových slidech argumentují proti použití kovarianční matice variance náhodných efektů (implicitně předpokládá určitou specifikaci odchylky v komponentě variance jako výchozí ):

K dispozici je plně robustní odvození, které by se mělo obecně používat. (Poznámka: Obvyklou matici odchylek RE, která závisí pouze na $ \ sigma_c ^ 2 $ a $ \ sigma_u ^ 2 $, není nutné správně specifikovat! Stále má smysl ji používat při odhadu, ale učinit inference robustní.)

Při použití zobecněných lineárních modelů (pro distribuce, které patří do exponenciální rodiny) se často doporučuje používat vždy takzvaný sendvičový odhad, spíše než se spoléhat na správné distribuční předpoklady (zde anachronická praxe) : viz například tato odpověď nebo Cameron s odkazem na počítání dat, protože odhad pseudo-maximální pravděpodobnosti může být v případě chybné specifikace docela flexibilní (např. pomocí Poissona, pokud by byl záporný binomál správný).

Takové [bílé] standardní opravy chyb musí být provedeny pro Poissonovu regresi, protože mohou způsobit mnohem větší rozdíl než podobné opravy heteroskedasticity pro OLS.

Greene píše ve svém učebnice v kapitole 14 (k dispozici na jeho webových stránkách) například s kritickou poznámkou a podrobněji pojednává o výhodách a nevýhodách této praxe:

Existuje trend v současná literatura k výpočtu tohoto [sendvičového] odhadu rutinně, bez ohledu na funkci pravděpodobnosti. * [...] * Ještě jednou zdůrazňujeme, že sendvičový odhadce sám o sobě nemusí být nutně jakékoli ctnosti, pokud je funkce pravděpodobnosti zadáno a ostatní podmínky pro odhad M nejsou splněny.

Metoda, která se zbytečně používá po celou dobu, je Bonferroniho korekce na p-hodnoty. Zatímco mnohonásobná srovnání jsou stejně velkým problémem, jaký kdy byl, Bonferroniho korekce je pro hodnoty p v podstatě zastaralá: pro každou situaci, kdy je Bonferroniho korekce platná, platí i Holm-Bonferroni, který bude mít přísně vyšší alternativa pokud $ m > 1 $, kde $ m $ je počet testovaných hypotéz (rovnost u $ m = 1 $).

Myslím, že důvodem přetrvávání Bonferroniho korekce je snadnost mentálního použití (tj. p = 0,004 s $ m = 30 $ lze snadno upravit na 0,12, zatímco Holm-Bonferroni vyžaduje třídění p- hodnoty).

Většina anachronických postupů je pravděpodobně způsobena tím, jak se učí statistika, a skutečností, že analýzy provádějí obrovské počty lidí, kteří absolvovali pouze několik základních tříd. Často vyučujeme soubor standardních statistických nápadů a postupů, protože tvoří logickou posloupnost zvyšující se pojmové propracovanosti, která má pedagogický smysl (srov. Jak můžeme vůbec znát populační rozptyl?). Jsem si za to sám: občas učím statistiky 101 a 102 a neustále říkám: „existuje lepší způsob, jak to udělat, ale je to nad rámec této třídy“. Pro ty studenty, kteří nepřekračují úvodní sekvenci (téměř všichni), zůstávají základní, ale nahrazené strategie.

1. U příkladu statistik 101 je pravděpodobně nejčastější anachronickou praxí otestovat nějaký předpoklad a poté spustit tradiční statistickou analýzu, protože test nebyl významný. Modernějším / pokročilejším / obhájitelnějším přístupem by bylo použít metodu, která by od tohoto předpokladu byla robustní. Některé reference pro více informací:

   • Jak si vybrat mezi t-testem a neparametrickým testem, např. Wilcoxon v malých vzorcích
   • Je testování normality „v podstatě zbytečné“?
     

2. U statistik 102 příkladů byl zastaralý libovolný počet postupů modelování:

   • Transformace $ Y $ za účelem dosažení normality reziduí pro získání spolehlivých hodnot $ p $ vs. bootstrapping.
   • Transformace $ Y $ k dosažení homoscedasticity místo použití sendvičového odhadu atd.
   • Použití polynomu vyššího řádu k zachycení křivosti vs. kubických splajnů.
   • Posuzování modelů určených pro predikci pomocí hodnot $ p $ a dobroty ve vzorku metrik jako $ R ^ 2 $ namísto křížové validace.
   • S daty opakovaných měření kategorizujete spojitou proměnnou tak, aby bylo možné použít rmANOVA, nebo zprůměrujete více měření oproti použití lineárního smíšeného modelu.
   • atd.

Ve všech těchto případech jde o to, že lidé dělají to, co se nejprve naučili v úvodní třídě, protože prostě neznají pokročilejší a vhodnější metody.

Placení licenčních poplatků za vysoce kvalitní statistické softwarové systémy.#R

Velmi zajímavým příkladem jsou testy kořenových jednotek v ekonometrii. I když existuje spousta možností k testování proti nebo pro kořen jednotky v zpožděném polynomu časové řady (např. (Augmented) Dickey Fullerův test nebo KPSS test), problém lze úplně obejít, když použijeme Bayesovu analýzu . Sims na to upozornil ve svém provokativním příspěvku s názvem Understanding Unit Rooters: A Helicopter Tour z roku 1991.

Testy kořenových jednotek zůstávají v platnosti a používají se v ekonometrii. I když bych to osobně přisuzoval hlavně lidem, kteří se zdráhají přizpůsobit se bayesovským postupům, mnoho konzervativních ekonometriků obhajuje praxi testů kořenových jednotek tím, že Bayesovský pohled na svět odporuje premise ekonometrického výzkumu. (To znamená, že ekonomové považují svět za místo s pevnými parametry, nikoliv náhodné parametry, které se řídí nějakým hyperparametrem.)

Také je výuka / provádění dvoustranných testů rozdílu bez současného testování ekvivalence v frekventované oblasti testování hypotéz je hlubokým závazkem k zkreslení potvrzení.

Existuje určitá nuance v tom, že vhodná analýza síly s promyšlenou definicí velikosti efektu se může proti tomu chránit a poskytnout víceméně stejné druhy závěrů, ale (a) analýzy výkonu jsou při předkládání zjištění tak často ignorovány a (b) Nikdy jsem neviděl analýzu výkonu, například pro každý koeficient odhadovaný pro každou proměnnou ve vícenásobné regrese, ale je to jednoduché pro kombinované testy rozdílu a testy proekvivalence (tj. testy relevance).

Použít spíše negativní binomický model než (robustní) Poissonův model k identifikaci požadovaného parametru v proměnné počtu, jen proto, že dochází k nadměrnému rozptylu?

Viz jako reference: https://blog.stata.com/2011/08/22/use-poisson-rather-than-regress-tell-a-friend/

Důkaz, že Poisson je robustnější v případě fixních efektů, je poměrně nedávný, protože je často odkazován na: Wooldridge, JM, „Distribuční odhad některých nelineárních panelových datových modelů“, Journal of Econometrics 90 (1999), 77–97.

Zde je několik anachronismů:

• Neoplatonický předpoklad, že v teoretickém éteru existuje jediná „pravá“ populace, která je věčná, pevná a nepohyblivá naše nedokonalé vzorky mohou být hodnoceny, jen málo přispívají k rozvoji učení a znalostí.

• Redukčnost obsažená v mandátech, jako je Occam's Razor , není v souladu s dobou. NEBO lze shrnout jako: „Z konkurenčních hypotéz by měla být vybrána ta s nejmenším počtem předpokladů.“ Alternativy zahrnují Epicurův Princip vícenásobných vysvětlení , který zhruba uvádí: „Pokud je s údaji v souladu více než jedna teorie, všechny si ponechejte.“

• Celý systém vzájemného hodnocení zoufale potřebuje generální opravu.

* Upravit *

• S masivními daty obsahujícími desítky milionů funkcí již není potřeba fáze výběru proměnných.

• Kromě toho jsou inferenční statistiky bezvýznamné.