Chris Fraley učil celý kurz o historii debaty (odkaz se zdá být nefunkční, i když je stále na jeho oficiálních stránkách; zde je kopie v internetovém archivu). Jeho shrnutí / závěr je zde (opět archivovaná kopie). Podle Fraleyovy domovské stránky naposledy vyučoval tento kurz v roce 2003.

Předkládá tento seznam „zkreslením instruktora“:

I když mým cílem je usnadnit živé, hluboké a spravedlivé diskuse o projednávaných otázkách, domnívám se, že je nutné, aby byla moje zaujatost výslovná hned od začátku. Paul Meehl jednou prohlásil, že „Sir Ronald [Fisher] nás zmátl, zhypnotizoval a vedl nás cestou prvosenky. Věřím, že téměř univerzální spoléhání se na pouhé vyvrácení nulové hypotézy jako standardní metody pro potvrzení podstatných teorií v měkkém oblasti je strašná chyba, je v podstatě nezdravá, špatná vědecká strategie a jedna z nejhorších věcí, jaké se kdy v historii psychologie staly. “ Opakuji Meehlův sentiment. Jedním z mých cílů na tomto semináři je objasnit, proč se domnívám, že tomu tak je. Dále očekávám, že do doby, kdy dokončíte tento seminář, budete schopni formulovat a obhájit svůj postoj k diskusi NHST, bez ohledu na to, jaký je tento postoj.

zkopírujte do seznamu pro čtení v případě, že stránka kurzu někdy zmizí:

1. týden: Úvod: Co je to Test významu nulové hypotézy? Fakta, mýty a stav naší vědy

• Lyken, D. L. (1991). Co se děje s psychologií? V D. Cicchetti & W.M. Grove (eds.), Thinking Clearly about Psychology, sv. 1: Záležitosti veřejného zájmu, Eseje na počest Paula E. Meehla (s. 3 - 39). Minneapolis, MN: University of Minnesota Press.

Týden 2. Raná kritika NHST

• Meehl, P. E. (1967). Teorie testování v psychologii a fyzice: Metodický paradox. Philosophy of Science, 34, 103-115.

• Meehl, P. E. (1978). Teoretická rizika a tabulkové hvězdičky: Sir Karl, Sir Ronald a pomalý pokrok měkké psychologie. Journal of Consulting and Clinical Psychology, 46, 806-834.

• Rozeboom, W. W. (1960). Klam testu významnosti nulové hypotézy. Psychological Bulletin, 57, 416-428.

• Bakan, D. (1966). Test významnosti v psychologickém výzkumu. Psychological Bulletin, 66, 423-437. [volitelně]

3. týden. Současná kritika NHST

• Cohen, J. (1994). Země je kulatá (p < 0,05). Americký psycholog, 49, 997-1003.

• Gigerenzer, G. (1993). Superego, ego a id ve statistickém uvažování. In G. Keren & C. Lewis (Eds.), A Handbook for data analysis in the behavioral sciences: Methodological issues (pp. 311-339). Hillsdale, NJ: Lawrence Erlbaum Associates.

• Schmidt, F. L. & Hunter, J. E. (1997). Osm běžných, ale falešných námitek proti přerušení testování významnosti v analýze údajů z výzkumu. V Lisa A. Harlow, Stanley A. Mulaik a James H. Steiger (ed.) Co kdyby nebyly provedeny žádné testy významnosti? (str. 37-64). Mahwah, NJ: Lawrence Erlbaum Associates.

• Oakes, M. (1986). Statistická inference: Komentář pro sociální a behaviorální vědy. New York: Wiley. (Kapitola 2 [Kritika významných testů]) [volitelně]

Týden 4. Vyvrácení: Obhájci NHST přicházejí na svou obranu

• Frick, RW (1996). Vhodné použití testování nulových hypotéz. Psychologické metody, 1, 379 - 390.

• Hagen, R. L. (1997). Na chválu za nulovou hypotézu statistický test. Americký psycholog, 52, 15–24.

• Wilkinson, L., & pracovní skupina pro statistickou inference. (1999). Statistické metody v psychologických časopisech: Pokyny a vysvětlení. American Psychologist, 54, 594-604.

• Wainer, H. (1999). Jedna radost pro testování významnosti nulové hypotézy. Psychologické metody, 6, 212-213.

• Mulaik, S. A., Raju, N. S., & Harshman, R. A. (1997). Existuje čas a místo pro testování významnosti. V publikacích Lisa A. Harlow, Stanley A. Mulaik a James H. Steiger, Eds. Co kdyby nebyly žádné testy významnosti? (str. 65-116). Mahwah, NJ: Lawrence Erlbaum Associates. [volitelně]

5. týden Vyvrácení: Obhájci NHST se dostávají na obranu

• Abelson, R. P. (1997). K překvapivé dlouhověkosti bičovaných koní: Proč existuje důvod pro test významnosti. Psychological Science, 8, 12-15.

• Krueger, J. (2001). Testování významnosti nulové hypotézy: O přežití chybné metody. Americký psycholog, 56, 16–26.

• Scarr, S. (1997). Pravidla dokazování: Větší kontext pro statistickou debatu. Psychological Science, 8, 16-17.

• Greenwald, A. G., Gonzalez, R., Harris, R. J., & Guthrie, D. (1996). Velikost efektů a hodnoty p: Co by mělo být hlášeno a co by mělo být replikováno? Psychophysiology, 33, 175-183.

• Nickerson, R. S. (2000). Testování významnosti nulové hypotézy: Přehled staré a pokračující diskuse. Psychologické metody, 5, 241-301. [volitelně]

• Harris, R. J. (1997). Testy důležitosti mají své místo. Psychologické vědy, 8, 8-11. [volitelně]

Týden 6. Velikost účinku

• Rosenthal, R. (1984). Metaanalytické postupy pro sociální výzkum. Beverly Hills, CA: Mudrc. [Ch. 2, Defining Research Results]

• Chow, S. L. (1988). Test významnosti nebo velikost účinku? Psychological Bulletin, 103, 105-110.

• Abelson, R. P. (1985). Paradox vysvětlení odchylky: Když je málo hodně. Psychological Bulletin, 97, 129-133. [volitelně]

Týden 7. Statistická síla

• Hallahan, M., & Rosenthal, R. (1996). Statistická síla: koncepty, postupy a aplikace. Behavior Research and Therapy, 34, 489-499.

• Sedlmeier, P., & Gigerenzer, G. (1989). Mají studie statistické síly vliv na sílu studií? Psychological Bulletin, 105, 309-316.

• Cohen, J. (1962). Statistická síla abnormálně sociálně psychologického výzkumu: Přehled. Journal of Abnormal and Social Psychology, 65, 145-153. [volitelně]

• Maddock, J. E., Rossi, J. S. (2001). Statistická síla článků publikovaných ve třech časopisech souvisejících se zdravím a psychologií. Psychologie zdraví, 20, 76-78. [volitelně]

• Thomas, L. & Juanes, F. (1996). Důležitost statistické analýzy síly: Příklad z chování zvířat. Chování zvířat, 52, 856-859. [volitelně]

• Rossi, J. S. (1990). Statistická síla psychologického výzkumu: Co jsme získali za 20 let? Journal of Consulting and Clinical Psychology, 58, 646-656. [volitelně]

• Tukey, J. W. (1969). Analýza dat: Posvěcení nebo detektivní práce? Americký psycholog, 24, 83-91. [volitelně]

8. týden Intervaly spolehlivosti a testování významnosti

• Gardner, M. J., & D. G. Altman. 1986. Intervaly spolehlivosti spíše než hodnoty P: Odhad spíše než testování hypotéz. British Medical Journal, 292, 746-750.

• Cumming, G., & Finch, S. (2001). Základní informace o porozumění, použití a výpočtu intervalů spolehlivosti, které jsou založeny na centrálním a necentrálním rozdělení. Educational and Psychological Measurement, 61, 532-574.

• Loftus, G. R., & Masson, M.E.J. (1994). Používání intervalů spolehlivosti v návrzích v rámci subjektu. Psychonomic Bulletin and Review, 1, 476-490.

9. týden [poznámka: tuto část přeskakujeme]. Teoretické modelování: Vývoj formálních modelů přírodních jevů

• Haefner, J. W. (1996). Modelování biologických systémů: Principy a aplikace. New York: International Thomson Publishing. (Kapitoly 1 [Modely systémů] & 2 [Proces modelování])

• Loehlin, J. C. (1992). Latentní variabilní modely: Úvod do faktorové, trajektorické a strukturální analýzy. Hillsdale, NJ: Lawrence Erlbaum Associates. (Kapitola 1 [Path models in factor, path andural analysis], s. 1-18]

• Grant, DA (1962). Testování nulové hypotézy a strategie zkoumání teoretických modelů. Psychological Review, 69, 54-61. [volitelně]

• Binder, A. (1963). Další úvahy o testování nulové hypotézy a strategie a taktiky zkoumání teoretických modelů. Psychological Review, 70, 107-115. [volitelně]

• Edwards, W. (1965). Taktická poznámka o vztazích mezi vědeckými a statistickými hypotézami. Psychological Bulletin, 63, 400-402. [Volitelně]

10. týden. Co je význam pravděpodobnosti? Diskuse o relativní frekvenci a subjektivní pravděpodobnosti

• Salsburg, D. (2001). Dáma ochutnávající čaj: Jak statistika způsobila revoluci ve vědě ve dvacátém století. New York: WH Freeman. (kapitoly 10, 11, & 12)

• Oakes, M. (1986). Statistická inference: komentář pro sociální a behaviorální vědy. New York: Wiley. (Kapitoly 4, 5, & 6)

• Pruzek, R. M. (1997). Úvod do Bayesiánského závěru a jeho aplikací. V publikacích Lisa A. Harlow, Stanley A. Mulaik a James H. Steiger, Eds. Co kdyby nebyly žádné testy významnosti? (str. 287-318). Mahwah, NJ: Lawrence Erlbaum Associates.

• Rindskoph, D. M. (1997). Testování „malé“, nikoli nulové hypotézy: Klasický a Bayesovský přístup. Ve filmech Lisa A. Harlow, Stanley A. Mulaik a James H. Steiger (Eds). Co kdyby nebyly žádné testy významnosti? (str. 319-332). Mahwah, NJ: Lawrence Erlbaum Associates.

• Edwards, W., Lindman, H., Savage, L. J. (1963). Bayesovská statistická inference pro psychologický výzkum. Psychological Review, 70, 193-242. [volitelně]

11. týden Posouzení teorie: Filozofie vědy a testování a pozměňování teorií

• Meehl, PE (1990). Posuzování a doplňování teorií: Strategie lakatosiánské obrany a dva principy, které ji opravňují. Psychological Inquiry, 1, 108-141.

• Roberts, S. & Pashler, H. (2000). Jak přesvědčivý je dobrý fit? Komentář k testování teorie. Psychological Review, 107, 358-367.

12. týden Posouzení teorie: Filozofie vědy a testování a úprava teorií

• Urbach, P. (1974). Pokrok a degenerace v „debatě o IQ“ (I). British Journal of Philosophy of Science, 25, 99-125.

• Serlin, R. C. & Lapsley, D. K. (1985). Racionalita v psychologickém výzkumu: Princip dostatečně dobrého. Americký psycholog, 40, 73–83.

• Dar, R. (1987). Další pohled na Meehl, Lakatos a vědecké postupy psychologů. American Psychologist, 42, 145-151.

• Gholson, B. & Barker, P. (1985). Kuhn, Lakatos, & Laudan: Aplikace v dějinách fyziky a psychologie. Americký psycholog, 40, 755-769. [volitelně]

• Faust, D., & Meehl, P. E. (1992). Využití vědeckých metod k řešení otázek z historie a filozofie vědy: Některé ilustrace. Behaviorální terapie, 23, 195-211. [volitelně]

• Urbach, P. (1974). Pokrok a degenerace v „debatě o IQ“ (II). British Journal of Philosophy of Science, 25, 235-259. [volitelně]

• Salmon, W. C. (1973, květen). Potvrzení. Scientific American, 228, 75-83. [volitelně]

• Meehl, P. E. (1993). Filozofie vědy: pomoc nebo překážka? Psychologické zprávy, 72, 707-733. [volitelně] Manicas. P. T., & Secord, P. F. (1983). Důsledky nové filozofie vědy pro psychologii. Americký psycholog, 38, 399-413. [volitelně]

13. týden. Podkopala tradice NHST v psychologii neobjektivní kumulativní znalostní základnu?

• Cooper, H., DeNeve, K., & Charlton, K. (1997). Nalezení chybějící vědy: Osud studií předložených ke kontrole komisí pro lidské předměty. Psychologické metody, 2, 447-452.

• Schmidt, F. L. (1996). Testování statistické významnosti a kumulativní znalosti v psychologii: Důsledky pro školení výzkumných pracovníků. Psychologické metody, 1, 115-129.

• Greenwald, A. G. (1975). Důsledky předsudků proti nulové hypotéze. Psychological Bulletin, 82, 1-20.

• Berger, J. O. & Berry, D. A. (1988). Statistická analýza a iluze objektivity. American Scientist, 76, 159-165.

Týden 14. Replikace a vědecká integrita

• Smith, NC (1970) . Replikační studie: Opomíjený aspekt psychologického výzkumu. American Psychologist, 25, 970-975.

• Sohn, D. (1998). Statistická významnost a replikovatelnost: Proč první nepředznamenává druhou. Theory and Psychology, 8, 291-311.

• Meehl, P. E. (1990). Proč jsou souhrny výzkumu psychologických teorií často interpretovatelné. Psychological Reports, 66, 195-244.

• Platt, J. R. (1964). Silný závěr. Science, 146, 347-353.

• Feynman, R. L. (1997). Určitě si děláte legraci, pane Feynmane! New York: W. W. Norton. (Kapitola: Cargo-cult science).

• Rorer, L. G. (1991). Některé mýty vědy v psychologii. V D. Cicchetti & W.M. Grove (eds.), Thinking Clearly about Psychology, sv. 1: Záležitosti veřejného zájmu, Eseje na počest Paula E. Meehla (str. 61 - 87). Minneapolis, MN: University of Minnesota Press. [volitelně]

• Lindsay, R. M. & Ehrenberg, A. S. C. (1993). Návrh replikovaných studií. Americký statistik, 47, 217-228. [volitelně]

Týden 15. Kvantitativní myšlení: Proč potřebujeme matematiku (a nikoli NHST jako takovou) v psychologické vědě

• Aiken, LS, West, SG, Sechrest, L., & Reno, RR (1990). Výcvik absolventů ve statistice, metodologii a měření v psychologii: Průzkum Ph.D. programy v Severní Americe. American Psychologist, 45, 721-734.

• Meehl, P. E. (1998, květen). Síla kvantitativního myšlení. Pozvaná adresa jako příjemce ceny Jamese McKeen Cattell Award na výročním zasedání Americké psychologické společnosti ve Washingtonu, DC.

Toto jsou vynikající reference. Mám možná užitečné podklady na http://biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/whyBayesian.pdf

402 citací zpochybňujících nevybíravé používání testů významnosti nulové hypotézy v observačních studiích: http://warnercnr.colostate.edu/~anderson/thompson1.html