Četl jsem Černou labuť před pár lety. Myšlenka Black Swan je dobrá a útok na ludický klam (vidět věci, jako by to byly hry s kostkami, se známými pravděpodobnostmi) je dobrý, ale statistiky jsou nehorázně zkreslené, přičemž ústředním problémem je nesprávné tvrzení, že pokud se proměnné promění v všechny statistiky, nejsou normálně distribuovány. Tento aspekt mě dostatečně naštval, abych napsal Talebovi následující dopis:

Vážený doktore Talebe,

Nedávno jsem četl „The Black Swan“. Stejně jako vy jsem fanouškem Karla Poppera a zjistil jsem, že souhlasím s tím, co v něm je. Myslím, že vaše expozice ludického klamu je v zásadě zdravá a upozorňuje na skutečný a běžný problém. Myslím si však, že velká část části III nechává váš celkový argument špatně klesnout, a to až do té míry, že by mohla diskreditovat zbytek knihy. To je škoda, protože si myslím, že argumenty týkající se Černých labutí a „neznámých neznámých“ stojí na jejich opodstatněnosti, aniž by se spoléhaly na některé chyby v části III.

Hlavní problém, na který bych chtěl poukázat - a usiluji o vaši odpověď, zvláště pokud jsem nepochopil problémy - je vaše zkreslení oblasti aplikované statistiky. Podle mého názoru kapitoly 14, 15 a 16 do značné míry závisí na argumentu slaměného muže, zkreslování statistik a ekonometrie. Obor ekonometrie, který popisujete, není ten, kterému jsem se učil, když jsem studoval aplikovanou statistiku, ekonometrii a teorii pojistně-matematických rizik (na Australian National University, ale s použitím textů, které se zdály docela standardní). Problémy, které nastolíte (například omezení Gaussových distribucí), jsou dobře a skutečně pochopeny a vyučovány, dokonce i na vysokoškolské úrovni.

Například se snažíte ukázat, jak rozdělení příjmů nenásleduje normální rozdělení, a prezentujete to jako argument proti statistické praxi obecně. Žádný příslušný statistik by nikdy netvrdil, že ano, a způsoby řešení této otázky jsou dobře zavedené. Pouhé použití technik na nejzákladnější úrovni „ekonometrie prvního roku“, například transformace proměnné pomocí jejího logaritmu, by vaše numerické příklady vypadaly mnohem méně přesvědčivě. Taková transformace by ve skutečnosti zneplatnila mnoho z toho, co říkáte, protože pak se rozptyl původní proměnné zvyšuje, jak se zvyšuje její průměr.

Jsem si jistý, že existují někteří nekompetentní ekonometři, kteří dělají regresi OLS atd. s netransformovanou proměnnou odpovědi, jak říkáte, ale to je dělá nekompetentními a používá techniky, které jsou dobře zavedené jako nevhodné. Určitě by selhaly ani na vysokoškolských kurzech, které tráví mnoho času hledáním vhodnějších způsobů modelování proměnných, jako je příjem, což odráží skutečné pozorované (negaussovské) rozdělení.

Rodina zobecněného lineárního Modely jsou jednou sadou technik vyvinutých částečně k obcházení problémů, které vyvoláváte. Mnoho z exponenciální rodiny distribucí (např. Gama, exponenciální a Poissonovo rozdělení) je asymetrické a má rozptyl, který se zvyšuje s rostoucím středem distribuce a obchází problém, na který poukazujete pomocí Gaussova rozdělení. Pokud je to stále příliš omezující, je možné úplně zrušit již existující „tvar“ a jednoduše specifikovat vztah mezi průměrem distribuce a jeho rozptylem (např. Umožněním rozptylu úměrně s druhou mocninou průměru), pomocí metody odhadu „kvazi-pravděpodobnosti“.

Samozřejmě můžete namítnout, že tato forma modelování je stále příliš zjednodušující a intelektuální past, která nás uklidňuje k tomu, abychom si mysleli, že budoucnost bude jako minulost. Možná máte pravdu, a myslím, že síla vaší knihy je přimět lidi jako já, aby to zvážili. Ale potřebujete jiné argumenty než ty, které používáte v kapitolách 14-16. Velká váha, kterou kladete na skutečnost, že rozptyl Gaussova rozdělení je konstantní bez ohledu na jeho průměr (například, který způsobuje problémy se škálovatelností), je neplatná. Váš důraz je tedy kladen na skutečnost, že skutečné distribuce mají tendenci být spíše asymetrické než křivky.

V zásadě jste zvolili jedno přílišné zjednodušení nejzákladnějšího přístupu ke statistice (naivní modelování surového proměnné, které mají Gaussovo rozdělení) a ukázaly, ve velké délce, (správně) nedostatky tak zjednodušeného přístupu. Tímto způsobem pak vytvoříte mezeru pro diskreditaci celého pole. Jde buď o vážný logický výpadek, nebo o propagandistickou techniku. Je to poľutováníhodné, protože to snižuje vaši celkovou argumentaci, z nichž většinu (jak jsem řekl) považuji za platnou a přesvědčivou.

Zajímalo by mě, co jste odpověděli. Pochybuji, že jsem první, kdo nastolil tento problém.

S pozdravem

PE

Knihu jsem nečetl, ale jak jsem uvedl, kritika se mi zdá docela nerozumná. Pokud jsou extrémní události důležité, pak má statistika v sadě nástrojů vhodné nástroje, jako je teorie extrémní hodnoty, a dobrý statistik bude vědět, jak je používat (nebo alespoň zjistit, jak je používat, a bude dostatečně zapojen do účelu analýza). Kritika se zdá být „statistika je špatná, protože existují špatní statistici, kteří vědí jen o normálním rozdělení“.

Myslím, že „nepřesné je říkat, že„ hlavní myšlenkou knihy je, že statistiky nejsou příliš užitečné “. Po přečtení knihy se zdá, že říká, že věci jako kvantitativní finance nebo jakýkoli druh obchodování s cennými papíry, který předpokládá normální rozdělení, jsou zásadně chybné (ve skutečnosti v knize volá lidi, kteří tvrdí, že používají tyto modely k předpovídání , „šarlatáni“). Podle Taleba, zatímco normální rozdělení dělá skvělou práci při modelování hodnot hmotných / fyzických věcí (např. Výšky, hmotnosti, délky života atd.), Systémy jako trhy jsou často řízeny lidskými emocemi, a proto jsou náchylné k velké výkyvy, které normální rozdělení nemohou přesně předpovědět.

Nerozumím statistikám dobře, a dokud jsem si nepřečetl odpovědi zde, nikdy jsem neslyšel o věcech, jako je teorie extrémní hodnoty. Bez ohledu na to se zdá, že The Black Swan a Fooled By Randomness mají podobné předpoklady, což je „normální distribuce ne vždy v pořádku“. Nepamatuji si, že by hanobil celé pole statistik.

Přečetl jsem si „The Black Swan“, bavilo mě to a jsem statistik. Jeho „kritika statistik“ mi vůbec nesnesla. Bod po bodu:

1. Taleb nevymyslel koncept černé labutě. Ve filozofickém myšlení to byl už nějakou dobu oblíbený příklad!
2. Taleb příliš nekritizuje „statistiku“, ale spíše její (špatné) aplikace.
3. Kniha byla bestsellerem. Nesměřovalo to ke statistikům, ale k široké veřejnosti. Bylo to velmi dobré při výuce, že veřejnost o věcech statistiků věděla velmi dobře, ale mnoho dalších čtenářů (většina!) Ne. Z této knihy jsme se tedy mohli hodně naučit, jak „prodávat“ statistiky.
4. Nejdůležitější (pro mě) Taleb zahrnoval mnoho odkazů na starořeckou skeptickou filozofii. Nikdo jiný tu tento bod nezmínil, ale myslím, že začlenění bylo skutečným prodejním bodem knihy!
5. Kniha je literárním dílem, nikoli technickým dílem. Pokud chcete kritizovat Taleba za jeho technickou práci, přejděte na jeho domovskou stránku a stáhněte si některé jeho technické dokumenty.

Pro ty, kterým se tato odpověď nelíbí nebo se jí nelíbí, může podívejte se na technické argumenty společnosti Taleb v novém https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk.pdf „Silent Risk“, které je technický.

Četl jsem Černou labuť, ale pokud je jeho kritika statistik opravdu tak jednoduchá, jak říkáte, pak je to směšné. Je zřejmé, že některé statistiky se spoléhají na normální distribuci, ale moc ne.

Lze modelovat vzácné události? Samozřejmě, že mohou. Skutečnou otázkou je, jak dobře je lze modelovat. A tato otázka bude mít různé odpovědi v různých oblastech na základě toho, kolik toho víme o vzácných událostech a jejich předchůdcích.

V dnešním NY Times Magazine je zajímavý článek Nate Silver o tom, jak se předpovědi počasí za poslední desetiletí zlepšily. To zahrnuje lepší modelování vzácných událostí, jako jsou hurikány.

Stojí kniha za přečtení?

Důrazně doporučuji recenzi této knihy od Dennise Lindleye. Obsahuje řadu devastujících argumentů proti špatné a arogantní expozici myšlenek v knize:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281 .x / abstract

Černá labuť je dalším příkladem, kdy být „bestsellerem“ nezaručuje vysoce kvalitní obsah.

Knihu jsem také nečetl, ale není možné, aby jeho myšlenka byla tak zjednodušující, jako když říká, že existují distribuce s tlustšími ocasy než normální distribuce. To by byl komentář k dalším odpovědím, ale na tomto webu jsem neshromáždil dostatek ocenění.

Z Wikipedie:

„Uvádí, že statistika je v zásadě neúplná, protože pole jako nemůže předvídat riziko vzácných událostí ... “

Tato otázka je také velmi podobná otázce Jak komunita zaujímá čtvrtý kvadrant?

Nemyslím si, že by Taleb ve skutečnosti řekl, že statistické techniky spoléhající se na Gaussovo rozdělení nejsou užitečné. Jeho myšlenkou v knize bylo, že jsou velmi užitečné pro mnoho (ale ne všechny) fyzikální nebo biologické procesy a modelování. Uvádí několik dobrých bodů a některé špatné (Černá labuť a Linked byly počátkem morové epidemie „všechno je mocenský zákon!“, Která nás dodnes pronásleduje), ale je důležité si uvědomit, že kniha je souborem literárních a filozofických eseje určené pro laiky.

To znamená, že si myslím, že Taleb rád zhoršuje lidi. Vidíte to na jeho bitvě s Myronem Scholesem. V tomto případě to mohlo být užitečné jako statistické vzdělávání na vysokoškolské úrovni a někdy na úrovni absolventů, trochu se rozplývá nad předpokladem Gaussova rozdělení. Představuji si, že během svých let ve financích narazil na velké množství nabídek s velkou znalostí Black-Scholese a dalších technik, ale kteří nezohlednili základní předpoklady, jako je distribuce. Mám podezření, že Taleb strkal do vzdělávacího zařízení za to, že nedokázal správně vzdělávat.

Ti z vás, kteří knihu nečetli, jsou úplně mimo. Dělá VELKÝ rozdíl mezi škálovatelným a neškálovatelným. Pokud jde o neškálovatelné záležitosti, tradiční statistiky dost dobře poslouží. To vůbec nekritizuje. Černé labutě mají původ ve škálovatelnosti a je těžké je předvídat vzhledem k minulým empirickým údajům. Kniha pojednává o tom, jak mohou mít tyto události obrovský dopad, a jsou obecně vysvětleny až po této skutečnosti. Epistemologie je vynikající.

Bez přečtení knihy mám pocit, že Gaussovy zvony selhávají, protože nikdy neposkytly jasnou definici „hustoty pravděpodobnosti“; kromě toho nikdy nedávají úplnou sadu bodů Lorenzových křivek, které zahrnují součet distribuované proměnné a součet populací, které vnímají první. Je-li použita „hustota“, je nutné vysvětlit s ohledem na to, jakou proměnnou; například když mluvíte o kilogramech na litr, jedná se o hustotu hmotnosti vztaženou k objemu. Tento krok není v učebnicích uveden Gaussovou teorií. Není divu, že mladí lidé statistikám nerozumí správně.