Používáte širokou škálu různých typů modelů, což z toho dělá zajímavou situaci. Když lidé řeknou, že se zabývají výběrem modelu, obvykle to znamená, že mají jeden typ modelu s různými sadami prediktorů (například model s více regresemi s proměnnými A, B, C & D, versus A, B & A * B atd.). Upozorňujeme, že abychom mohli určit nejlepší model, musíme určit, co znamená „nejlepší“; protože se zaměřujete na přístupy k dolování dat, předpokládám, že chcete maximalizovat prediktivní přesnost. Dovolte mi říci několik věcí:

1. Můžete / měli byste je porovnat s Bayesovým faktorem? Mám podezření, že to lze provést, ale mám v tom málo zkušeností, takže bych to měl nechat vyřešit jiným přispěvatelem CV; je tu mnoho těch, kteří jsou na toto téma docela silní.
2. Mám porovnat všechny metody podle AIC? Nepoužívám AIC ve vaší situaci. Obecně si velmi vážím AIC, ale není to vhodné pro každý úkol. Existují různé verze AIC, ale v podstatě fungují stejně: AIC upravuje míru dobré shody pro schopnost modelu vyrábět dobrou shodu. Dělá to penalizací modelu za počet parametrů, které má. To tedy předpokládá, že každý parametr přispívá stejně ke schopnosti modelu přizpůsobit data. Při porovnávání jednoho modelu vícenásobné regrese s jiným modelem vícenásobné regrese je to pravda. Není však vůbec jasné, že přidání dalšího parametru do modelu s více regresemi stejně zvyšuje schopnost modelu přizpůsobit data jako přidání dalšího parametru do velmi odlišného typu modelu (např. , model neuronové sítě nebo klasifikační strom).
3. Mám porovnat všechny metody od Kappy? Také vím o používání Kappy pro tento cíl poněkud méně, ale zde je zdroj s některými dobrými obecnými informacemi o něm a zde je článek, na který jsem narazil používá to tímto způsobem a může vám být užitečné (poznámku, nečetl jsem to).
4. Mám porovnat všechny metody křížovou validací? To je pravděpodobně vaše nejlepší sázka. Vybraný model je ten, který minimalizuje chybu predikce na zadržovací sadě.
5. „Budu si někdy jistý, že vyberu nejlepší model?“ Ani náhodou. Hrajeme zde pravděpodobnostní hru a bohužel to tak prostě chodí. Jedním z přístupů, které pravděpodobně stojí za to, je bootstrapování dat a použití výběru modelu podle vašeho výběru na každý příklad zavádění. To vám dá představu o tom, jak jasně je jeden model upřednostňován nad ostatními. To bude výpočetně nákladné (alespoň řečeno), ale pro vaše účely by měl stačit malý počet iterací, myslím, že 100 by stačilo.

Podle mého názoru je křížová validace docela solidním zlatým standardem pro porovnávání zaměřená na schopnosti modelů předpovídat nová data. To znamená, že alespoň pro případ GLM bylo prokázáno, že AIC (Stone, 1977) je asymptoticky ekvivalentní křížové validaci, takže pokud jste v pořádku s asymptotickým předpokladem, můžete si nějaké ušetřit vypočítat čas přechodem na AIC namísto výpočtu úplné křížové validace.

Za předpokladu, že používáte chybu klasifikace nebo něco podobného jako měřítko výkonu, tak proč nezkusit křížovou validaci všech modelů?

Rozdělte svá data například na 10 bloků a proveďte 10 kol sestavení a testování s použitím jednoho z těchto bloků jako testovací sady a dalších devíti jako tréninku (tj. Kolo 1: vlak 2-10, test 1. kolo 2: vlak 1 + 3-10, test 2. kolo 3: vlak 1-2 + 4-10, test 3).

Tento přístup vám pomůže zjistit, který algoritmus (a které parametry pro tyto modely) mají nejlepší výkon.

Jedna z věcí Zpočátku jsem se potýkal s tím, že nezáleží na skutečném modelu, na kterém je postaven, ale na funkci, kterou voláte, a na parametrech, které mu poskytujete, jsou důležité.