Lineární SVM a logistická regrese obecně fungují v praxi srovnatelně. Použijte SVM s nelineárním jádrem, pokud máte důvod se domnívat, že vaše data nebudou lineárně oddělitelná (nebo musíte být odolnější vůči odlehlým hodnotám, než LR obvykle toleruje). Jinak zkuste nejprve logistickou regresi a podívejte se, jak jste na tom s tímto jednodušším modelem. Pokud vám logistická regrese selže, zkuste SVM s nelineárním jádrem jako RBF.

EDIT:

Ok, promluvme si o tom, odkud pocházejí objektivní funkce.

Logistická regrese pochází z generalizované lineární regrese. Dobrou diskusi o objektivní funkci logistické regrese v této souvislosti najdete zde: https://stats.stackexchange.com/a/29326/8451

Support Vector Machines algoritmus je mnohem geometricky motivovaný. Místo předpokládání pravděpodobnostního modelu se snažíme najít konkrétní optimální oddělovací nadrovinu, kde definujeme „optimálnost“ v kontextu podpůrných vektorů. Nemáme nic, co by se podobalo statistickému modelu, který zde používáme v logistické regrese, i když lineární případ nám dá podobné výsledky: ve skutečnosti to jen znamená, že logistická regrese dělá docela dobrou práci při vytváření klasifikátorů s „širokým okrajem“, protože všechno SVM se snaží dělat (konkrétně SVM se snaží „maximalizovat“ rozpětí mezi třídami).

Pokusím se k tomu vrátit později a dostat se trochu hlouběji do plevele, já Jsem něco uprostřed něčeho: p

Obrázek znamená rozdíl mezi SVM a logistickou regresí a kde použít kterou metodu

tento obrázek pochází z kurzu Coursera: „strojové učení“ Andrewa NG. Naleznete ji v 7. týdnu na konci: „Podpora vektorových strojů - pomocí SVM“

• LR poskytuje kalibrované pravděpodobnosti, které lze interpretovat jako důvěra v rozhodnutí.
• LR nám dává neomezený a hladký cíl.
• LR lze (přímo) použít v Bayesovských modelech.
• SVM netrestají příklady, pro které je správné rozhodnutí vyrobené s dostatečnou jistotou.To může být dobré pro zobecnění.
• SVM mají pěknou dvojí formu, když poskytují řídká řešení pomocí triku jádra (lepší škálovatelnost)

Podívejte se Podpora vektorových strojů vs Logistic Regression, University of Toronto CSC2515, autor: Kevin Swersky.

I myslím další výhodou LR je, že ve skutečnosti optimalizuje váhy interpretovatelné funkce (např. Y = B0 + B1X1 + B2X2, kde X1 a X2 jsou vaše predikční proměnné / vlastnosti).To znamená, že můžete použít model s perem, papírem a základní vědeckou kalkulačkou a získat pravděpodobnostní výstup, pokud chcete.

Jediné, co musíte udělat, je vypočítat Y s výše optimalizovanou funkcí a zapojit Y do funkce sigmoid, abyste získali pravděpodobnost třídy mezi 0 a 1.

To může být užitečné v některých oblastech / aplikacích, i když stále méně a méně, když se pohybujeme vpřed a stačí připojit čísla do aplikace a získat výsledek z modelu.