Jedná se spíše o problém s minimalizovanou funkcí než s použitou metodou, pokud je důležité najít skutečné globální minimum, použijte metodu jako simulované žíhání. Toto bude schopno najít globální minimum, ale může to trvat velmi dlouho.

V případě neuronových sítí nejsou místní minima nutně tak velkým problémem. Některá místní minima jsou způsobena skutečností, že můžete získat funkčně identický model permutací jednotek skryté vrstvy nebo negací vstupních a výstupních vah sítě atd. Také v případě, že místní minima jsou jen mírně neoptimální, pak rozdíl ve výkonu bude minimální, takže na tom nebude záležet. A konečně, a to je důležitý bod, klíčovým problémem přizpůsobení neurální sítě je přetížení, takže agresivní hledání globálních minim nákladové funkce pravděpodobně povede k přetížení a modelu, který funguje špatně.

Přidání regularizačního výrazu, např úbytek hmotnosti, může pomoci vyhladit nákladovou funkci, což může trochu omezit problém místních minim, a je to něco, co bych stejně doporučil jako prostředek, jak se vyhnout nadměrnému vybavení.

Nejlepší způsob, jak se vyhnout místním minimem v neuronových sítích je použití modelu Gaussova procesu (nebo neurální sítě s funkcí Radial Basis Function), které mají menší problémy s místními minimy.

Sestup gradientu je optimalizační algoritmus .

Existuje mnoho optimalizačních algoritmů, které pracují s pevným počtem skutečných hodnot silné>, které jsou korelované ( neoddělitelné ). Můžeme je rozdělit zhruba do 2 kategorií: optimalizátory založené na gradientech a optimalizátory bez derivací. Obvykle chcete použít přechod k optimalizaci neuronových sítí v supervizovaném prostředí, protože je to podstatně rychlejší než optimalizace bez derivací. Existuje mnoho optimalizačních algoritmů založených na gradientech, které byly použity k optimalizaci neuronových sítí:

• Stochastic Gradient Descent (SGD), minibatch SGD, ...: You don Nemusíme hodnotit gradient pro celou tréninkovou sadu, ale pouze pro jeden vzorek nebo minibatch vzorků, je to obvykle mnohem rychlejší než dávkový gradientový sestup. Minibatche byly použity k vyhlazení přechodu a paralelizaci dopředné a zpětné propagace. Výhodou oproti mnoha dalším algoritmům je, že každá iterace je v O (n) (n je počet vah ve vašem NN). SGD obvykle nezasekne v lokálních minimech (!), Protože je stochastické.
• Nelineární konjugovaný přechod: zdá se být velmi úspěšný v regresi, O (n), vyžaduje dávkový gradient (proto nemusí být tou nejlepší volbou pro velké datové sady)
• L-BFGS: zdá se být velmi úspěšný při klasifikaci, používá hesenskou aproximaci, vyžaduje dávkový gradient
• Levenberg-Marquardtův algoritmus (LMA): Toto je vlastně nejlepší optimalizační algoritmus, jaký znám. Má tu nevýhodu, že jeho složitost je zhruba O (n ^ 3). Nepoužívejte jej pro velké sítě!

A pro optimalizaci neuronových sítí bylo navrženo mnoho dalších algoritmů, můžete si vygooglit optimalizaci bez pytloviny nebo v-SGD (existuje mnoho typy SGD s adaptivními rychlostmi učení, viz např. zde).

Optimalizace pro NN není vyřešeným problémem! Podle mých zkušeností není největší výzvou najít dobré místní minimum. Úkolem však je dostat se z velmi plochých oblastí, vypořádat se s chybně podmíněnými chybovými funkcemi atd. To je důvod, proč LMA a další algoritmy, které používají aproximace hesenského zkratky, v praxi obvykle fungují tak dobře a lidé se snaží vyvíjet stochastické verze kteří používají informace druhého řádu s nízkou složitostí. Často velmi dobře vyladěná sada parametrů pro minibatch SGD je však lepší než jakýkoli složitý optimalizační algoritmus.

Obvykle nechcete najít globální optimum. Protože to obvykle vyžaduje přeplnění tréninkových dat.

Zajímavou alternativou k sestupu gradientu jsou populační tréninkové algoritmy, jako jsou evoluční algoritmy (EA) a optimalizace roje částic (PSO). Základní myšlenkou přístupů založených na populaci je, že je vytvořena populace kandidátních řešení (váhové vektory NN) a kandidátní řešení iterativně prozkoumávají prostor pro hledání, výměnu informací a případně konvergenci na minima. Protože se používá mnoho výchozích bodů (kandidátských řešení), výrazně se zvyšuje šance na sblížení globálních minim. Ukázalo se, že PSO a EA fungují velmi konkurenceschopně, často (i když ne vždy) a překonávají gradientní sestup v komplexních problémech tréninku NN.

Vím, že toto vlákno je poměrně staré a ostatní odvedli skvělou práci při vysvětlování konceptů, jako jsou místní minima, overfitting atd. Protože však OP hledal alternativní řešení, pokusím se jedním přispět a doufám, že bude více inspirovat zajímavé nápady.

Myšlenkou je nahradit každou váhu w na w + t, kde t je náhodné číslo po Gaussově rozdělení. Konečný výstup sítě je pak průměrným výstupem přes všechny možné hodnoty t. To lze provést analyticky. Poté můžete problém optimalizovat pomocí gradientního klesání nebo LMA nebo jiných optimalizačních metod. Po dokončení optimalizace máte dvě možnosti. Jednou z možností je snížit sigma v Gaussově distribuci a provádět optimalizaci znovu a znovu, dokud sigma nedosáhne 0, pak budete mít lepší místní minimum (ale potenciálně by to mohlo způsobit přeplnění). Další možností je nadále používat ten s náhodným číslem v jeho vahách, obvykle má lepší vlastnost generalizace.

První přístup je optimalizační trik (říkám tomu konvoluční tunelování, protože používá konvoluci přes parametry pro změnu cílové funkce), vyhlazuje povrch krajiny nákladových funkcí a zbavuje se některých místních minim, čímž usnadňuje hledání globálního minima (nebo lepšího lokálního minima).

Druhý přístup souvisí se vstřikováním hluku (na vahách). Všimněte si, že se to provádí analyticky, což znamená, že konečným výsledkem je jedna síť namísto více sítí.

Následující příklady jsou příkladem výstupů pro problém se dvěma spirálami. Síťová architektura je pro všechny tři stejná: existuje pouze jedna skrytá vrstva 30 uzlů a výstupní vrstva je lineární. Použitý optimalizační algoritmus je LMA. Levý obrázek je pro nastavení vanilky; prostřední používá první přístup (jmenovitě opakované snižování sigma směrem k 0); třetí používá sigma = 2.

Vidíte, že vanilkové řešení je nejhorší, konvoluční tunelování odvádí lepší práci a vstřikování šumu (s konvolučním tunelováním) je nejlepší (z hlediska vlastnosti generalizace).

Obakonvoluční tunelování a analytický způsob vstřikování hluku jsou mé původní nápady.Možná jsou alternativou, kterou by někdo mohl zajímat.Podrobnosti naleznete v mé práci Kombinace nekonečného počtu neuronových sítí do jedné .Upozornění: Nejsem profesionální akademický spisovatel a příspěvek není recenzován.Pokud máte dotazy k přístupům, které jsem zmínil, zanechte prosím komentář.

Extreme Learning Machines V zásadě se jedná o neurální síť, kde váhy spojující vstupy se skrytými uzly jsou přiřazeny náhodně a nikdy nejsou aktualizovány. Váhy mezi skrytými uzly a výstupy se učí v jednom kroku řešením lineární rovnice (inverzní matice).

Pokud jde o úkoly Global Optimisation (tj. pokus o nalezení globálního minima objektivní funkce), možná byste se měli podívat na:

1. Hledání vzoru (známé také jako přímé vyhledávání, vyhledávání bez derivátů nebo vyhledávání v černé skříni), které používá vzor (sada vektorů $ {\ {v_i \}} $ ) k určení bodů, které se mají hledat při další iteraci.
2. Genetický algoritmus , který používá koncept mutace, křížení a výběru k definování populace bodů, které mají být hodnoceny při další iteraci optimalizace.
3. Optimalizace roje částic , která definuje skupinu částic, které „procházejí“ prostorem a hledají minimum.
4. Optimalizace náhrady , která používá model náhradní k aproximaci objektivní funkce. Tuto metodu lze použít, když je objektivní funkce nákladná na vyhodnocení.
5. Optimalizace pro více cílů (také známá jako Paretova optimalizace ), kterou lze použít pro problém a kterou nelze vyjádřit ve formě, která má jedinou objektivní funkci (ale spíše vektor cílů).
6. Simulované žíhání , které využívá koncept žíhání (neboli teploty) jako kompromis mezi průzkumem a těžbou. Navrhuje nové body pro vyhodnocení při každé iteraci, ale jak se počet iterací zvyšuje, „teplota“ klesá a algoritmus je stále méně pravděpodobný, že prozkoumá prostor, a tak se „sblíží“ k jeho aktuálnímu nejlepšímu kandidátovi.

Jak již bylo zmíněno výše, Simulované žíhání, Optimalizace rojů částic a Genetické algoritmy jsou dobré algoritmy globální optimalizace, které dobře procházejí obrovskými vyhledávacími prostory a na rozdíl od Gradient Descent nepotřebují žádnéinformace o přechodu a lze je úspěšně použít s objektivními funkcemi černé skříňky a problémy, které vyžadují spuštění simulací.