$$ f = \ sum w_ix_i + b $$ $$ \ frac {df} {dw_i} = x_i $$ $$ \ frac {dL} {dw_i} = \ frac {dL} {df} \ frac {df} {dw_i} = \ frac {dL} { df} x_i $$

protože $ x_i>0 $ , přechod $ \ dfrac {dL} {dw_i} $ má vždy stejný znak jako $ \ dfrac {dL} {df} $ (všechny kladné nebo záporné).

Aktualizovat
Řekněme, že existují dva parametry $ w_1 $ a $ w_2 $ , pokud jsou přechody dvou dimenzí vždy stejného znaménka, znamená to, že se v prostoru parametrů můžeme pohybovat pouze zhruba ve směru severovýchod nebo jihozápad.

Pokud se náš cíl stane na severovýchodě, můžeme se tam pohybovat pouze klikatým způsobem, stejně jako paralelní parkování v úzkém prostoru. (odpusťte můj výkres)

Proto mohou být pro pozitivní nebo all-negativní aktivační funkce (relu, sigmoid) obtížné optimalizace. Abychom tento problém vyřešili, můžeme předem normalizovat data tak, aby byla vycentrována na nulu jako při normalizaci dávek / vrstev.

Dalším řešením, na které si myslím, je přidání zkreslení pro každý vstup, aby se vrstva stala $$ f = \ sum w_i (x_i + b_i). $$ Přechody jsou pak $$ \ frac {dL} {dw_i} = \ frac {dL} {df} (x_i-b_i) $$ značka nebude záviset pouze na $ x_i $ .