Gradientní algoritmus

Uvažujeme-li pevnou tréninkovou množinu, pak funkce $E_{1}$ vyjadřuje chybu na této množině v závislosti na konfiguraci sítě. Úkolem učení je nalézt takovou konfiguraci, pro kterou je chyba sítě $E_{1}$ minimální.

Algoritmus zpětného šíření pro vícevrstvé sítě perceptronů hledá pomocí gradientního algoritmu minimum funkce $E_1$ v prostoru parametrů.

Algoritmus 3.1.1 popisuje použití gradientního algoritmu pro RBF síť. Počáteční konfiguraci sítě zvolíme náhodně. V každém kroku algoritmu pak upravíme všechny parametry podle

$$p^{\tau+1} = p^{\tau} - \varepsilon \frac{\partial E_1}{\partial p} ,$$ (3.1)

kde $\tau$ označuje diskrétní čas výpočtu, $p$ je konkrétní parametr a $\varepsilon \in (0,1)$ určuje rychlost učení. Tím posuneme konfiguraci ve směru tečného vektoru funkce $E_1$ dolů o $\varepsilon$. Získáme tak novou konfiguraci, pro niž je hodnota chybové funkce menší než chyba v předchozím bodě ( $E_1^{\tau+1} \leq E_{1}^{\tau}$). To opakujeme dokud se nedostaneme do lokálního minima funkce.