Jiné varianty gradientního algoritmu

Základní algoritmus 3.1.1 není moc efektivní. Při malé rychlosti učeni $\varepsilon$ je výpočet pomalý, při větší rychlosti často diverguje. Jedna z možností vylepšení gradientního algoritmu je použití tzv. momentu.

Při výpočtu změny váhy ve směru gradientu uvažujeme i předchozí změnu vah.

$$\Delta P(\tau) = -\varepsilon \frac{\partial E_1}{\partial P} + \alpha\Delta P(\tau-1),$$ (3.2)

kde $P$ představuje příslušný z parametrů $\vec{c}_k$, $b_k$, ${\bf\Sigma^{-1}_{k}}$ nebo $w_ks$ a $0 < \alpha < 1$ je parametru momentu.

Jinou možností je metoda sdružených gradientů nebo Newtonova metoda, které jsou popsané v [4, str. 215-217].