Gradientní algoritmus

První metodou, kterou jsme na řešení úlohy použili, je gradientní algoritmus. Učili jsme sítě s 16 jednotkami. Jednotky měly nastavitelné šířky a matice norem.

Provedli jsme pět výpočtů, všechny běžely 100 000 iterací. Hodnotu chybové funkce jsme počítali každých 100 iterací. Průměrný čas potřebný na 100 iterací byl 3.75 s.

Graf na obrázku 7.12 zobrazuje průběh minima, maxima a průměru chybové funkce realizovaných výpočtů pro prvních 2 500 iterací. Další klesání chybové funkce je pozvolnější a je zřejmé z tabulky 7.6.

V tabulce 7.7 pak vidíme počty iterací, které byly potřeba na dosažení chybové funkce menší než dané $\varepsilon$.

Obrázek 7.12: Graf hodnot chyby sítě v závislosti na iteraci. Pro učení sítě o 16 jednotkách gradientním algoritmem.

Tabulka 7.6: Hodnota chybové funkce

iterace	průměr	mimimum	maximum
10 000	0.097376	0.061401	0.189288
50 000	0.040119	0.010892	0.098053
100 000	0.020647	0.005789	0.045989

Tabulka 7.7: Počet iterací potřebných k dosažení prahové hodnoty $\varepsilon$.

	průměr	minimum	maximum
$10.0$	$200$	$200$	$200$
$1.0$	$1100$	$700$	$1500$
$0.1$	$9300$	$5000$	$48600$
$0.05$	$41600$	$12600$	$85000$
$0.01$	$-$	$54700$	$-$

Obrázek 7.13: Funkce sítě naučené gradientním algoritmem.

Obrázek 7.14: Chybová funkce na tréninkové množině.

Gradientní metoda byla poměrně úspěšná, funkce naučené sítě je znázorněna na obrázku 7.13 a průběh chybové funkce na vstupním prostoru na obrázku 7.14.