Regularizace

Často klademe na zobrazení realizované sítí další požadavky. Naučená síť by měla dávat rozumné výsledky i pro vstupy, které nejsou obsaženy v tréninkové množině. Také situace, kdy funkce sítě prochází všemi body z tréninkové množiny není vždy ideální, neboť v praxi tréninková množina často obsahuje šum.

Chris Bishop se v [1] zabývá řešením tohoto problému. K chybové funkci přidává další člen $E_R$ :

$$E = E_1 + \lambda E_R$$ (2.13)

$E_R$ je zvolen tak, aby měl velké hodnoty pro funkce s velkou oscilací. Parametr $\lambda$ určuje míru vlivu tohoto regularizačního členu na chybovou funkci. Bishop volí $E_R$ tak, že penalizuje funkce s velkou druhou derivací.

$$E_R = \frac{1}{2} \sum_{t=1}^{k}\sum_{s=1}^{m}\sum_{i=1}^{n} \left( \frac{\partial^2 f_s^t}{\partial x_i^2}\right)^2$$ (2.14)