První fáze -- samoorganizace

Úkolem první fáze je rozmístit $h$ středů ve vstupním prostoru tak, aby co nejlépe aproximovaly hustotu výskytu vzorů. Z tréninkové množiny nás nyní zajímají pouze vstupní části tréninkových vzorů. V této kapitole proto budeme pojmem tréninková množina rozumět množinu $T = \{\vec{x}^t; t = 1, \cdots ,k\}$. Takovéto učení, kde máme k dispozici pouze vstupní části vzorů, se nazývá učení bez učitele nebo samoorganizace.

V praxi se často dává přednost rychlým jednoduchým metodám před časově náročným hledáním optimálního řešení. Osvědčilo se rovnoměrné rozmístění středů po vstupním prostoru, výhodné zejména v případě, kdy vstupní data jsou také rozmístěna rovnoměrně. Další možností je náhodné vybrání $h$ tréninkových vzorů.

Pokud hledáme takové rozmístění, které opravdu zachycuje rozložení vzorů z tréninkové množiny, použijeme některý z algoritmů vektrové kvantizace.

Problém vektorové kvantizace vznikl v souvislosti se zpracováním a aproximací signálů. Úkolem je aproximovat hustotu výskytu reálných vstupních vektorů pomocí konečného počtu reprezentantů $\vec{c}_1, \cdots ,\vec{c}_h$. Každému vektoru $\vec{x} \in \mathbb {R}^n$ pak přísluší reprezentant $\vec{c}_c$, který je mu nejblíže:

$$c = {\rm argmin}_{i=1,..h} \{ \parallel\vec{x}^t - \vec{c}_i\parallel \}.$$ (4.1)

Kvalita řešení je dána chybovou funkcí

$$E = \int \parallel\vec{x} - \vec{c}_c\parallel ^2 p(\vec{x}) d\vec{x},$$ (4.2)

kde $p(\vec{x})$ je pravděpodobnost výskytu vektoru $\vec{x}$. V našem případě přesně neznáme hustotu pravděpodobnosti, ale máme k dispozici tréninkovou množinu. Chybovou funkci proto budeme počítat jako

$$E = \frac{1}{k} \sum_{t=1}^{k} \parallel\vec{x}^t - \vec{c}_c\parallel ^2.$$ (4.3)

Metody vektorové kvantizace se snaží minimalizovat tuto funkci. Vzhledem k tomu, že index $c$ závisí jak na vzorech $\vec{x}$ tak na jednotkách $\vec{c}$, není triviální vyjádřit derivaci chyby vzhledem k vektorům $\vec{c}$. Obvyklé gradientní metody proto nejsou vhodné a používají se různé heuristické iterativní algoritmy.