Zadání diplomové práce

Studium sítí typu GRU na datech z přírodních věd

Mezi moderními umělými neuronovými sítěmi (tzv. hlubokými), které přispěly k velkému rozvoji strojového učení v posledních 15 letech, patří k nejúspěšnějším sítě typu LSTM (long short-term memory). Nejčastěji se používají při zpracování jazyka, a to jak psaného textu, tak mluvené řeči. Jde o sítě rekurentní, zpracovávané signály se tedy do některých vrstev sítě s určitým zpožděním vrací. Velkým pokrokem LSTM sítí ve srovnání se staršími typy rekurentních síti je, že dokáží zabránit vymizení gradientu v důsldku rekurentního výpočtu. Aby toho bylo dosaženo, probíhají somatické operace v rekurentních vrstvách sítě nikoliv jako sekvence atomických operací, ale paralelně v různých částech strukturovaných buněk, které v těchto vrstvách nahrazují tradiční neurony umělých neuronových sítí. Tato architektura je parametrizována poměrně velkým počtem parametrů, takže k trénování LSTM sítí je zapotřebí značné množství dat. Ke zmírnění této nevýhody byly v roce 2014 navržena sítě typu GRU (gated recurrent unit). Jejich architektura byla inspirována architekturou LSTM sítí a jejich funkcionalita je velmi podobná, mají však méně parametrů.

Podobně jako varianty LSTM sítí byly i různí varianty GRU sítí zkoumány a porovnávány především v kontextu úloh a dat ze zpracování jazyka. Navržená diplomová práce by se naproti tomu měla GRU sítěmi zabývat v kontextu úloh z přírodních věd. K tomu účelu by měly být důležité varianty LSTM sítí studovány a porovnávány mezi sebou i s LSTM sítěmi na reálných datech týkajících se růstu krystalů.

Doporučená literatura

· K, Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, arXiv:1406.1078, 2014.

· J. Chung, C. Gulcehre, K. Cho, Y. Bengio. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, arXiv:1412.3555, 2014.

· N. Dropka, M. Holeňa. Application of Artificial Neural Networks in Crystal Growth of Electronic and Opto-Electronic Materials. Crystals, 10 (2020), article no. 663.

· N. Gruber, A. Jockisch, Are GRU cells more specific and LSTM cells more sensitive in motive classification of text? Frontiers in Artificial Intelligence, 3, S2CID 220252321, 2020.

· M. Ravanelli, P. Brakel, M. Omologo, Y. Bengio. Light Gated Recurrent Units for Speech Recognition. IEEE Transactions on Emerging Topics in Computational Intelligence. 2 (2018): 92–102.