Zadání diplomové práce

Online trénování hlubokých neuronových sítí pro klasifikaci

Online trénování označuje trénování modelů strojového učení když jsou jejich trénovací data online aktualizována. V takových situacích pravděpodobnostní rozdělení trénovacích dat typicky bývá nestacionární a vyvíjí se. Online trénování se používá s oběma hlavními typy strojového učení s učitelem – klasifikací a regresí, stejně tak jako v kontextu učení bez učitele. Kvůli online aktualizaci a vývoji trénovacích dat se online učení musí vypořádávat s několika specifickými problémy, jako např. s možností posunu pojmů, s vlivem časového horizontu, s možností zapomínání a s vlivem jeho rychlosti.

V tomto desetiletí jsou pravděpodobně nejpopulárnějším a nejrychleji se rozvíjejícím druhem modelů strojového učení hluboké neuronové sítě. Pro ně je však výzkum zabývající se online učením, zvláště pak online učením s učitelem, a výše zmíněnými problémy teprve v začátcích. To činí navržené téma velmi aktuálním, zvláště v oblastech, které poskytují vyvíjející se data ve velkých množstvích potřebných pro hluboké učení, jako je analýza obsahu webu, detekce proniknutí do sítě či detekce malware. Poslední zmíněná oblast je zamýšlenou oblastí aplikace navrženého výzkumu.

Online training of deep neural networks for classification

Online training refers to the training of machine learning models when their training data is online updated. In such situations, the probability distribution of the training data is typically non-stationary and evolving. Online training has been used with both main kinds of supervised machine learning – classifiecation and regression, as well as in the context of unsuperviesed learning. Due to online updating and evolution of training data, online training has to tackle several specific problems, such as the possibility of concept shift, the influence of time horizon, the possibilty of forgetting and the influence of its speed.

In this decade, deep neural networks are the probably most popular and most quickly developing kind of machine learning models. For them, however, research into online learning, especially supervised online learning, and into dealing with the above mentioned problems, is only starting. This makes the proposed topic very timely, particularly in areas providing evolving data in large amounts needed for deep learning, such as web content analysis, network intrusion detection, or malware detection. The last mentioned area is the intended application domain of the proposed research.

Doporučená literatura

· R. Calandra, T. Raiko, M.P. Deisenroth, F.M. Pouzols. Learning Deep Belief Networks from Non-stationary Streams, ICANN 2012, 379–386.

· G. Chen, R. Xu, S.H. Srihari. Sequential Labeling with Online Deep Learning. arXiv: 1612.01072v1, 2016.

· Y. Fu, J.L. Zhou, Y. Wu. Online Reactive Anomaly Detection over Stream Data. ICACIA 2008, 291–294.

· K. Kurach, K. Pawlowski. Detecting Hazardous Events from Sequential Data with Multilayer Architectures. CEUR Workshop Proceedings 1492, 1–10.

· H. Wandabwa, M.A. Naeem, F. Mirza. Document Level Semantic Comprehension of Noisy Text Streams via Convolutional Neural Networks. IEEE 21st IC CSCW in Design, 2017, 475–479.