Zadání diplomové práce

Semi-supervizované učení hlubokých neuronových sítí

Semi-supervizované učení označuje učení klasifikačních a regresních modelů, pro které je k dispozici na jedné straně množina oštítkovaných dat, na druhé straně jiná, typicky mnohem větší množina neoštítkovaných dat. Vždy spočívá ve vytvoření určitého spojení mezi jednotlivými neoštítkovanými daty a jedním nebo více oštítkovanými daty. Toto spojeni může být buď ostré nebo fuzzy a vždy spočívá na nějakém druhu podobnosti mezi jednotlivými spojenými daty. Velké množství měr podobnosti, se kterými se setkáváme v tomto kontextu, sahá od vzdáleností založených na normách v eukleidovském prostoru po sémantické podobnosti reprezentované pomocí grafů. Navíc může semi-supervizované učení buď vyjít z oštítkovanýmch dat, které iniciují shlukování neoštítkovaných dat, nebo začít vytvářením shluků neoštítkovaných dat, které jsou následně přizpůsobeny dostupným oštítkovaným datům. Konečně, výzkum semi-supervizovaného učení se vzájemně ovlivňuje s výzkumem aktivního učení, které spočívá ve výběru těch neoštítkovaných dat, jejichž oštítkování je z nějakého hlediska nejužitečnější.

V tomto desetiletí jsou pravděpodobně nejpopulárnějším a nejrychleji se rozvíjejícím druhem klasifikačních i regresních modelů hluboké neuronové sítě. S nimi semi-supervizované učení dosud používalo pouze nejběžnější varianty jak přístupu vycházejícího z oštítkovaných dat, tak i přístupu vycházejícího ze shlukování neoštítkovaných dat, druhý z nich zejména pokud i shlukování je prováděno pomocí hlubokých sítí, konkrétně autoenkoderů. Výzkum důmyslnějších metod semi-supervizovaného učení je v kontextu hlubokých neuronových sítí úplně na začátku. Zvláště žádoucí by bylo využít schopnost hlubokých sítí extrahovat v průběhu učení nové, relevantnější příznaky. Důležitost výzkumu semi-supervizovaného učení hlubokých neuronových sítí je důsledkem skutečnosti, že hluboké učení potřebuje velké množství dat. Tato důležitost je zvláště vysoká v oblastech, kde je obtížné získat oštítkovaná data, buď proto, že musí být získávána experimentálně, nebo protože vyžaduje časově náročné zapojení člověka – experta, jako např. v oblastech analýza sentimentu, detekce proniknutí do sítě či detekce malware. Poslední zmíněná oblast je zamýšlenou oblastí aplikace navrženého výzkumu.

Semi-supervised learning of deep neural networks

Semi-supervised learning denotes learning of classification and regression models for which on the one hand a set of labelled data is available, on the other hand another, typically much larger, set of unlabelled data. It always consists in establishing some kind of connection of the items of the unlabelled data to one or more items of the labelled data. That connection can be either crisp or fuzzy and always relies on some kind of similarity between the connected data items. The plethora of similarity measures encountered in this context ranges from norm-based distances in Eucliedean spaces to graph-represented semantic similarities. Moreover, semi-supervised learning can start either from the labelled data, which initiate clustering the unlabelled data, or from forming clusters of the unlabelled data, which are subequently adapted to the available labelled data. Finally, research into semi-supervised learning mutually influences with research into active learning, which consists in choosing among the unlabelled data those that are from some point of view most useful to be labelled.

In this decade, deep neural networks are the probably most popular and most quickly developing kind of both classification and regression models. With them, semi-supervised learning has so far used only the most common variants of both the approach starting from the labelled data and the one starting from clustering the unlabelled data, the latter especially if also the clustering is performed by deep networks, in particular autoencoders. Research into more sophisticated methods of semi-supervised learning is in the context of deep neural networks only at the very beginning. Particularly desirable would be to exploit the ability of deep networks to extract new, more relevant features in the course of learning. The importance of research into semi-supervised learning of deep neural networks is a consequence of the fact that deep learning needs large amounts of data. This importance is especially high in areas where obtaining labelles is difficult, einther because they have to be obtained experimentally, or because it requires a time-consuming involvement of a human expert, such as in the areas of sentiment analysis, network intrusion detection, or malware detection. The last mentioned area is the intended application domain of the proposed research. amounts needed for deep learning, such as web content analysis, network intrusion detection, or malware detection. The last mentioned area is the intended application domain of the proposed research.

Doporučená literatura

· M.J. Er, A. Kashyap, N. Wang. Deep semi-supervised learnin g using Multi-Layered Extreme Learning Machines. IEEE CYBER 2016, 457–462.

· Z. He, H. Liu, Y. Wang, J. Hu. Generative adversarial netwo rks-based semi-supervised learning for hyperspectral image classification. Remote Sensing 9 (2017), article # 1042.

· S. Thulasidasan, J. Bilmes. Acoustic classification usi ng semi-supervised Deep Neural Networks and stochastic entropy-regularization over nearest-neighbor graphs. IEEE ICASSP 2017, 2731–2735.

· G. Wang, J. Qiao, X. Li, L. Wang, X. Qian. Improved Classification with Semi-superv ised Deep Belief Network. IFAC-PapersOnLine 50 (2017), 4174–4179.

· H. Wu, S. Prasad. Semi-Supervised Deep Learning Using Pseudo Labels for Hyperspectral Image Classification. IEEE Transactions on Image Processing 27 (2018), 1259–1270.