Zadání diplomové práce

Evoluční hledání optimální architektury neuronové sítě

Automatizovaný návrh architektury neuronové sítě, obecně označovaný jako hledání architektury neuronové sítě (neural architectre search, NAS) je jedním z klíčových problémů oblasti strojového učení označované jako AutoML, tedy automatizované strojové učení. Mezi úspěšné přístupy k řešení tohoto problému patří bayesovská optimalizace a posilované učení s náhodným výběrem v prostoru architektur pomocí rekurentní sítě, které se kombinuje se sdílením parametrů.

V posledních letech jim začíná úspěšně konkurovat přístup založený na evolučních optimalizačních metodách. Z nich zejména na genetickém programování, zaměřujícím se na evoluci stromových struktur, které jsou vhodné k reprezentaci nejen počítačových programů, ale i růstu architektur umělých neuronový sítí. Výzkum však zahrnuje i jiné typy evoluční optimalizace.

Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu hledání architektury neuronové sítě zkoumat.

Doporučená literatura

· T. Elsken, J. H. Metzen, F. Hutter. Neural architecture search: A survey. Journal of Machine Learning Research, 20(2019) 1–21.

· B. Evans, H. Al-Sahaf, B. Xue, M. Zhang. Evolutionary deep learning: A genetic programming approach to image classification. In IEEE CEC 2018.

· Y. Liu, Y. Sun, B. Xue, M. Zhang, G. G. Yen et al. A survey on evolutionary neural architecture search.IEEE Transactions on Neural Networks and Learning Systems, 2021, doi: 10.1109/TNNLS.2021.3100554.

· H. Pham, M. Guan, B. Zoph, Q. Le, J. Dean. Efficient neural architecture search via parameters sharing. In ICML 2018, 4095–4104.

· E. Real, S. Moore, A. Selle, S. Saxena, Y. L. Suematsu et al. Large-scale evolution of image classifiers. ICML 2017, pages 2902–2911.

· P. Vidnerová, Š. Procházka, R. Neruda. Multiobjective evolution for convolutional neural network architecture search. In Artificial Intelligence and Soft Computing 2020,pages 261–270.

· B. Zoph, Q.V. Le. Neural architecture search with reinforcement learning. CoRR, abs/1611.01578, 2016.