Zadání diplomové práce

Nové druhy evolučních operací pro genetické hledání architektury neuronových sítí

Pro používání neuronových sítí, zejména hlubokých, je velkým problémem volba jejich nejdůležitějšího hyperparametru – architektury sítě. Kromě hodně malých sítí, u kterých lze vyzkoušet všechny v úvahu připadající architektury, se k jeho řešení používají dva principiálně odlišné přístupy – bayesovská optimalizace a metody evolučního hledání, především ze třídy metod označované jako genetické programování. Genetický přístup má oproti bayesovskému dvě výhody – je univerzálnější, díky slabším předpokladům o neuronové síti, a umožňuje vyšší stupeň paralelizace. Má ale i závažnou nevýhodu – závislost na reprezentaci architektury v genomu metody a na evolučních operacích s touto reprezentací.

Přirozeným požadavkem na reprezentaci architektury je, aby vycházela z grafu spojů mezi neurony. Pro evoluci grafů byl nedávno ukázán význam dvou specifických druhů evolučních operací – sémantického neutrálního driftu a horizontálního přenosu genů. V kontextu evoluce architektury neuronových sítí ale takové evoluční operace dosud zkoumány nebyly. Právě tento výzkum je tématem navržené diplomové práce.

Pokyny pro vypracování

1. Seznamte se s problematikou genetického hledání architektury neuronových sítí.

2. Naučte se pracovat s konkrétní implementací, ať už Vaší či převzatou, některé z používaných metod genetického hledání architektury neuronových sítí.

3. Seznamte se s evolučními operacemi sémantický neutrální drift a horizontální přenos genů v populaci.

4. Teoreticky rozpracujte použití těchto operací pro genetické hledání architektury neuronových sítí.

5. Použijte obě tyto metody v experimentech se dvěma neuronovými sítěmi různých typů.

6. Vyberte si jednu z obou těchto metod a použijte ji v experimentech s dalšími 3 neuronovými sítěmi vybranými tak, aby výsledné portfolio neuronových sítí bylo dostatečně různorodé.

7. Vyhodnoťte poznatky z provedených experimentů.

Doporučená literatura

· Atkinson T. et al. Evolving Graphs with semantic neutral drift. Natural Computing, published online 2019.

· Atkinson T. et al. Horizontal gene transfer for recombining graphs. Genetic Programming and Evolvable Machines 21 (2020) 321–347.

· Suganuma M. et al. A genetic programming approach to designing convolutional neural network architectures. In International Joint Conference on Artificial Intelligence, 5369-5373, 2018.

· Turner A.J., Miller J.F. Cartesian genetic programming encoded artificial neural networks: A comparison using three benchmarks. In Genetic and Evolutionary Computation Conference, 1005-1012, 2013.

· Xie L., Yuille A. Genetic CNN. In IEEE International Conference on Computer Vision, 1388-1397, 2017.