Zadání diplomové práce

Urychlení evolučních algoritmů pomocí neuronových sítí

Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, označovaný jako její náhradní model.

K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou hluboké sítě a vícevrstevné sítě trénující pouze váhy mezi předposlední a poslední vrstvou, např. sítě typu extreme learning machine či typu random vector functional link, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Totéž platí i pro kombinace neuronových sítí a gaussovských procesů, které jsou pro náhradní modelování zajímavé z toho důvodu, že gaussovské procesy samotné patří k  nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat každý zájemce o tuto diplomovou práci.

Doporučená literatura

· N. Hansen. The CMA evolution strategy: A comparing review. In Towards a New Evolutionary Computation, pages 75–102. Springer, 2006.

· M. Lu, S. Ning, S. Liu, F. Sun, B. Zhang, et al. OPT-GAN: A broad-spectrum global optimizer for black-box problems by learning distribution. Arxiv 2102.03888v5, 2022.

· S. Müller, M. Feurer, N. Hollmann, F. Hutter. PFNs4BO: In-Context Learning for Bayesian Optimization. ICML, 2023.

· B. Paria, B. Pòczos, P. Ravikumar, J. Schneider, A.S. Suggala. Be greedy–a
simple algorithm for blackbox optimization using neural networks. In: ICML 2022.

· D. Phan-Trong, H. Tran-The, S. Gupta. Neuralbo: A black-box optimization
algorithm using deep neural networks. Neurocomputing 559(2023), paper 126776.