Zadání diplomové práce

Využití teorie her k analýze neuronových sítí pro evoluční black-box optimalizaci

Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční optimalizaci však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používá empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocuje pouze dostatečně přesný regresní model, označovaný jako její náhradní model.

K nejstarším druhům náhradních modelům, které se začaly používat už před více než 20 lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou transformery a autoencodery, dosud k náhradnímu modelování použity nebyly. Velmi málo k němu byly dosud použity i kombinace neuronových sítí a gaussovských procesů, zatímco gaussovské procesy samotné patří k  nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat zájemce o tuto diplomovou práci. Přitom bude analyzovat vztah mezi vlastnostmi optimalizované funkce a úspěšností evoluční optimalizace při použití různých náhradních modelů pomocí Shapleyho hodnot z teorie her.

Doporučená literatura

· Y. Chen, X. Song, C. Lee, Z.Wang, Q. Zhang, et al. Towards learning universal hyperparameter optimizers with transformers. In NeurIPS, 2022.

· N. Hansen. The CMA evolution strategy: A comparing review. In Towards a New Evolutionary Computation, pages 75–102. Springer, 2006.

· N. Hansen, A. Auger, R. Ross, O. Mersmann, T. Tušar et al. COCO: a platform for comparing continuous optimizers in a black-box setting. Optimization Methods and Software, 35(2021) 114-144,

· S. Müller, M. Feurer, N. Hollmann, F. Hutter. PFNs4BO: In-Context Learning for Bayesian Optimization. In ICML, 2023.

· A. Nikolikj, S. Džeroski, M.A. Muñoz, C. Doerr, P. Korošec, et al. Algorithm Instance Footprint: Separating Easily Solvable and Challenging Problem Instances. GECCO ’23,.529-537, 2023.

· A. Tripp, E. Daxberger, and J.M. Hernandez-Lobato. Sample-efficient optimization in the latent space of deep generative models via weighted retraining. In NeurIPS, 2020.