Zadání
diplomové práce
Transfer learning v black-box optimalizaci
Transfer learning (tedy
učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické
extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného
problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem
moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje
s využitím sítě natrénované na velkém množství dat natrénovat jinou síť
podobné kvality na mnohem menším množství dat.
V posledních letech se
objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se
nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu,
že žádné takové vyjádření není známo), ale optimalizační algoritmus má
k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se
obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají
fyzicky nebo v podobě simulací. Pro black-box
optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o
matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy
a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových
sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích
dat, umožňuje při black-box optimalizaci najít
optimum na základě menšího počtu hodnot black-box
funkce. To je velmi slibné z důvodu, že empirické získání hodnoty
optimalizované funkce bývá obvykle značně nákladné i časově náročné.
Výzkum metod pro transfer learning v black-box optimalizac je však
teprve v začátcích. Příspěvkem k němu by měla být i navržená
diplomová práce, případně i několik diplomových prací lišících se tím, jakou
metodu budou v kontextu black-box optimalizace zkoumat.
Doporučená literatura
· W. Chen, H. Dong, P. Wang, X.
Wang. Surrogate-assisted global transfer
optimization based on adaptive sampling
strategy. Advanced Engineering
Informatics 56 (2023).
· H. Dong,
P. Wang, X. Yu, B. Song. Surrogate-assisted
teaching-learning-based optimization for high-dimensional and computationally expensive problems. Applied Soft Computing Journal 99 (2021).
· A. Gupta, Y.S. Ong, L. Feng. Surrogate-assisted
teaching-learning-based optimization for high-dimensional and computationally expensive problems. IEEE Transactions on Emerging Topics in Computational Intelligence, 2
(2018).
· C. Hu,
S. Zeng, C. Li. Scalable GP with hyperparameters
sharing based on transfer learning for solving expensive optimization problems. Applied Soft Computing Journal 148 (2023).
· V. Perrone,
H. Shen, M. Seeger, C. Archambeau, R. Jenatton. Learning
search spaces for Bayesian optimization: Another view of
hyperparameter transfer learning.
In NeurIPS 2019.