Zadání diplomové práce

Transfer learning v black-box optimalizaci

Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.

V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.

Výzkum metod pro transfer learning v black-box optimalizaci je však teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu black-box optimalizace zkoumat.

Doporučená literatura

· W. Chen, H. Dong, P. Wang, X. Wang. Surrogate-assisted global transfer optimization based on adaptive sampling strategy. Advanced Engineering Informatics 56 (2023).

· H. Dong, P. Wang, X. Yu, B. Song. Surrogate-assisted teaching-learning-based optimization for high-dimensional and computationally expensive problems. Applied Soft Computing Journal 99 (2021).

· A. Gupta, Y.S. Ong, L. Feng.. Insights on Transfer Optimization: Because Experience is the Best Teacher, 2 (2018).

· C. Hu, S. Zeng, C. Li. Scalable GP with hyperparameters sharing based on transfer learning for solving expensive optimization problems. Applied Soft Computing Journal 148 (2023).

· V. Perrone, H. Shen, M. Seeger, C. Archambeau, R. Jenatton. Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning. In NeurIPS 2019.

Transfer learning is a method of algorithmic extraction of knowledge from a solved problem and its incorporation into the solution of another problem. It began to be studied more deeply about 20 years ago, in connection with the development of modern types of neural networks, often referred to as deep networks. It allows using a network trained on a large amount of data to train another network of similar quality on a much smaller amount of data.

In recent years, there have been also attempts to use transfer learning in black-box optimization. This is an optimization in which the mathematical expression of the optimized function is not used (typically because no such expression is known), but only its values at specific points are available to the optimization algorithm. These values are usually obtained empirically by measurement or by means of experiments, whether they take place physically or in the form of simulations. Black-box optimization uses algorithms that make almost no assumptions about the mathematical properties of the optimized function, most often evolutionary algorithms and other nature-inspired algorithms such as particle swarm optimization. As for transfer learning, it turns out that, similar to the case of neural networks, it allows to train a network of the same quality with a smaller amount of training data, it makes it possible to find the optimum based on a smaller number of values of the black-box function during black-box optimization. This is very promising because empirically obtaining the value of the optimized function is usually quite expensive and time-consuming.

However, research on methods for transfer learning in black-box optimization is still in a very early stage. A contribution to it should also be the proposed thesis.