Zadání diplomové práce

Urychlení evolučních algoritmů pomocí náhodných lesů

(klíčová slova: optimalizace, evoluční algoritmy, regresní modely, rozhodovací stromy, náhodné lesy)

Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Jednoduchý, ale často používaný typ regresních modelů je specfický typ rozhodovacích stromů, tzv. regresní stromy. Od počátku minulého desetiletí se věnuje pozornost také vytváření kombinací rozhodovacích stromů, tzv. náhodných lesů. Výzkum využitelnosti náhodných lesů k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspět by k němu měla i navrhovaná práce.

Student se nejdříve důkladně seznámí s regresními stromy a náhodnými lesy a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu cílové funkce. S využitím prostudované literatury navrhne algoritmy využití náhodných lesů k tomuto účelu. Algoritmy dovede až do podoby prototypové implementace ve vývojovém prostředí Matlab. Urychlení evoluční optimalizace otestuje na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické cílové funkce z reálné aplikace, kterou dostane od vedoucího práce.

Accelerating evolutionary algorithms by random forests

Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization  problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and time-consuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. A simple but freequently encountered kind of regression models is based on decision trees, it is referred to as regression trees. Since the beginning of the previous decade, attention is paid also to creating combinations of decision trees, called random forests. Investigation into utilizability of random forests for speeding up evolutionary optimization of  empirical functions is, however, only at its very beginning. It should be contributed also by the proposed thesis.

Doporučená literatura

· L. Breiman, Random Forests. Machine Learning, 45 (2001) 5–32.

· A. Criminisi, J. Shotton, E. Konukoglu, Decision Forests: A Unified Framework for Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning. Foundations and Trends in Computer Graphics and Vision, 7 (2012) 81–227.

· M. Emmerich, K. Giannakoglou, B. Naujoks, Single- and multiobjective evolutionary optimization assisted by Gaussian random field metamodels. IEEE Transactions on Evolutionary Computation, 10 (2006) 421–439.

· T. Hastie, R. Tibishirani, J. Friedman. The Elements of Statistical Learning, kapitoly 1–3, 7–10. Berlin, Springer, 2001.

· Z.Z. Zhou, Y.S. Ong, P.B. Nair, A.J. Keane, K.Y. Lum, Combining global and local surrogate models to accellerate evolutionary optimization. IEEE Transactions on  Systems, Man and Cybernetics. Part C:  Applications and  Reviews, 37 (2007) 66–76.