Zadání diplomové práce

Urychlení evolučních algoritmů pomocí rozhodovacích stromů a jejich zobecnění

(klíčová slova: optimalizace, evoluční algoritmy, empirické funkce, regresní modely, rozhodovací stromy)

Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Jednoduchý, ale často používaný typ regresních modelů je založený na rozhodovacích stromech. Tyto regresní modely, tzv. regresní stromy, jsou po částech konstantní a lze je snadno zobecnit na složitější modely. Výzkum využitelnosti regresních stromů a jejich zobecnění k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspět by k němu měla i navržená diplomová práce.

Student se nejdříve důkladně seznámí s regresními stromy a jejich zobecněními a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu cílové funkce. S využitím prostudované literatury navrhne algoritmy využití regresních stromů a jejich zobecnění k tomuto účelu. Algoritmy dovede až do podoby prototypové implementace ve vývojovém prostředí Matlab a porovná je na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické cílové funkce z reálné aplikace, kterou dostane od vedoucího práce.

Accelerating evolutionary algorithms by decision trees and their generalizations

Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and time-consuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. A simple but freequently encountered kind of regression models is based on decision trees. These regression models, referred to as regression trees, are piecewise-constant and can be easily generalized to more complicated models. Investigation into utilizability of regression trees and their generalizations for speeding up evolutionary optimization of empirical functions is, however, only at its very beginning. It should be contributed also by the proposed master thesis.

Doporučená literatura

· L. Breiman, J. Friedman, R.A. Ohlsen, C.J. Stone, Classification and Regression Trees. Wadsworth, 1984.

· T. Hastie, R. Tibishirani, J. Friedman. The Elements of Statistical Learning, kapitoly 1–3, 7–10. Berlin, Springer, 2001.

· H. Ulmer, F. Streichert, A. Zell, Model assisted evolution strategies. In Knowledge Incorporation in Evolutionary Computation. Berlin, Springer, 2005, 333–355.

· Z.Z. Zhou, Y.S. Ong, P.B. Nair, A.J. Keane, K.Y. Lum, Combining global and local surrogate models to accellerate evolutionary optimization. IEEE Transactions on Systems, Man and Cybernetics. Part C: Applications and Reviews, 37 (2007) 66–76.