Zadání diplomové práce

Neuronové sítě

s po částech lineárními aktivačními funkcemi

Neuronové sítě s po částech lineárními aktivačními funkcemi patří k prakticky důležitým typům umělých neuronových sítí. Jejich význam spočívá zejména v tom, že zobrazení naučitelná pomocí těchto sítí zachovávají rozdělení prostoru na podprostory, což je velmi užitečné při extrakci znalostí z dat pomocí umělých neuronových sítí.Po částech lineární aktivační funkce lze konstruovat jako sigmoidní funkce, pro takové sítě potom platí většina známých výsledků o aproximacích pomocí zobrazení naučitelných umělými neuronovými sítěmi. V případě po částech lineárních aktivačních funkcí však lze často získat lepší odhady přesnosti aproximace pomocí  zobrazení naučeného sítí. Naproti tomu metody nalezení takového zobrazení, tj. metody učení je pro umělé neuronové sítě s po částech lineárními aktivačními funkcemi často nutné speciálně upravovat, aby se ošetřila nespojitost prvních derivací naučitelného zobrazení.
Navržená diplomová práce se může zabývat aproximačními vlastnostmi umělých neuronových sítí s po částech lineárními aktivačními funkcemi, metodami učení těchto sítí, nebo konečně i kombinací obou aspektů. Diplomant by měl prokázat jak schopnost samostatně odvozovat jednoduché teoretické výsledky, tak i schopnost ověřovat ty vlastnosti sítí, jež nelze studovat teoreticky, pomocí vhodných počítačových simulací. Přitom bude mít možnost se podle svých vlastních zálib více zaměřit na jeden či druhý z obou přístupů.

Doporučená literatura

• A.R. Barron. Approximation and estimation bounds for artificial neural networks. Machine Learning, 14: 115-133, 1994.
• C.H. Choi, J.Y. Choi. Constructive neural networks with piecewise interpolation capabilities for function approximation. IEEE Transactions on Neural Networks, 5: 936-944, 1994.
• C.K. Chui, X. Li, H.N. Mhaskar. Neural networks for localized approximation. Mathematics of Computation, 63: 607-623, 1994.
• Y. Ito. Approximation capability of layered neural networks with sigmoid units on two layers. Neural Computation, 6: 1233-1243, 1998.
• X. Lin. Simultaneous approximations of multivariate functions and their derivatives by neural networks with one hidden layer. Neurocomputing, 12: 237-343, 1996.
• J.N. Lin, R. Unbehauen. Canonical piecewise-linear approximations. IEEE Transactions on Circuits and Systems I. Fundamental Theory and Applications, 39: 697-699, 1992.
• J.N. Lin, R. Unbehauen. Canonical representation: From piecewise-linear function to piecewise-smooth functions. IEEE Transactions on Circuits and Systems I. Fundamental Theory and Applications, 40: 461-468, 1993.
• J.N. Lin, R. Unbehauen. Canonical piecewise-linear network. IEEE Transactions on Neural Networks, 6: 43-50, 1995.
• W. Maass. Bound for the computaional power and learning complexity of analog neural nets. SIAM Journal on Computing, 26: 708-732, 1997.
• V. Maiorov, A. Pinkus. Lower bounds for approximations by MLP neural networks. Neurocomputing, 52: 751-762, 1996.
• H.N. Mhaskar, C.A: Micchelli. Dimension-independent bounds on the degree of approximation by neural networks. IBM Journal of Research and Development, 38: 81-91, 1999.