Čestné uznání předsedy GA ČR pro Jiřího Šímu za výzkum úsporných neurovýpočtů AppNeCo

Čestné uznání předsedy GA ČR Doc. RNDr. Jiří Šíma, DrSc. z Ústavu informatiky AV ČR získal Čestné uznání předsedy Grantové agentury ČR za vynikající výsledky projektu AppNeCo: Aproximativní neurovýpočty. Projekt realizovaný ve spolupráci s výzkumníky z FIT VUT v Brně vedl k vytvoření nového teoretického modelu energetické složitosti neuronových sítí a k odvození fundamentálních limitů spotřeby energie nezávislých na konkrétní hardwarové implementaci.

[ [list] ]

Aproximativní počítání jako cesta k úspoře energie

S masivním využíváním hlubokých neuronových sítí v oblastech, jako je rozpoznávání objektů, překlad textu nebo autonomní řízení, roste jejich energetická náročnost. Každé vyhodnocení sítě vyžaduje stovky milionů až miliard aritmetických operací. V řadě praktických úloh však není nutná absolutní numerická přesnost. Princip aproximativního počítání spočívá v tom, že se část mezivýpočtů záměrně zjednoduší, čímž lze výrazně snížit spotřebu energie při zachování téměř stejné kvality výsledků.

Propojení matematické teorie a hardwarového výzkumu

Hailo

Projekt AppNeCo: Aproximativní neurovýpočty (GA22-02067S) financovaný GA ČR spojil tým dr. Jiřího Šímy z Ústavu informatiky AV ČR, zaměřený na matematickou teorii, statistickou robustnost a výpočetní složitost neuronových sítí, s týmem prof. Lukáše Sekaniny z FIT VUT v Brně, který vyvíjí hardwarové akcelerátory a číslicové obvody. Spolupráce konfrontovala teoretické i inženýrské přístupy, kdy matematické modely inspirují návrh hardwaru a poznatky z implementací přinášejí nové teoretické otázky.

Klíčový objev:

Fundamentální limity spotřeby energie neuronových sítí. Jedním z významných výsledků projektu je návrh nového strojově nezávislého modelu energetické složitosti konvolučních neuronových sítí, který zohledňuje energetickou náročnost přenosů dat mezi pamětí a procesorem. Navržený model umožňuje spočítat a porovnat fundamentální energetické limity neuronových sítí nezávisle na konkrétním zařízení ještě před jejich fyzickou výrobou a testováním.

Publikační úspěch a navazující výzkum

Hailo slide

Výsledky byly publikovány mimo jiné v prestižním časopise Neural Networks v prvním decilu oboru. Výzkumná spolupráce obou týmů dále pokračuje v navazujícím projektu LEDNeCo: Nízkoenergetické hluboké neurovýpočty (GA25-15490S), zaměřeném na nízkoenergetické aproximace hlubokých sítí včetně transformerů. Jiří Šíma působí v Ústavu informatiky AV ČR od roku 1991, je spoluautorem první české učebnice neuronových sítí z roku 1996 a ve své vědecké práci dlouhodobě objasňuje teoretické limity výpočetní síly učení a energetické náročnosti AI.