Studenti budou umět:

(i) vybrat vhodnou architekturu neuronové sítě pro zvolený typ dat

(ii) navrhnout příslušný model a vybrat vhodný optimalizační algoritmus pro trénování

Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org

Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org

https://moodle.vscht.cz/enrol/index.php?id=55

Feed-forward neural networks

• basic architectures and activation functions

• optimization algorithms for training

• selection of hyperparameters

Regularization of neural network models

• commonly used regularization techniques - dropout, label-smoothing

Convolutional neural networks

• convolution layers, normalization

• architectures suitable for deep convolutional neural networks

• pre-training and fine-tuning of deep neural networks

Recurrent neural networks

• basic recurrent networks and problems of their training

• LSTM, GRU

• bidirectional and deep recurrent networks

Transformer architecture

Design and optimization of neural networks in various environments - Python, MATLAB

Dopředné vícevrstvé neuronové sítě

• základní architektury a aktivační přenosové funkce

• optimalizační algoritmy pro trénování

• volba hyperparametrů

Regularizace modelů neuronových sítí

• běžně používané techniky regularizace - dropout, label-smoothing

Konvoluční neuronové sítě

• konvoluční vrstvy, normalizace

• architektury vhodné pro hluboké konvoluční sítě

• předtrénování a fine-tuning hlubokých neuronových sítí

Rekurentní neuronové sítě

• základní rekurentní sítě a problémy jejich trénování

• LSTM, GRU

• obousměrné a hluboké rekurentní sítě

Architektura Transformer

Návrh a optimalizace neuronových sítích v různých prostředích - Python, MATLAB

The student passes the practicals by submission of sufficient number of assignments (obtaining the appropriate number of points, including bonus points). The assignments are announced regularly during the whole semester. The student can choose which of the assignments to work on in order to obtain the necessary number of points. The written exam test consists of randomly selected questions from a set of previously announced exam questions. Classification in the exam can be improved or replaced by submission of an extended number of assignments (obtaining the extended number of points).

Zápočet je udělován za vypracování dostatečného množství úloh (získání příslušného počtu bodů, příp. včetně bonusových bodů). Úlohy jsou zadávány během celého semestru. Student si může vybrat, které z úloh chce vypracovávat, aby získal potřebný počet bodů. Zkouška sestává z písemného testu s otázkami náhodně vybranými ze souboru předem známých otázek.

Klasifikaci u zkoušky lze zlepšit či zcela nahradit vypracováním rozšířeného množství zápočtových úloh (získání rozšířeného počtu bodů).