Students will be able to:

(i) select the appropriate neural network architecture for the selected data type

(ii) design the neural network model and select the appropriate optimization algorithm for training

Studenti budou umět:

(i) vybrat vhodnou architekturu neuronové sítě pro zvolený typ dat

(ii) navrhnout příslušný model a vybrat vhodný optimalizační algoritmus pro trénování

A: Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org

D: Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org

https://moodle.vscht.cz/enrol/index.php?id=55

https://moodle.vscht.cz/enrol/index.php?id=55

1. Introduction to neural networks.

2. Feed-forward neural networks, basic architectures and activation functions.

3. Optimization algorithms for training.

4. Regularization of neural network models.

5. Frameworks for neural network development.

6. Convolutional neural networks, normalization.

7. Architectures suitable for deep convolutional neural networks.

8. Architectures for object detection and segmentation.

9. Pre-training and fine-tuning of deep neural networks.

10. Recurrent neural networks and problems of their training.

11. Recurrent neural networks - bidirectional and deep recurrent networks.

12. Transformer architecture.

13. Design and optimization of neural networks in various environments.

14. Reinforcement learning.

1. Úvod do neuronových sítí.

2. Dopředné vícevrstvé neuronové sítě, základní architektury a aktivační přenosové funkce.

3. Optimalizační algoritmy pro trénování.

4. Regularizace modelů neuronových sítí.

5. Frameworky pro tvorbu neuronových sítí.

6. Konvoluční neuronové sítě, normalizace.

7. Architektury vhodné pro hluboké konvoluční sítě.

8. Architektury pro detekce objektů a segmentaci.

9. Předtrénování a fine-tuning hlubokých neuronových sítí.

10. Rekurentní neuronové sítě a problémy jejich trénování.

11. Rekurentní neuronové sítě - obousměrné a hluboké rekurentní sítě.

12. Architektura Transformer.

13. Návrh a optimalizace neuronových sítích v různých prostředích.

14. Zpětnovazebné učení.

basic programming skills in Python, MATLAB (at least one of them) are advisable

základní znalosti programování v jazyku Python, MATLAB vítány, nejsou však podmínkou

The student passes the practicals by submission of sufficient number of assignments (obtaining the appropriate number of points, including bonus points). The assignments are announced regularly during the whole semester. The student can choose which of the assignments to work on in order to obtain the necessary number of points. The written exam test consists of randomly selected questions from a set of previously announced exam questions. Classification in the exam can be improved or replaced by submission of an extended number of assignments (obtaining the extended number of points).

Zápočet je udělován za vypracování dostatečného množství úloh (získání příslušného počtu bodů, příp. včetně bonusových bodů). Úlohy jsou zadávány během celého semestru. Student si může vybrat, které z úloh chce vypracovávat, aby získal potřebný počet bodů. Zkouška sestává z písemného testu s otázkami náhodně vybranými ze souboru předem známých otázek.

Klasifikaci u zkoušky lze zlepšit či zcela nahradit vypracováním rozšířeného množství zápočtových úloh (získání rozšířeného počtu bodů).