EPFL
Fiche de Cours: Deep learning

Fiche de cours

Deep learning

EE-559

Fiche de cours

Enseignant(s) :

Cavallaro Andrea

Langue:

English

Withdrawal

It is not allowed to withdraw from this subject after the registration deadline.

Summary

This course explores how to design reliable discriminative and generative neural networks, the ethics of data acquisition and model deployment, as well as modern multi-modal models.

Content

This course equips students with a comprehensive foundation of modern deep learning, enabling students to design and train discriminative and generative neural networks for a wide range of tasks. Topics include:

Deep learning applications (natural language processing, computer vision, audio processing, biology, robotics, science), principles and regulations
Loss functions, data and labels, data provenance
Training models: gradients and initialization
Generalization and performance
Transformers
Graph neural networks
Generative adversarial networks
Variational autoencoders
Diffusion models
Multi-modal models
Interpretability, explanations, bias and fairness

Keywords

machine learning, neural networks, deep learning, python

Learning Prerequisites

Required courses

Basics in probabilities and statistics
Linear algebra
Differential calculus
Python programming

Recommended courses

Basics in optimization
Basics in algorithmic
Basics in signal processing

Important concepts to start the course

Discrete and continuous distributions, normal density, law of large numbers, conditional probabilities, Bayes, PCA, vector, matrix operations, Euclidean spaces, Jacobian, Hessian, chain rule, notion of minima, gradient descent, computational costs, Fourier transform, convolution.

Learning Outcomes

By the end of the course, the student must be able to:

Interpret the performance of a deep learning model
Analyze the limitations of a deep learning model
Justify the choices for training and testing a deep learning model
Propose new solutions for a given application

Transversal skills

Respect relevant legal guidelines and ethical codes for the profession.
Take account of the social and human dimensions of the engineering profession.
Design and present a poster.
Make an oral presentation.
Demonstrate the capacity for critical thinking

Teaching methods

Ex-cathedra lectures, class discussion, exercises (using python), group project.

Expected student activities

Attendance to lectures, participation in discussions, completing exercises, completing a project, reading written material (scientific papers and books).

Assessment methods

Excercises and group project.

Resources

Moodle Link

https://go.epfl.ch/EE-559

Dans les plans d'études

Génie électrique et électronique, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Génie électrique et électronique, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Data Science, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Data Science, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Humanités digitales, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Humanités digitales, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Informatique - Cybersecurity, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Informatique - Cybersecurity, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Informatique, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Informatique, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Ingénierie des sciences du vivant, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Ingénierie des sciences du vivant, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Ingénierie financière, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Ingénierie financière, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Neuro-X, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Neuro-X, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Robotique, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Robotique, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Science et ingénierie computationnelles, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Science et ingénierie computationnelles, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Science et ingénierie quantiques, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Science et ingénierie quantiques, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Statistique, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Statistique, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Systèmes de communication - master, 2023-2024, Master semestre 2
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Systèmes de communication - master, 2023-2024, Master semestre 4
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Génie civil et environnement (edoc), 2023-2024
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Génie électrique (edoc), 2023-2024
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Joint EPFL - ETH Zurich Doctoral Program in the Learning Sciences, 2023-2024
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Mineur en Data science, 2023-2024, Semestre printemps
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Mineur en Neuro-X, 2023-2024, Semestre printemps
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Mineur en Science et ingénierie quantiques, 2023-2024, Semestre printemps
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel
Robotique, contrôle et systèmes intelligents (edoc), 2023-2024
- Semestre
  Printemps
- Forme de l'examen
  Pendant le semestre
- Crédits
  4
- Matière examinée
  Deep learning
- Nombre de places
  150
- Cours
  2 Heure(s) hebdo x 14 semaines
- Exercices
  2 Heure(s) hebdo x 14 semaines
- Type
  optionnel

Semaine de référence

	Lu	Ma	Me	Je	Ve
8-9
9-10
10-11
11-12
12-13
13-14
14-15
15-16
16-17
17-18
18-19
19-20
20-21
21-22

En construction

Cours

Exercice, TP

Projet, autre

légende

Semestre d'automne
Session d'hiver
Semestre de printemps
Session d'été

Cours en français
Cours en anglais
Cours en allemand