⚠ TP du vendredi 6 novembre en distanciel
En raison des blocages, le TP de ce vendredi 6 novembre a lieu en distanciel : vous êtes censés le faire en autonomie, à la maison. De 17h à 17h45, le chargé de TD sera disponible sur
visio.numerique.gouv.fr/vbh-cvqo-nre pour répondre aux questions que vous auriez après avoir essayé par vous-mêmes. Pour que ce créneau soit efficace, il est attendu que vous ayez déjà commencé le TP de votre côté.
⚠ Séance annulée le mercredi 4 novembre
Suite à un avis de fermeture administrative, la séance du mercredi 4 novembre est également annulée. Il vous est simplement demandé de faire à la maison l'activité sur les réseaux de neurones, avec le
playground interactif. Si vous en avez envie, vous pouvez aussi regarder les
slides sur l'IA générative : seule la première partie est en ligne pour l'instant, la suite viendra plus tard. Pour rappel, l'IA générative n'est pas au programme de l'examen.
⚠ Séance annulée le lundi 2 novembre
Le bâtiment U4, où devait avoir lieu la séance de ce lundi 2 novembre, est bloqué : la séance est annulée et son contenu est reporté à la prochaine séance, le mercredi 4 novembre. Pour celle-ci, ce serait bien d'avoir lu les
slides sur les réseaux de neurones : nous ferons en classe l'activité sur le
playground interactif. Le QCM 2 prévu le 4 novembre est annulé et, jusqu'à nouvel ordre, seul le QCM sur les méthodes expérimentales (QCM 1) est maintenu.
⚠ Séance annulée le lundi 12 octobre
Malheureusement, la séance du lundi 12 octobre est annulée en raison du mouvement de mobilisation étudiante en France. En particulier, le TP avec QCM noté (QCM 1) prévu ce jour-là est reporté à une date ultérieure, qui vous sera communiquée. Nous verrons comment rattraper cette séance.
Overview
This class aims to introduce the main theoretical foundations of modern machine learning, with a focus on supervised learning. Basic knowledge of linear algebra and probability theory (including measure theory) is required. For the last lectures, basic knowledge of functional analysis is recommended.
Evaluation
For all students, the final grade will consist of 80% from a 2-hour final exam and 20% from in-class work. For part-time working students (étudiants en alternance), the in-class grade will be based on three MCQs (QCMs en Français). For other students, the in-class grade will be split equally: 50% from MCQs and 50% from the projects.
QCM 1 : 12 octobre 2026 reporté à une date ultérieure, TPs et méthodes expérimentales (TP1 au programme).
QCM 2 : 4 novembre 2026, cours jusqu'aux réseaux de neurones annulé.
Jusqu'à nouvel ordre, seul le QCM 1 (méthodes expérimentales) est maintenu.
Survival Kit for the Exam
For the exam, you should be familiar with the following concepts and techniques:
- Decomposing risk as an estimation error (considering the uniform worst-case error over the predictor set), approximation error, and potential other error sources (e.g., optimization errors). You should be able to recognize the different bias and variance terms in this decomposition.
- Basic linear algebra (vectors, linear maps, rank, matrices) and bilinear algebra (eigenvectors, eigenvalues, spectral theorem, basic matrix decompositions).
- Multivariable calculus (Gradients, Hessians, Taylor expansions, higher-order derivative tensors), Convexity, First and Second Order optimality conditions, KKT conditions.
- Basic probability theory in general probability spaces, conditional laws, conditional expectations, and independence.
- Common inequalities: Triangle inequality, convexity, AM-GM inequality, Cauchy-Schwarz, Jensen, Hölder, Minkowski.
- Concentration inequalities: Markov, Bienaymé-Tchebychev and McDiarmid's inequality.
- Rademacher complexity: Definition, upper bounding the sup deviations (each side by two times the Rademacher complexity), Lipschitz contraction principle, and typical use cases.
- Kernel methods: Aronszajn's theorem (equivalence between positive kernels and Hilbert space dot products), representer theorem, kernel trick, operations on kernels, and Bochner's theorem.
- Optimization: general optimization principles and usual regularity assumptions.
Lectures
TDs / TPs
References and External Resources
Machine Learning and Learning Theory
Generative AI
Optimization for Machine Learning
Measure and Probability Theory
- Intégration, Probabilités et Processus Aléatoires by Jean-François Le Gall, 2006: An excellent introduction to measure theory with elements of stochastic processes and conditional expectation.
- Probabilités 2 by Jean-Yves Ouvrard, 2009: A detailed treatment of advanced topics in probability theory.
- Concentration Inequalities: A Nonasymptotic Theory of Independence by Stéphane Boucheron, Gábor Lugosi, and Pascal Massart, 2013.
Analysis