Overview
This course introduces mathematical methods essential for supervised learning. Topics include linear models, optimization techniques, and advanced methods like kernel and sparse methods. Students are expected to have basic knowledge of linear algebra, calculus, and probability.
Evaluation
The class will be evaluated by a final exam (70%) and three inverted class activities (les rendus des cours inversés, 30%).
Inverted class guidelines
Les quatre derniers cours de cette classe seront dispensés sous la forme de cours inversés.
Concrètement, avant chaque séance, il vous sera demandé d'étudier des documents mis à disposition (en général une ou deux vidéos, et éventuellement un chapitre de textbook), puis de remplir une feuille (template disponible ci-dessous).
Cette feuille consiste à élaborer le plan détaillé d'un cours hypothétique que vous donneriez vous-même sur le sujet étudié. Ces documents seront ramassés au début de la séance : pensez donc à les prendre en photo avant de les rendre, afin d'en conserver une copie pour les activités qui auront lieu en classe.
Exception : pour le premier cours inversé, je ne vous demanderai pas de rendre la feuille complétée ; nous la remplirons ensemble en classe, afin de clarifier les attentes et la méthode.
Si vous souhaitez un exemple de ce qui est attendu par « plan détaillé », vous pouvez vous inspirer de ce qui est demandé à l'oral de l'agrégation de mathématiques, où un exercice très proche est proposé : exemples.
Template de la feuille.
Lectures
- Lecture 1
- Lecture 2
- Lecture 3
- Lecture 4
- Lecture 5
- Lecture 6
- Lecture 7
- Lecture 8
TDs
Some of the original material was made by François Bachoc and by Adrien Mazoyer.
TPs
References and External Resources
Machine Learning and Learning Theory
Generative AI
Optimization for Machine Learning
Measure and Probability Theory
- Intégration, Probabilités et Processus Aléatoires by Jean-François Le Gall, 2006: An excellent introduction to measure theory with elements of stochastic processes and conditional expectation.
- Probabilités 2 by Jean-Yves Ouvrard, 2009: A detailed treatment of advanced topics in probability theory.
- Concentration Inequalities: A Nonasymptotic Theory of Independence by Stéphane Boucheron, Gábor Lugosi, and Pascal Massart, 2013.
Analysis