Archive 2019
PrérequisOptimisation M1
ValidationCC+examen
EnseignantGuillaume Garrigos
Horaires hebdomadaires 2 h CM
Années M2 Data Science (ouverture 2020)

Syllabus

Maîtrise des techniques d'optimisation utilisées en Machine Learning

Sommaire

  1. Méthodes déterministes pour la minimisation d'une fonction
    • Algorithme du gradient. Cas convexe, fortement convexe, non-convexe. Convergence et vitesses.
    • Algorithme proximal et gradient-proximal. Convergence et vitesses. Exemple: apprentissage de dictionnaire.
    • Méthodes inertielles. Vitesse de convergence optimale.
  2. Méthodes incrémentales et stochastiques pour la minimisation d'une somme de fonctions
    • Résolution de systèmes linéaires de grande taille. Rappels sur les méthodes déterministes (gradient conjugué, quasi-Newton). Algorithme de Kaczmarz.
    • Algorithme du gradient incrémental/stochastique. Etude de la convergence. Propriété de régularisation itérative.
    • Algorithmes stochastiques à variance réduite. Vitesse de convergence optimale.
  3. Problèmes de point-selle. Liens avec les problèmes génératifs. Difficultés et résolution dans le cas monotone.

Bibliographie

  • Borwein, J.M. & Lewis, A.S. (2006). Convex Analysis and Nonlinear Optimization: Theory and Examples. Springer.
  • Nesterov Y. (2004). Introductory lectures on convex optimization. Springer.
  • Peypouquet P. (2016). Convex Optimization in Normed Spaces. Springer