Optimisation pour l'apprentissage

Syllabus

Maîtrise des techniques d'optimisation utilisées en Machine Learning

Contents

1. Méthodes déterministes pour la minimisation d'une fonction
   • Algorithme du gradient. Cas convexe, fortement convexe, non-convexe. Convergence et vitesses.
   • Algorithme proximal et gradient-proximal. Convergence et vitesses. Exemple: apprentissage de dictionnaire.
   • Méthodes inertielles. Vitesse de convergence optimale.
2. Méthodes incrémentales et stochastiques pour la minimisation d'une somme de fonctions
   • Résolution de systèmes linéaires de grande taille. Rappels sur les méthodes déterministes (gradient conjugué, quasi-Newton). Algorithme de Kaczmarz.
   • Algorithme du gradient incrémental/stochastique. Etude de la convergence. Propriété de régularisation itérative.
   • Algorithmes stochastiques à variance réduite. Vitesse de convergence optimale.
3. Problèmes de point-selle. Liens avec les problèmes génératifs. Difficultés et résolution dans le cas monotone.

Bibliography

• Borwein, J.M. & Lewis, A.S. (2006). Convex Analysis and Nonlinear Optimization: Theory and Examples. Springer.
• Nesterov Y. (2004). Introductory lectures on convex optimization. Springer.
• Peypouquet P. (2016). Convex Optimization in Normed Spaces. Springer

• inscriptions
• calendrier
• accès
• Questions fréquentes