Chapitre 1 · Leçon 1.3
Machine learning
Le modèle statistique se construit tout seul à partir d’un ensemble de données.
Le principe de l’apprentissage
- Données d’apprentissage → processus d’apprentissage → modèle.
- Utilisation : données en entrée → modèle → réponse.
La structure du modèle (forme générale des équations) est le cœur de l’approche. Revers : avec un modèle complexe, il est plus difficile d’interpréter le « pourquoi » d’un résultat.
Vocabulaire : des poupées russes
- Intelligence artificielle (AI) : tout ce qui relève d’une intelligence fabriquée par l’homme et exhibée par des machines.
- Machine learning (ML) : une approche pour atteindre l’IA.
- Deep learning (DL) : une technique pour mettre en œuvre le ML (réseaux de neurones profonds).
- Les LLM s’appuient sur le deep learning.
Les types d’apprentissage
| Type | Principe | Exemples |
|---|---|---|
| Supervisé | Données étiquetées : la bonne réponse est fournie. | Classification (spam / non-spam), régression (prix d’un bien) |
| Non supervisé | Données non étiquetées : le système découvre des structures. | Clustering (clients similaires), réduction de dimensions |
| Semi-supervisé | Petite partie étiquetée, grande partie non. | — |
| Par renforcement | Essais et erreurs, récompenses et pénalités. | Jeux vidéo, robots autonomes |
Vocabulaire du modèle
- Modèle : représentation mathématique ou statistique utilisée pour prédire ou classer.
- Apprentissage : ajustement des paramètres du modèle sur les données.
- Généralisation : bon comportement sur des données jamais vues.
- Sous-apprentissage / surapprentissage : modèle trop simple / modèle qui « apprend par cœur » les données d’entraînement.
À manipuler : sous-apprentissage et surapprentissage
Un modèle trop simple rate la forme des données ; un modèle trop souple « apprend par cœur » le bruit. Faites varier le degré du modèle et le bruit, puis comparez l’erreur sur les points d’entraînement et sur les points de test.
Pour aller plus loin : jeux d’entraînement, de validation et de test
Pour savoir si un modèle généralise, on le juge sur des données qu’il n’a jamais vues pendant l’apprentissage. On découpe donc les données en trois : entraînement (ajuster les paramètres), validation (choisir les réglages : complexité du modèle, taille du réseau…) et test (mesure finale, utilisée une seule fois). Si l’on règle le modèle en regardant le jeu de test, celui-ci n’est plus indépendant et la performance annoncée devient trop optimiste.
En général, l’erreur d’entraînement baisse toujours quand le modèle se complexifie, alors que l’erreur de test finit par remonter : c’est la signature du surapprentissage.
Le compromis biais–variance formalise ce phénomène : l’erreur attendue se décompose en biais² (modèle trop rigide) + variance (modèle trop sensible à l’échantillon d’entraînement) + bruit irréductible. Avec peu de données, on compare des réglages par validation croisée à k blocs : chaque bloc sert tour à tour de validation et l’on moyenne les k scores.
Le réseau de neurones en image
Un réseau de neurones est un assemblage de petites unités de calcul, les neurones artificiels, organisées en couches.
À manipuler : du neurone au réseau
1. Un neurone. Somme pondérée des entrées + biais, puis fonction d’activation. Les poids sont ce que l’apprentissage ajuste.
2. Un réseau qui apprend. Avec 0 neurone caché (un seul neurone) la frontière est une droite ; avec une couche cachée, le réseau combine plusieurs droites et sait tracer des formes (XOR, cercle, spirale). Essayez : XOR avec H = 0, puis H = 4 ; la spirale avec H = 16 ; baissez ou augmentez le taux d’apprentissage ; activez la régularisation L2 et comparez précisions d’entraînement et de test (surapprentissage).
Apprendre = trouver des poids qui font baisser l’erreur (la perte) sur les exemples d’entraînement, par petites corrections successives (descente de gradient). Un réseau plus gros apprend des formes plus complexes, mais risque de « coller » aux données d’entraînement.
Pour aller plus loin : la descente de gradient en une formule
À chaque étape, chaque poids est corrigé dans la direction qui fait baisser la perte L : w ← w − η · ∂L/∂w, où η est le taux d’apprentissage. Trop grand, les corrections « sautent » par-dessus le minimum et l’apprentissage diverge ; trop petit, la convergence est lente. La rétropropagation calcule toutes les dérivées ∂L/∂w couche par couche, en appliquant la règle de dérivation en chaîne depuis la sortie vers l’entrée.
Exemple numérique : avec w = 0,8, ∂L/∂w = 0,5 et η = 0,1, le nouveau poids vaut 0,8 − 0,1 × 0,5 = 0,75.
À manipuler : la descente de gradient
Une balle roule sur la courbe de perte : à chaque pas, elle recule d’une distance proportionnelle à la pente. Faites varier le taux d’apprentissage et le point de départ, puis essayez le paysage à deux creux.