Aurorisk EN

Chapitre 1 · Leçon 1.3

Machine learning

Le modèle statistique se construit tout seul à partir d’un ensemble de données.

Le principe de l’apprentissage

  1. Données d’apprentissage → processus d’apprentissage → modèle.
  2. Utilisation : données en entrée → modèle → réponse.

La structure du modèle (forme générale des équations) est le cœur de l’approche. Revers : avec un modèle complexe, il est plus difficile d’interpréter le « pourquoi » d’un résultat.

Vocabulaire : des poupées russes

  • Intelligence artificielle (AI) : tout ce qui relève d’une intelligence fabriquée par l’homme et exhibée par des machines.
  • Machine learning (ML) : une approche pour atteindre l’IA.
  • Deep learning (DL) : une technique pour mettre en œuvre le ML (réseaux de neurones profonds).
  • Les LLM s’appuient sur le deep learning.

Les types d’apprentissage

TypePrincipeExemples
SuperviséDonnées étiquetées : la bonne réponse est fournie.Classification (spam / non-spam), régression (prix d’un bien)
Non superviséDonnées non étiquetées : le système découvre des structures.Clustering (clients similaires), réduction de dimensions
Semi-superviséPetite partie étiquetée, grande partie non.—
Par renforcementEssais et erreurs, récompenses et pénalités.Jeux vidéo, robots autonomes

Vocabulaire du modèle

À manipuler : sous-apprentissage et surapprentissage

Un modèle trop simple rate la forme des données ; un modèle trop souple « apprend par cœur » le bruit. Faites varier le degré du modèle et le bruit, puis comparez l’erreur sur les points d’entraînement et sur les points de test.

Pour aller plus loin : jeux d’entraînement, de validation et de test

Pour savoir si un modèle généralise, on le juge sur des données qu’il n’a jamais vues pendant l’apprentissage. On découpe donc les données en trois : entraînement (ajuster les paramètres), validation (choisir les réglages : complexité du modèle, taille du réseau…) et test (mesure finale, utilisée une seule fois). Si l’on règle le modèle en regardant le jeu de test, celui-ci n’est plus indépendant et la performance annoncée devient trop optimiste.

En général, l’erreur d’entraînement baisse toujours quand le modèle se complexifie, alors que l’erreur de test finit par remonter : c’est la signature du surapprentissage.

Le compromis biais–variance formalise ce phénomène : l’erreur attendue se décompose en biais² (modèle trop rigide) + variance (modèle trop sensible à l’échantillon d’entraînement) + bruit irréductible. Avec peu de données, on compare des réglages par validation croisée à k blocs : chaque bloc sert tour à tour de validation et l’on moyenne les k scores.

Le réseau de neurones en image

Un réseau de neurones est un assemblage de petites unités de calcul, les neurones artificiels, organisées en couches.

Un neurone artificielTrois entrées pondérées sont additionnées avec un biais, puis passent dans une fonction d’activation qui donne la sortie. w₁w₂w₃ x₁x₂x₃ Σ b f(z) y EntréesPoidsSomme pondéréeActivationSortie biais
Un neurone : il calcule z = w₁x₁ + w₂x₂ + w₃x₃ + b, puis applique une fonction d’activation f (sigmoïde, ReLU…) : y = f(z). Ce sont les poids w et le biais b que l’apprentissage ajuste.
Un réseau de neurones à couchesUne couche d’entrée de trois neurones, deux couches cachées de quatre neurones et une couche de sortie de deux neurones, chaque neurone étant relié à tous ceux de la couche suivante.Couche d’entréeCouche cachée 1Couche cachée 2Couche de sortie
Un réseau à couches : chaque cercle est un neurone, chaque trait porte un poids. Les données entrent à gauche, traversent les couches cachées et ressortent à droite (ici deux classes possibles). Avec beaucoup de couches cachées, on parle de réseau « profond » (deep learning).

À manipuler : du neurone au réseau

1. Un neurone. Somme pondérée des entrées + biais, puis fonction d’activation. Les poids sont ce que l’apprentissage ajuste.

2. Un réseau qui apprend. Avec 0 neurone caché (un seul neurone) la frontière est une droite ; avec une couche cachée, le réseau combine plusieurs droites et sait tracer des formes (XOR, cercle, spirale). Essayez : XOR avec H = 0, puis H = 4 ; la spirale avec H = 16 ; baissez ou augmentez le taux d’apprentissage ; activez la régularisation L2 et comparez précisions d’entraînement et de test (surapprentissage).

À retenir

Apprendre = trouver des poids qui font baisser l’erreur (la perte) sur les exemples d’entraînement, par petites corrections successives (descente de gradient). Un réseau plus gros apprend des formes plus complexes, mais risque de « coller » aux données d’entraînement.

Pour aller plus loin : la descente de gradient en une formule

À chaque étape, chaque poids est corrigé dans la direction qui fait baisser la perte L : w ← w − η · ∂L/∂w, où η est le taux d’apprentissage. Trop grand, les corrections « sautent » par-dessus le minimum et l’apprentissage diverge ; trop petit, la convergence est lente. La rétropropagation calcule toutes les dérivées ∂L/∂w couche par couche, en appliquant la règle de dérivation en chaîne depuis la sortie vers l’entrée.

Exemple numérique : avec w = 0,8, ∂L/∂w = 0,5 et η = 0,1, le nouveau poids vaut 0,8 − 0,1 × 0,5 = 0,75.

À manipuler : la descente de gradient

Une balle roule sur la courbe de perte : à chaque pas, elle recule d’une distance proportionnelle à la pente. Faites varier le taux d’apprentissage et le point de départ, puis essayez le paysage à deux creux.