Chapitre 1 · Leçon 1.4
Réseaux de neurones et deep learning
Le réseau de neurones est le modèle central du ML moderne.
Du neurone au réseau
Un neurone artificiel calcule une somme pondérée de ses entrées, puis applique une fonction d’activation. L’apprentissage consiste à identifier les poids qui pondèrent les entrées. On les ajuste par l’algorithme de rétropropagation (avec descente de gradient), qui minimise l’erreur entre prédictions et résultats réels.
Une couche d’entrée alimente une autre couche, et ainsi de suite. Le Deep Learning utilise des réseaux multi-couches (parfois des centaines) : une couche d’entrée (données brutes), des couches cachées (caractéristiques de plus en plus abstraites), une couche de sortie (résultat).
Le deep learning fonctionne particulièrement bien avec de grandes quantités de données et nécessite une puissance de calcul élevée, souvent fournie par des GPU ou TPU.
Pour aller plus loin : pourquoi une activation non linéaire ?
Sans fonction d’activation non linéaire, empiler des couches ne sert à rien : deux couches linéaires successives, W₂(W₁x), équivalent à une seule couche (W₂W₁)x. La non-linéarité (ReLU : max(0, z) ; sigmoïde : 1/(1+e⁻ᶻ) ; tanh) permet au réseau de représenter des frontières courbes comme le cercle ou la spirale de la démo du chapitre 1.
À manipuler : la rétropropagation, pas à pas
Suivez un cycle d’apprentissage complet sur un mini-réseau : la passe avant calcule l’erreur, la passe arrière attribue à chaque poids sa part de responsabilité, la mise à jour corrige les poids. Tous les calculs sont affichés avec leurs valeurs.
Panorama des architectures
| Architecture | Caractéristiques | Limites | Applications |
|---|---|---|---|
| Perceptron simple | 1 couche d’entrée → 1 de sortie | Problèmes linéaires seulement | Porte d’entrée historique |
| MLP | Couches cachées + activations non linéaires | Peu interprétable, surapprentissage | Classification, régression |
| CNN | Convolution + pooling | Beaucoup de données et de calcul | Vision, images |
| RNN | Connexions récurrentes (mémoire) | Gradient qui disparaît | Séries temporelles, audio |
| LSTM / GRU | Portes (mémoire longue) | Plus lourds | Traduction, voix |
| Transformers | Basés sur l’attention, sans récurrence | Coût mémoire élevé | Chatbots (GPT), BERT |
| Autoencodeurs | Encodeur → goulot → décodeur | Ne génèrent pas de données réalistes (sauf VAE) | Compression, anomalies |
| GAN | Générateur contre discriminateur | Instable à entraîner | Images, deepfakes |
À manipuler : quatre architectures
Le perceptron et le MLP se manipulent dans la leçon 1-3 (« À manipuler : du neurone au réseau »), le Transformer dans la leçon 2-2. Voici les quatre autres lignes du tableau, chacune dans un bloc à déplier.
CNN : réseau convolutif
Un réseau convolutif (Convolutional Neural Network) suppose explicitement que les entrées sont des images : il utilise une petite zone de la couche précédente (filtre de convolution) et encode ainsi des propriétés spatiales dans l’architecture (ex. LeNet-5).
Manipuler : CNN
Un filtre glisse sur l’image et en extrait un motif (contours, diagonales) ; le pooling réduit la taille ; un petit classifieur décide si la carte obtenue ressemble à un T.
RNN et LSTM
Un RNN (réseau récurrent) traite une séquence élément par élément et réinjecte son état à l’étape suivante : c’est une forme de mémoire, utile pour les séries temporelles ou l’audio. Sur de longues séquences, le gradient disparaît et le début est oublié. Le LSTM (et le GRU) ajoute des portes qui décident quoi garder ou oublier, pour une mémoire plus longue, au prix d’un modèle plus lourd.
Manipuler : RNN et LSTM
Deux façons de garder en mémoire le début d’une séquence.
Autoencodeur
Un autoencodeur est composé d’un encodeur qui compresse l’entrée en une représentation courte (le « goulot »), puis d’un décodeur qui tente de la reconstruire. Entraîné sur des données normales, il reconstruit mal ce qui sort de l’ordinaire : d’où ses usages en compression et en détection d’anomalies.
Manipuler : autoencodeur
Compresser puis reconstruire : l’erreur de reconstruction révèle ce qui sort de l’ordinaire.
GAN
Un GAN (réseau antagoniste génératif) oppose deux réseaux : un générateur qui fabrique de fausses données (images…) et un discriminateur qui apprend à distinguer le vrai du faux. En progressant l’un contre l’autre, le générateur produit des contenus très réalistes (d’où les deepfakes), mais l’entraînement est instable.
Manipuler : GAN
Un générateur et un discriminateur s’entraînent l’un contre l’autre.
Voir les ateliers 1.1 et 1.2 pour manipuler un réseau de neurones et un CNN dans le navigateur. Démos du cours : descente de gradient, backprop explainer, démo CNN.
Un réseau de neurones apprend ses poids par rétropropagation. Chaque architecture répond à un type de données : CNN pour les images, RNN/LSTM pour les séquences, autoencodeur pour compresser et repérer les anomalies, GAN pour générer, Transformer pour le langage. Plus de profondeur et de données, c’est plus de capacité, mais aussi moins d’interprétabilité.