Aurorisk EN

Chapitre 1 · Leçon 1.4

Réseaux de neurones et deep learning

Le réseau de neurones est le modèle central du ML moderne.

Une architecture pour chaque type de donnéesRéseaux de neurones : CNN ; RNN, LSTM ; Autoencodeur ; GANRéseaux de neuronesCNNimagesRNN, LSTMséquencesAutoencodeurcompression, anomaliesGANgénération
Un réseau apprend ses poids par rétropropagation.

Du neurone au réseau

Un neurone artificiel calcule une somme pondérée de ses entrées, puis applique une fonction d’activation. L’apprentissage consiste à identifier les poids qui pondèrent les entrées. On les ajuste par l’algorithme de rétropropagation (avec descente de gradient), qui minimise l’erreur entre prédictions et résultats réels.

Une couche d’entrée alimente une autre couche, et ainsi de suite. Le Deep Learning utilise des réseaux multi-couches (parfois des centaines) : une couche d’entrée (données brutes), des couches cachées (caractéristiques de plus en plus abstraites), une couche de sortie (résultat).

Grande échelle

Le deep learning fonctionne particulièrement bien avec de grandes quantités de données et nécessite une puissance de calcul élevée, souvent fournie par des GPU ou TPU.

Pour aller plus loin : pourquoi une activation non linéaire ?

Sans fonction d’activation non linéaire, empiler des couches ne sert à rien : deux couches linéaires successives, W₂(W₁x), équivalent à une seule couche (W₂W₁)x. La non-linéarité (ReLU : max(0, z) ; sigmoïde : 1/(1+e⁻ᶻ) ; tanh) permet au réseau de représenter des frontières courbes comme le cercle ou la spirale de la démo du chapitre 1.

À manipuler : la rétropropagation, pas à pas

Suivez un cycle d’apprentissage complet sur un mini-réseau : la passe avant calcule l’erreur, la passe arrière attribue à chaque poids sa part de responsabilité, la mise à jour corrige les poids. Tous les calculs sont affichés avec leurs valeurs.

Panorama des architectures

ArchitectureCaractéristiquesLimitesApplications
Perceptron simple1 couche d’entrée → 1 de sortieProblèmes linéaires seulementPorte d’entrée historique
MLPCouches cachées + activations non linéairesPeu interprétable, surapprentissageClassification, régression
CNNConvolution + poolingBeaucoup de données et de calculVision, images
RNNConnexions récurrentes (mémoire)Gradient qui disparaîtSéries temporelles, audio
LSTM / GRUPortes (mémoire longue)Plus lourdsTraduction, voix
TransformersBasés sur l’attention, sans récurrenceCoût mémoire élevéChatbots (GPT), BERT
AutoencodeursEncodeur → goulot → décodeurNe génèrent pas de données réalistes (sauf VAE)Compression, anomalies
GANGénérateur contre discriminateurInstable à entraînerImages, deepfakes

À manipuler : quatre architectures

Le perceptron et le MLP se manipulent dans la leçon 1-3 (« À manipuler : du neurone au réseau »), le Transformer dans la leçon 2-2. Voici les quatre autres lignes du tableau, chacune dans un bloc à déplier.

CNN : réseau convolutif

Un réseau convolutif (Convolutional Neural Network) suppose explicitement que les entrées sont des images : il utilise une petite zone de la couche précédente (filtre de convolution) et encode ainsi des propriétés spatiales dans l’architecture (ex. LeNet-5).

Manipuler : CNN

Un filtre glisse sur l’image et en extrait un motif (contours, diagonales) ; le pooling réduit la taille ; un petit classifieur décide si la carte obtenue ressemble à un T.

RNN et LSTM

Un RNN (réseau récurrent) traite une séquence élément par élément et réinjecte son état à l’étape suivante : c’est une forme de mémoire, utile pour les séries temporelles ou l’audio. Sur de longues séquences, le gradient disparaît et le début est oublié. Le LSTM (et le GRU) ajoute des portes qui décident quoi garder ou oublier, pour une mémoire plus longue, au prix d’un modèle plus lourd.

Manipuler : RNN et LSTM

Deux façons de garder en mémoire le début d’une séquence.

Autoencodeur

Un autoencodeur est composé d’un encodeur qui compresse l’entrée en une représentation courte (le « goulot »), puis d’un décodeur qui tente de la reconstruire. Entraîné sur des données normales, il reconstruit mal ce qui sort de l’ordinaire : d’où ses usages en compression et en détection d’anomalies.

Manipuler : autoencodeur

Compresser puis reconstruire : l’erreur de reconstruction révèle ce qui sort de l’ordinaire.

GAN

Un GAN (réseau antagoniste génératif) oppose deux réseaux : un générateur qui fabrique de fausses données (images…) et un discriminateur qui apprend à distinguer le vrai du faux. En progressant l’un contre l’autre, le générateur produit des contenus très réalistes (d’où les deepfakes), mais l’entraînement est instable.

Manipuler : GAN

Un générateur et un discriminateur s’entraînent l’un contre l’autre.

À expérimenter

Voir les ateliers 1.1 et 1.2 pour manipuler un réseau de neurones et un CNN dans le navigateur. Démos du cours : descente de gradient, backprop explainer, démo CNN.

À retenir

Un réseau de neurones apprend ses poids par rétropropagation. Chaque architecture répond à un type de données : CNN pour les images, RNN/LSTM pour les séquences, autoencodeur pour compresser et repérer les anomalies, GAN pour générer, Transformer pour le langage. Plus de profondeur et de données, c’est plus de capacité, mais aussi moins d’interprétabilité.