Chapitre 1 · Leçon 1.1
Pourquoi une analyse propre aux systèmes d'IA
Une analyse de risque classique suppose un système qui fait toujours la même chose, décrit par ses spécifications. Un système d'IA apprend des données, se trompe de façon imprévisible et peut changer sans qu'on y touche : l'analyse doit en tenir compte.
Il se trompe sans prévenir
Un logiciel classique plante ou renvoie une erreur. Un modèle répond toujours, avec aplomb, y compris quand il a tort.
Il hérite de ses données
Les biais, les lacunes et les erreurs des données d'entraînement se retrouvent dans les résultats, sans que personne ne les ait écrits.
Il dérive
Les données réelles changent, le fournisseur met à jour le modèle : le comportement du mois dernier n'est plus celui d'aujourd'hui.
Il est opaque
On ne sait pas toujours expliquer pourquoi une réponse est donnée : contester une décision devient difficile.
Il se détourne
Une entrée piégée (« injection d'instructions »), un usage hors du cadre prévu, une confiance excessive : l'attaque ou l'erreur d'usage fait partie du risque.
Il touche des personnes
Le dommage tombe souvent sur des tiers (candidats, patients, clients), pas seulement sur l'organisation.
Ce que ce cours ajoute
Le cours « Risques et IA » (coursia) présente le panorama des risques et des textes. Ici, on apprend la démarche : de l'inventaire au plan de traitement et au suivi, sur un cas complet.
Le risque pour les personnes (droits, santé, sécurité), le risque pour l'organisation (juridique, financier, image) et le risque de sécurité du système lui-même (attaques sur le modèle et les données). Les trois s'additionnent.
Un système d'IA se trompe avec aplomb, hérite de ses données, dérive, reste opaque et peut être détourné : l'analyse classique ne le voit pas. On juge le risque pour les personnes, pour l'organisation et pour la sécurité du système.
Sources : règlement (UE) 2024/1689 (art. 9 : système de gestion des risques) ; ISO/IEC 23894:2023 (lignes directrices pour le management du risque lié à l'IA) ; NIST AI RMF 1.0.