Aurorisk EN

Chapitre 1 · Leçon 1.1

Pourquoi une analyse propre aux systèmes d'IA

Une analyse de risque classique suppose un système qui fait toujours la même chose, décrit par ses spécifications. Un système d'IA apprend des données, se trompe de façon imprévisible et peut changer sans qu'on y touche : l'analyse doit en tenir compte.

Il se trompe sans prévenir

Un logiciel classique plante ou renvoie une erreur. Un modèle répond toujours, avec aplomb, y compris quand il a tort.

Il hérite de ses données

Les biais, les lacunes et les erreurs des données d'entraînement se retrouvent dans les résultats, sans que personne ne les ait écrits.

Il dérive

Les données réelles changent, le fournisseur met à jour le modèle : le comportement du mois dernier n'est plus celui d'aujourd'hui.

Il est opaque

On ne sait pas toujours expliquer pourquoi une réponse est donnée : contester une décision devient difficile.

Il se détourne

Une entrée piégée (« injection d'instructions »), un usage hors du cadre prévu, une confiance excessive : l'attaque ou l'erreur d'usage fait partie du risque.

Il touche des personnes

Le dommage tombe souvent sur des tiers (candidats, patients, clients), pas seulement sur l'organisation.

Ce que ce cours ajoute

Le cours « Risques et IA » (coursia) présente le panorama des risques et des textes. Ici, on apprend la démarche : de l'inventaire au plan de traitement et au suivi, sur un cas complet.

Une analyse, trois regards

Le risque pour les personnes (droits, santé, sécurité), le risque pour l'organisation (juridique, financier, image) et le risque de sécurité du système lui-même (attaques sur le modèle et les données). Les trois s'additionnent.

À retenir

Un système d'IA se trompe avec aplomb, hérite de ses données, dérive, reste opaque et peut être détourné : l'analyse classique ne le voit pas. On juge le risque pour les personnes, pour l'organisation et pour la sécurité du système.

Sources : règlement (UE) 2024/1689 (art. 9 : système de gestion des risques) ; ISO/IEC 23894:2023 (lignes directrices pour le management du risque lié à l'IA) ; NIST AI RMF 1.0.