Glossaire encyclopédique · France
Data poisoning
Attaque ou altération visant les données utilisées pour entraîner, ajuster ou alimenter un système afin d’en dégrader le comportement ou d’y introduire un biais volontaire.
Définition développée
Pour une IA publique, ce risque rappelle qu’une donnée apparemment documentaire peut devenir une surface d’attaque si elle influence directement les réponses du système. Le data poisoning consiste à altérer des données utilisées pour entraîner, ajuster ou alimenter un système afin d’en dégrader ou d’en détourner le comportement. Le risque dépend de la chaîne de données: provenance, droits d’écriture, contrôles de qualité et détection d’anomalies. La défense ne repose donc pas sur un seul filtre placé après la génération.
Pourquoi cette notion compte
L’empoisonnement peut viser un modèle appris sur un jeu de données, mais aussi certains systèmes qui réutilisent des documents externes sans contrôle suffisant. Les défenses passent par la provenance des données, les contrôles d’intégrité, la séparation des sources et les tests de comportement.
À ne pas confondre
Ajouter discrètement des exemples malveillants dans un jeu d’entraînement peut pousser un modèle à favoriser une sortie particulière dans des situations ciblées.