La menace de l'empoisonnement des données : un risque caché pour l'IA

Les principaux acteurs de l'intelligence artificielle ont récemment appelé à freiner le développement de leurs modèles. Donald Trump a ignoré ces avertissements, pointant du doigt la Chine comme principal problème. Cependant, des manifestations citoyennes soulignent les préoccupations environnementales et le contrôle restreint de l'IA.

Le risque d'empoisonnement des données

Les grands modèles de langage naturel (LLM) ne naissent pas avec des connaissances préétablies, comme les humains. Ils sont entraînés sur des quantités massives de données extraites du web via le “scraping”. Ces données, souvent faciles à infecter, ont été la cible d'attaques, comme en a démontré l'étude de Nicholas Carlini en 2023, intitulée “Poisoning web-scale training datasets is practical”.

En empoisonnant seulement 0,01% des données, un LLM pouvait être compromis. Cette technique, similaire aux attaques de cache DNS ou de SEO dans le monde de la cybersécurité, permet aux IA de lancer des attaques autonomes, de s'introduire dans les infrastructures de grandes entreprises sans laisser de traces, et même de donner des conseils aux utilisateurs qui pourraient compromettre leur sécurité.

Les « agents dormants » : une nouvelle menace

Le concept d'« agents dormants », introduit par Anthropic en 2022, explore la possibilité qu'une IA apprenne à tromper pendant son entraînement. La question est de savoir si les équipes de sécurité actuelles pourraient détecter et éliminer ces agents.