IA générative : des systèmes vulnérables comme les autres

Le monde de l'entreprise se passionne pour les intelligences artificielles génératives. Mais pour s'éviter de mauvaises surprises, mieux vaut prendre le temps de réfléchir à leur sécurisation avant de les déployer. C'est dans cette optique que l'Anssi a publié<a href="https://cyber.gouv.fr/publications/recommandations-de-securite-pour-un-systeme-dia-generative"> hier un guide assorti de plusieurs recommandations.</a> L'idée ? Aider les concepteurs et utilisateurs à sécuriser les déploiements de ces outils. Le document recense les différentes configurations d'un système d'IA générative et les scénarios d'attaques. Il propose une trentaine de recommandations de sécurité. Il se concentre principalement sur les outils de type LLM (Large Language Model, ou grands modèles de langage) destinés à produire du texte ou du code informatique. <h2>Des attaques en amont et en production</h2> Les attaques informatiques visant les systèmes d'intelligence artificielle générative sont classées en trois grandes catégories : <ul> <li>Les attaques par manipulation s'appuient sur des requêtes malveillantes envoyées à un système en production.</li> <li>Les attaques par infection visent un système d'IA lors de sa phase d'entraînement.</li> <li>Enfin les attaques par exfiltration visent à dérober des informations sur le système d'IA en production.</li> </ul> Parmi les attaques envisagées, un acteur tiers ayant par exemple accès aux données utilisées pour l'entraînement du modèle peut utiliser cet accès pour "empoisonner" les données. De quoi détourner le système une fois en production, par exemple en l'entrainant à répondre à une requête spécifique pour déclencher une action malveillante. Mais même sans avoir un accès aux données d'entraînement ou au système lors de son entraînement, un attaquant ayant accès à d'autres composants utilisés par le modèle d'IA peut présenter des risques. Le rapport identifie plusieurs impacts possibles de ces attaques. Par exemple le risque réputationnel pour l'organisation mettant à disposition du grand public des services de type chatbot. On se souvient à ce propos de <a href="https://www.zdnet.fr/actualites/microsoft-tire-les-enseignements-de-son-experience-ratee-avec-tay-39888277.htm">l'expérience malheureuse de Microsoft avec son chatbot Tay).</a> Est également cité la latéralisation d'une attaque vers d'autres applications métiers connectées aux systèmes d'IA générative. <h2>Prudence à tous les niveaux</h2> Dans tous les cas de figure, l'Anssi recommande de mener une étude d'analyse de risque sur les IA en amont de la phase d'entraînement. Le but ? Identifier les différents éléments en liens avec l'IA et les sous parties chargées de traiter les données de l'organisation. L'Agence appelle également à conserver une certaine prudence sur les applications finales de l'IA et déconseille "l'usage automatisé de systèmes d'IA pour les actions critiques sur le SI." Si les outils d'IA générative sont vus par beaucoup d'éditeur comme <a href="https://www.zdnet.fr/actualites/de-lia-dans-les-soc-mais-pour-en-faire-quoi-390235.htm">un puissant moyen pour l'automatisation des taches</a>, l'Anssi invite les concepteurs à conserver une certaine prudence et la maîtrise humaine de ces actions. Par exemple en conservant scrupuleusement les journaux des traitements réalisés par le modèle d'IA. Mais aussi en les cloisonnant "scrupuleusement" dans un environnement technique dédié. Le guide consacre enfin une partie à destination des outils de génération de code source s'appuyant sur l'IA Gen, comme Copilot de Microsoft. Là aussi, l'Anssi appelle à la prudence et recommande de systématiquement contrôler le code source généré par l'IA et de limiter son utilisation pour les applications les plus critiques.