Les chercheurs ont trouvé un moyen étrange mais efficace d’arrêter un agent de piratage d’IA en utilisant la même astuce que les pirates utilisent déjà contre les systèmes d’IA.
PUBLICITÉ
PUBLICITÉ
Surtout, il utilise des leviers de sécurité intégrés ou des sujets interdits dont dépendent les principaux systèmes d’IA du monde, comme Claude stoppant les requêtes liées à la création d’armes biologiques ou des modèles d’IA construits en Chine qui ignorent des sujets politiques sensibles comme la place Tiananmen, pour arrêter une attaque de cybersécurité par l’IA.
Course contre la machine
La technique provient de Tracebit, une société de sécurité basée à Londres, et est basée sur une étude publiée par la société en mai.
À l’époque, Tracebit avait donné à dix grands modèles d’IA un faux réseau d’entreprise, doté de véritables vulnérabilités, et leur avait permis d’agir comme des attaquants autonomes.
Cachés au sein de ce réseau se trouvaient des leurres, appelés canaris, conçus pour ressembler à de vrais mots de passe et identifiants de connexion. Touchez-en un et les défenseurs sont alertés.
Les résultats étaient encourageants. Lors de 951 tentatives d’attaque, ces canaris ont averti les défenseurs avant que l’IA n’atteigne l’accès administrateur dans 95,9 % des cas, avec un délai moyen de huit minutes.
Cependant, huit minutes, ce n’est pas long lorsqu’il faut réagir et stopper une attaque. Les modèles d’IA ont mis en moyenne 14 minutes pour entrer complètement, donc un avertissement de huit minutes laisse à l’équipe de sécurité environ six minutes pour remarquer l’alerte, comprendre ce qui se passe et l’arrêter.
Contre quelque chose qui se déplace à la vitesse d’une machine, ce n’est pratiquement pas le moment.
Mais si les systèmes d’IA sont programmés pour s’arrêter lorsqu’ils sont confrontés à certains signaux politiquement sensibles, alors l’astuce pourrait fonctionner.
Un développeur peut recycler un modèle pour qu’il soit moins exigeant face à un problème de sécurité, mais il est beaucoup plus difficile de supprimer les restrictions de politique intégrées pour des raisons réglementaires ou politiques.
Ces problèmes politiquement sensibles ou liés à la sécurité ne constituent pas un bug qui doit être corrigé, mais un choix de conception délibéré que le développeur doit préserver.
Mettez contre vous le truc des hackers
L’injection rapide a été principalement une arme utilisée par les attaquants eux-mêmes.
En masquant une instruction dans un e-mail, une page Web ou une invitation de calendrier, un agent IA qui la lit pourrait suivre cette commande cachée au lieu de faire son travail réel.
Cela a déjà été utilisé directement contre les défenses du système d’IA, avec des logiciels malveillants créés pour tromper les outils d’analyse de l’IA et les déclarer inoffensifs, simplement en intégrant du texte conçu pour confondre l’IA qui le lit.
Tracebit a décidé de renverser cette idée. Au lieu d’un pot de miel qui déclenche simplement une alarme, l’entreprise a placé de courts extraits de texte dans ses faux secrets, écrits pour pousser tout attaquant IA vers quelque chose que ses propres règles de sécurité ne permettent pas.
Lorsque l’IA lit ce texte tout en analysant le système, ses protections intégrées entrent en jeu et elle s’arrête tout simplement. Tracebit appelle cela une bombe contextuelle.
L’astuce devait être adaptée à chaque modèle d’IA. Le contenu faisant référence à des armes biologiques dangereuses a arrêté de manière fiable les modèles occidentaux.
Est-ce que ça a vraiment fonctionné ?
Tracebit a effectué le test sur cinq principaux modèles d’IA : Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro et Kimi K2.6. Après 152 tentatives d’attaque, les résultats furent surprenants.
La proportion d’exécutions ayant atteint l’accès administrateur a été réduite de 57 % à 5 %. L’engagement total, c’est-à-dire l’accès administrateur plus une présence à long terme dans le système, est passé de 36 % à 1 %.
Les exécutions complétant n’importe quelle partie d’une attaque ont été réduites de 91 % à 15 %. Plus important encore, chaque exécution incluant une bombe contextuelle déclenchait en premier une alerte Canary, même celles qui n’y parvenaient pas.
L’opus 4.8 en est l’exemple le plus clair. Il s’agissait également de l’attaquant le plus puissant du groupe, obtenant un accès administrateur dans 93 % des exécutions sans aucune bombe contextuelle. Une fois ajouté, il échouait à chaque fois.
Ce que cela ne résout pas
Personne chez Tracebit ne prétend que cela résoudra définitivement l’injection rapide.
Il n’existe toujours pas de véritable moyen d’empêcher les modèles d’IA de confondre occasionnellement une instruction avec des données ordinaires, et c’est exactement le défaut sur lequel repose cette technique.
Cela ne remplace pas non plus les recherches antérieures sur les Canaries.
Les deux sont censés fonctionner ensemble : l’étude de May donne aux défenseurs un avertissement de huit minutes, et la bombe contextuelle tente de leur faire gagner encore plus de temps en arrêtant l’attaque avant la fermeture de cette fenêtre d’avertissement.
