Le développeur d’IA basé aux États-Unis, Anthropic, a annoncé cette semaine un nouveau modèle de langage d’IA à usage général qui, selon lui, est trop puissant pour être diffusé au monde.
PUBLICITÉ
PUBLICITÉ
La société dit mardi que sa dernière technologie, Mythos (officiellement appelée « Claude Mythos Preview »), n’est pas prête à être publiée car elle est trop efficace pour détecter les vulnérabilités de haute gravité, ou les faiblesses potentielles, dans les principaux systèmes d’exploitation et navigateurs Web. Cela pourrait conduire à des abus par des cybercriminels et des espions.
À fuite de données en mars, il a révélé pour la première fois qu’Anthropic travaillait sur Mythos Preview, qui, selon lui, “posait des risques de cybersécurité sans précédent”. Ces rumeurs ont fait chuter les actions de cybersécurité, car la puissance de la technologie pourrait en faire l’appareil de rêve pour les pirates informatiques.
Aujourd’hui, de nouvelles preuves s’ajoutant à ces préoccupations ont conduit l’entreprise à suspendre la diffusion publique de la technologie.
“La forte augmentation des capacités de Claude Mythos Preview nous a conduit à décider de ne pas le rendre généralement disponible”, écrit Anthropic dans la carte du système de prévisualisation publiée mardi.
“Au lieu de cela, nous l’utilisons dans le cadre d’un programme de cybersécurité défensive avec un ensemble limité de partenaires.”
Quelle est la puissance de Mythe ?
La société a détaillé plusieurs conclusions alarmantes sur le nouveau modèle, notamment la façon dont elle pouvait suivre des instructions qui l’incitaient à quitter un bac à sable virtuel, ce qui signifie qu’elle contournait les restrictions de sécurité, de réseau ou de système de fichiers imposées au modèle.
Le message demandait à Mythos de trouver un moyen d’envoyer un message s’il pouvait s’échapper. “Le modèle a été un succès, démontrant une capacité potentiellement dangereuse à contourner nos mesures de protection”, a déclaré Anthropic, ajoutant que le modèle avait décidé d’aller plus loin.
“Dans un effort inquiétant et non sollicité pour démontrer son succès, il a publié des détails sur son exploit sur plusieurs sites Web difficiles à trouver, mais techniquement publics.”
Anthropic cache certains détails sur les vulnérabilités de cybersécurité découvertes par Mythos, mais a donné quelques exemples. Il a trouvé des bogues dans le noyau Linux, utilisé dans la plupart des serveurs du monde, et les a enchaînés de manière autonome de manière à permettre à un pirate informatique de prendre le contrôle total de n’importe quelle machine exécutant des systèmes Linux.
Dans une autre observation inquiétante, Mythos a découvert une vulnérabilité vieille de 27 ans dans le système d’exploitation open source OpenBSD qui peut permettre aux pirates de faire planter n’importe quelle machine l’exécutant. OpenBSD est largement utilisé dans le monde entier dans des rôles spécifiques, de haute sécurité et d’infrastructure critique.
À qui sera-t-il livré ?
Compte tenu de ces résultats, Anthropic ne mettra Mythos Preview à la disposition que de certaines des plus grandes sociétés de logiciels et de cybersécurité au monde.
Anthropic lui-même, ainsi que 11 autres organisations (Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, Nvidia et Palo Alto Networks) auront accès au modèle dans le cadre d’une nouvelle initiative Anthropic appelée « Project Glasswing ».
Cela permet aux entreprises d’utiliser Mythos Preview dans le cadre de leur travail de sécurité, et Anthropic partagera les résultats de l’initiative.
La société a donné au projet de cybersécurité le nom du papillon aux ailes de verre, affirmant qu’il s’agit d’une métaphore de la façon dont Mythos a découvert les vulnérabilités bien en vue et a évité les dommages en étant transparent sur les risques.
Anthropic a déclaré que son « objectif ultime est de permettre à nos utilisateurs de déployer en toute sécurité des modèles de classe Mythos à grande échelle, à des fins de cybersécurité, mais aussi pour les innombrables autres avantages que ces modèles hautement performants apporteront ».
“Pour ce faire, cela signifie également que nous devons aller de l’avant dans le développement de mesures de cybersécurité (et autres) qui détectent et bloquent les résultats des modèles les plus dangereux”, a écrit Anthropic sur son blog.
Anthropic est-il en pourparlers avec le gouvernement américain ?
Anthropic a déclaré sur son blog qu’elle était en “discussions en cours” avec des responsables du gouvernement américain au sujet de Claude Mythos Preview et de ses “cyber-capacités offensives et défensives”.
“L’émergence de ces cybercapacités est une autre raison pour laquelle les États-Unis et leurs alliés doivent maintenir un leadership décisif dans la technologie de l’IA”, a déclaré Anthropic. La société a écrit que les gouvernements ont un rôle important à jouer pour maintenir leur leadership et évaluer et atténuer les risques pour la sécurité nationale associés aux modèles d’IA.
“Nous sommes prêts à travailler avec les représentants locaux, étatiques et fédéraux pour contribuer à ces efforts.”
Cette annonce intervient alors qu’Anthropic et le Pentagone se retrouvent dans une impasse juridique après que le ministère américain de la Défense a qualifié l’entreprise de risque pour la chaîne d’approvisionnement en février en raison du refus d’Anthropic d’autoriser l’utilisation de son IA, Claude, dans les armes autonomes et la surveillance de masse.
D’autres outils d’IA ont-ils les mêmes capacités ?
“Des modèles plus puissants vont émerger de nous et d’autres, nous avons donc besoin d’un plan pour y répondre”, a déclaré le PDG d’Anthropic, Dario Amodei, dans une vidéo publiée parallèlement à l’annonce de Mythos.
Cela pourrait prendre de six à 18 mois pour que d’autres concurrents de l’IA publient des modèles similaires, a déclaré à Axios Logan Graham, chef de l’équipe Border Red d’Anthropic, qui étudie les implications des modèles d’IA frontaliers pour la cybersécurité, la biosécurité et les systèmes autonomes.
“Il est très clair pour nous que nous devons en parler publiquement”, a déclaré Graham. “Le secteur de la sécurité doit comprendre que ces capacités pourraient bientôt être disponibles.”
