Publié le •Mis à jour
Le cofondateur d’Anthropic, Jack Clark, souhaite que l’industrie de l’IA freine avant que la technologie ne commence à se développer davantage sans implication humaine.
PUBLICITÉ
PUBLICITÉ
S’adressant à la BBC, Clark a déclaré que 80 % du travail de codage d’Anthropic est déjà effectué par son IA Claude, et qu’il pourrait atteindre 100 % d’ici quelques années. Cependant, il a ajouté que « c’est un choix » si les sociétés d’IA laissent aller aussi loin sans l’arrêter.
“Nous pensons que c’est une question dont le monde devrait parler davantage”, a déclaré Clark. “L’industrie de l’IA dispose actuellement d’une pédale d’accélérateur, mais elle n’a pas de pédale de frein dans la voiture, et nous voulons faire une partie du travail pour construire cette pédale.”
Ce processus est appelé « auto-amélioration récursive », selon lequel une IA est capable de s’améliorer sans intervention humaine, selon Anthropic. dans un article de blog connexe depuis jeudi soir.
Dans un modèle récursif, les agents d’IA, les travailleurs autonomes créés par un chatbot, pourraient “devenir suffisamment capables de construire et de former eux-mêmes des modèles”, de sorte que Claude “pourrait être continuellement amélioré par Claude”, a déclaré Anthropic.
Même si l’IA récursive pourrait apporter du bien aux domaines de la science et de la santé, Anthropic prévient que cela pourrait signifier augmenter « les risques que les humains perdent le contrôle des systèmes d’IA ».
“Si les systèmes sont capables de construire entièrement leurs propres successeurs, la manière dont nous les protégeons, les surveillons et façonnons leur comportement devient beaucoup plus importante”, peut-on lire sur le blog.
Il existe des preuves dans le propre modèle d’Anthropic que la récursivité arrivera le plus tôt possible. Il souligne le fait que les taux de correction de code par son équipe ont régulièrement diminué au cours de la dernière année, ce qui signifie qu’il y a moins de bogues dans ce que produit Claude.
Claude peut également mener ses propres expériences de recherche lorsqu’on lui pose une question ouverte, telle que « Un modèle plus faible peut-il superviser un modèle plus fort ? » et proposent leurs propres solutions sans intervention humaine.
“Les preuves suggèrent que le rôle humain est réduit à chaque étape du processus de développement de l’IA”, peut-on lire sur le blog.
Anthropic a déclaré que son institut mènerait des recherches pour construire un système permettant de vérifier si les développeurs ont réellement arrêté ou ralenti l’évolution vers l’IA récursive.
Cependant, un véritable ralentissement nécessiterait que « plusieurs laboratoires disposant de ressources suffisantes, à l’intérieur ou à proximité des frontières, dans plusieurs pays, acceptent de s’arrêter dans les mêmes conditions ».
