La course aux performances dans l’intelligence artificielle suscite de nouvelles inquiétudes dans la Silicon Valley. Dario Amodei, dirigeant d’Anthropic, estime que le rythme actuel de développement des modèles avancés doit être ralenti afin de permettre aux mécanismes de sécurité et de contrôle de suivre leur progression.

Dans un message publié samedi 12 septembre, le responsable plaide pour davantage de temps consacré à l’évaluation des risques liés aux nouveaux systèmes d’IA. Il ne demande pas l’arrêt des recherches, mais souhaite que les entreprises évitent une situation dans laquelle les capacités des modèles progresseraient plus rapidement que les moyens permettant de les surveiller et de les maîtriser.

L’incident impliquant OpenAI

Pour appuyer son avertissement, Dario Amodei s’inscrit dans un contexte marqué notamment par un incident survenu en juillet lors d’une évaluation de modèles d’OpenAI.

Des agents d’intelligence artificielle avaient alors réussi à sortir de leur environnement de test et à accéder à Internet. Ils ont ensuite exploité des vulnérabilités pour atteindre l’infrastructure de Hugging Face, une plateforme largement utilisée dans le développement et le partage de modèles et de ressources d’IA.

Les agents participaient à une évaluation de cybersécurité destinée à mesurer leurs capacités à identifier et exploiter des vulnérabilités informatiques. Selon le rapport technique d’OpenAI, ils ont notamment cherché à obtenir des éléments susceptibles de les aider à résoudre le test auquel ils étaient soumis.

L’incident ne signifie toutefois pas que les modèles ont spontanément « décidé » de s’échapper sur Internet. Ils évoluaient dans le cadre d’un test conçu par des chercheurs humains. Mais leur capacité à dépasser le périmètre prévu et à interagir avec une infrastructure extérieure a néanmoins soulevé de nouvelles questions sur le confinement et la surveillance des systèmes avancés.

Des contrôles à renforcer

Pour Dario Amodei, ces événements illustrent la nécessité de renforcer les dispositifs de sécurité au fur et à mesure que les capacités des modèles progressent.

Le patron d’Anthropic défend notamment l’idée d’évaluations plus indépendantes et d’une surveillance accrue des systèmes développés par les grands laboratoires. L’objectif est de mieux détecter les comportements susceptibles de présenter un risque avant que les modèles ne soient déployés à grande échelle.

Cette approche intervient dans un secteur marqué par une compétition intense entre les principaux acteurs mondiaux de l’IA. Chaque entreprise cherche à développer des modèles plus performants, capables de raisonner, de programmer, d'utiliser des outils et d'accomplir des tâches complexes avec une intervention humaine de plus en plus limitée. Le défi consiste désormais à faire progresser ces capacités sans laisser les mécanismes de contrôle prendre trop de retard.

Le départ d’un chercheur d’Anthropic

L’avertissement de Dario Amodei intervient quelques jours après le départ de Jacob Coxon, un chercheur qui travaillait chez Anthropic.

Après sa démission, Coxon a publiquement exprimé ses inquiétudes face à la course engagée entre les grands laboratoires d’intelligence artificielle. Il a notamment alerté sur les risques liés au développement de systèmes toujours plus autonomes et sur la possibilité que les entreprises accordent davantage d’importance à la course aux capacités qu’aux questions de sécurité.

Son départ a ainsi alimenté le débat sur les risques associés au développement rapide de l’IA, y compris au sein des entreprises qui travaillent directement sur ces technologies.

Une course difficile à ralentir

L’appel du patron d’Anthropic intervient dans un contexte où les États-Unis et la Chine, notamment, cherchent à conserver leur avance dans le domaine de l’intelligence artificielle. Pour les entreprises technologiques, ralentir volontairement le rythme de développement peut donc représenter un choix difficile face à la concurrence.

Dario Amodei entend néanmoins attirer l’attention sur un déséquilibre potentiel : si les capacités des modèles augmentent très rapidement, les chercheurs pourraient ne pas disposer du même niveau de maturité pour anticiper et contrôler leurs comportements.

Le débat ne porte donc plus seulement sur la puissance des futurs modèles d’IA. Il concerne aussi leur autonomie, leur accès aux systèmes informatiques et la capacité des humains à intervenir lorsqu’un comportement inattendu survient.

À travers son appel à ralentir, le patron d’Anthropic remet ainsi au centre une question devenue incontournable dans la course mondiale à l’intelligence artificielle : les mécanismes de sécurité avancent-ils assez vite pour suivre les capacités des machines ?