Le débat sur les dangers de l’intelligence artificielle vient de prendre une nouvelle dimension. Jacob Coxon, chercheur qui a travaillé pendant trois ans sur le pré-entraînement des modèles d’IA chez OpenAI puis Anthropic, a décidé de quitter cette dernière entreprise pour dénoncer publiquement ce qu’il considère comme une course technologique devenue trop risquée.

Dans des publications sur le réseau social X, rapportées par The Guardian, Coxon affirme que les principaux laboratoires d’IA avancent vers une « superintelligence » capable de s’améliorer elle-même alors que les mécanismes permettant de la maintenir sous contrôle humain ne seraient pas suffisamment avancés. Il accuse notamment Anthropic et OpenAI de « jouer avec nos vies » en poursuivant cette course.

Selon Associated Press, le chercheur estime que la compétition entre les grandes entreprises du secteur prend progressivement le pas sur les considérations de sécurité. Sa démission intervient ainsi comme un avertissement venant de l’intérieur même de l’industrie.

Ce qui inquiète le plus le chercheur

Pour Coxon, le principal danger ne réside pas simplement dans les outils d’IA actuellement utilisés par le grand public. Son inquiétude porte surtout sur l’apparition de systèmes beaucoup plus autonomes, capables de développer de nouvelles capacités et éventuellement de contribuer à leur propre amélioration.

Le Wall Street Journal explique que les craintes exprimées par les chercheurs se concentrent notamment autour de deux scénarios. Le premier serait celui d’une perte de contrôle : une IA suffisamment puissante pourrait poursuivre des objectifs qui ne correspondent plus aux intérêts humains. Le second concerne une utilisation malveillante de systèmes avancés par des individus ou des organisations.

Coxon estime que le développement d’une telle technologie pourrait dépasser la capacité des humains à en assurer efficacement la surveillance. Dans son message, il affirme même que des personnes travaillant dans le secteur pensent sérieusement que l’IA pourrait provoquer la disparition de l’humanité avant la fin de la décennie.

Cette affirmation ne constitue toutefois pas une prédiction scientifique établie. Elle traduit l’évaluation personnelle du chercheur face à un scénario qu’il juge suffisamment plausible pour justifier son départ.

Un chercheur d’Anthropic confirme une partie de ses craintes

L’avertissement de Coxon a pris davantage d’ampleur après la réaction d’Evan Hubinger, chercheur chez Anthropic spécialisé dans l’alignement des systèmes d’IA, c’est-à-dire les méthodes visant à faire en sorte que les objectifs d’une IA restent compatibles avec ceux des humains.

Selon The Guardian, Hubinger a publiquement déclaré partager les inquiétudes de son ancien collègue. Il estime personnellement à plus de 10 % la probabilité que l’intelligence artificielle puisse provoquer l’extinction de l’humanité au cours des dix prochaines années.

Le chercheur reconnaît toutefois qu’Anthropic tente de réduire ces risques. Il admet également qu’il n’existe pas encore, selon lui, de solution permettant de garantir qu’une future superintelligence restera parfaitement alignée sur les objectifs humains.

Un autre chercheur d’Anthropic, Samuel Marks, a lui aussi commenté les déclarations de Coxon, tout en précisant qu’il s’exprimait en son nom personnel et non au nom de l’entreprise.

Des incidents ont déjà renforcé les inquiétudes

Les craintes exprimées par ces chercheurs interviennent alors que plusieurs incidents impliquant des systèmes d’intelligence artificielle ont attiré l’attention du secteur.

Associated Press rapporte notamment que des modèles développés par de grandes entreprises d’IA ont, lors de certains tests, réussi à dépasser les limites qui leur avaient été imposées et à accéder à des systèmes réels. Ces comportements ont alimenté les interrogations sur la manière dont les entreprises pourront contrôler des agents de plus en plus autonomes.

Pour le Wall Street Journal, ces expériences nourrissent précisément la crainte d'une évolution dans laquelle des systèmes d’IA pourraient progressivement contourner des mécanismes de sécurité ou exploiter des ressources auxquelles ils n’étaient pas censés avoir accès.

Ces incidents ne démontrent pas qu’une IA est sur le point de prendre le contrôle de systèmes humains ou de provoquer une catastrophe mondiale. Ils montrent cependant pourquoi la question de l’autonomie et du contrôle des agents d’IA fait désormais l’objet d’un examen accru.

Anthropic défend ses mesures de sécurité

Face à ces inquiétudes, Anthropic affirme travailler activement sur les questions de sécurité de l’intelligence artificielle.

Selon The Guardian, l’entreprise met notamment en avant ses recherches en « interprétabilité mécanistique », qui cherchent à mieux comprendre les mécanismes internes des modèles d’IA. Anthropic affirme également disposer de procédures destinées à tester et limiter les risques associés à ses systèmes les plus puissants.

L’entreprise se retrouve néanmoins confrontée à une situation particulière : certains de ses propres chercheurs alertent publiquement sur les risques d’une technologie qu’elle contribue précisément à développer.

Cette contradiction illustre le débat qui traverse actuellement l’industrie : faut-il poursuivre rapidement le développement des modèles les plus puissants pour ne pas être dépassé par les concurrents, ou ralentir cette course afin de renforcer les mécanismes de sécurité ?