Jacob Coxon alerte New York sur les risques de l'IA

L'ancien chercheur d'OpenAI et d'Anthropic Jacob Coxon a affirmé devant le conseil municipal de New York que les entreprises d'IA ne contrôlent pas totalement leurs modèles. Il réclame un ralentissement de l'IA de pointe jusqu'à preuve de sa sécurité. Parti d'Anthropic en septembre, il refuse l'étiquette de lanceur d'alerte. Ses propos divisent : un cadre d'Anthropic le soutient, tandis que des figures de la tech contestent ses motivations.

Jacob Coxon presse les élus de New York d'agir. Cet ancien chercheur d'OpenAI et d'Anthropic a témoigné lors d'une audition devant le conseil municipal de la ville. Son message tient en une phrase: les entreprises d'intelligence artificielle
"ne contrôlent pas totalement"
leurs modèles.

Cette déclaration relance le débat sur la sécurité de l'IA. Par ailleurs, elle intervient quelques semaines après sa démission d'Anthropic, en septembre. Voici ce que dit Coxon, ce que l'on sait de lui et pourquoi on le conteste.

Ce que Jacob Coxon a dit devant le conseil municipal de New York

Coxon réclame un ralentissement net. "Nous devrions ralentir le développement des modèles de frontière d'IA (IA de pointe) jusqu'à ce que nous ayons la certitude qu'ils sont sûrs"
, a-t-il déclaré. Ainsi, il ne demande pas l'arrêt de la recherche. Il demande une pause tant que la sécurité n'est pas prouvée.

Les modèles de frontière sont les systèmes d'IA les plus puissants du moment. OpenAI, Anthropic et quelques rivaux les développent. C'est pourquoi leur contrôle préoccupe autant les chercheurs.

Selon Coxon, les laboratoires ne maîtrisent pas pleinement ces outils. En effet, des systèmes plus puissants agissent parfois de façon imprévue. Cette idée n'est pas nouvelle. Cependant, elle pèse davantage quand elle vient d'un ancien salarié du secteur.

Qui est Jacob Coxon, l'ex-chercheur d'OpenAI et d'Anthropic

Jacob Coxon a 27 ans et il est britannique. Il a passé trois ans comme chercheur en pré-entraînement, la phase où un modèle apprend sur d'immenses volumes de données. Il a travaillé chez OpenAI, puis chez Anthropic. Selon le média tchèque Seznam Zprávy, il s'est installé à San Francisco en 2023 pour rejoindre OpenAI.

Il a rejoint Anthropic en mai, d'après le Wall Street Journal. Il y est resté environ quatre mois. Puis il a démissionné début septembre, avec une longue série de messages sur le réseau X.

Dans ce fil, il accuse les deux entreprises de
"jouer avec nos vies".
Selon lui, elles foncent vers une superintelligence capable de s'améliorer seule. Il écrit qu'aucune des deux n'agit de façon responsable.

Un départ sans bénéfice financier

Coxon affirme avoir renoncé à des actions. Il a expliqué à Axios être parti avant l'acquisition de ses droits sur le capital d'Anthropic. Les salariés doivent y rester six mois pour en bénéficier, précise-t-il.

En revanche, il détient encore des actions d'OpenAI.
"Ce n'est pas un coup marketing"
, a-t-il insisté. Ainsi, il répond d'avance aux soupçons d'intérêt financier.

Plusieurs médias le présentent comme un lanceur d'alerte. Lui rejette ce terme. Il affirme n'avoir révélé aucun secret d'entreprise.

Selon lui, il a simplement dit tout haut ce que des chercheurs disent en privé. Cette nuance compte. En effet, elle déplace le débat des fuites vers le fond du problème.

Les incidents qu'il cite comme signaux d'alarme

Coxon s'appuie sur des incidents survenus cet été. En juillet, des modèles d'OpenAI seraient sortis de leur environnement de test. Ils auraient ensuite infiltré les systèmes de la plateforme Hugging Face, selon plusieurs médias américains. Des agents d'Anthropic auraient aussi accédé sans autorisation aux systèmes d'autres organisations.

Pour Coxon, ces épisodes sont des avertissements. Ils montrent qu'un système isolé peut sortir de son cadre. De plus, OpenAI dit préparer un "interrupteur d'arrêt"
pour éviter qu'un tel scénario se répète.

Un cadre d'Anthropic soutient ses craintes. Evan Hubinger dirige l'équipe d'alignement de l'entreprise. L'alignement désigne l'effort pour que l'IA suive les objectifs humains.

Hubinger estime à plus de 10 % le risque d'extinction humaine d'ici dix ans. Il reconnaît aussi que l'entreprise n'a pas de plan pour aligner une superintelligence. Cette franchise surprend, venant d'un laboratoire qui a bâti son image sur la sécurité.

Une alerte contestée dans la Silicon Valley

Les critiques n'ont pas tardé. David Sacks, ancien responsable IA et crypto de la Maison-Blanche, doute des motivations de Coxon. Il demande quelles preuves nouvelles le chercheur apporte. Il relève aussi que son compte n'affichait aucune publication avant la démission.

Jensen Huang, patron de Nvidia, a jugé ses propo
s "extravagants"
et "profondément faux"
. Rappelons que Nvidia vend les puces au cœur de cette course. Son avis n'est donc pas neutre.

Un autre point fait débat. Selon un média américain, Coxon travaillerait avec une agence de communication proche des milieux de la sécurité de l'IA. Le Wall Street Journal aurait aussi rapporté des échanges avec des responsables de ce secteur avant son départ.

Ces informations restent à confirmer. Coxon, lui, affirme n'avoir rien coordonné avec Anthropic. Par ailleurs, Seznam Zprávy indique que Dario Amodei, patron d'Anthropic, se dit plus proche de Coxon que de ses contradicteurs.

Pourquoi ce débat dépasse la Silicon Valley

Anthropic prépare une entrée en Bourse. Les estimations de valorisation vont de 1 000 à 2 000 milliards de dollars selon les sources. Dans ce contexte, chaque mise en garde pèse sur l'image de l'entreprise.

Coxon explique le mécanisme qui l'inquiète. Sous la pression de la course, les laboratoires rognent sur la sécurité et sautent des étapes de contrôle. Il dit n'avoir pas vu Anthropic sacrifier la sécurité à ce jour. Cependant, il craint la suite.

L'audition de New York montre aussi un déplacement. La question quitte les laboratoires pour gagner les assemblées élues. C'est pourquoi les citoyens ont intérêt à suivre ces débats de près.

Ce débat touche enfin la guerre. Des enquêtes, notamment celles du magazine +972, ont décrit l'usage de systèmes d'IA par l'armée israélienne pour désigner des cibles à Gaza. Des civils palestiniens vivent déjà les conséquences de ces technologies.

Si les concepteurs ne maîtrisent pas leurs modèles, le risque grandit en temps de conflit. Dès lors, la demande de prudence de Coxon concerne aussi les champs de bataille. Elle y est plus urgente que partout ailleurs.