« L’IA ne peut pas se juger elle-même » : le cri d’alarme de chercheurs sortis de chez Google (et leur solution)

Laisser une IA contrôler une autre IA est une impasse, pensent ces trois anciens chercheurs de Google DeepMind. Ils démissionnent et fondent Sampura Research à Londres. Objectif : imposer une supervision humaine et des juges hybrides.

Utiliser un modèle de langage pour évaluer et corriger d’autres modèles d’intelligence artificielle permet d’accélérer le rythme des déploiements. Mais à quel prix ? La boucle fermée menace de créer des boîtes noires totalement incontrôlables. Officiellement annoncée depuis Londres, la structure à but non lucratif Sampura Research entend mettre fin à cette dérive. Fondée par d’anciens chercheurs de Google DeepMind, l’organisation ambitionne de réinjecter le jugement humain au cœur de la supervision algorithmique.

Quel est le problème ?

Face à la complexité croissante des grands modèles, l’industrie a massivement délégué la vérification de la sécurité à d’autres agents automatisés. Une méthode industrielle rapide, mais qui comporte des failles colossales selon les cofondateurs de Sampura Research, Rishub Jain, Joshua Jacob (ancien responsable de l’ingénierie des données humaines chez DeepMind et ancien ingénieur chez Waymo, à retrouver sur le site personnel de Joshua Jacob) et Alex Adams.

Bloomberg Law rappelle que Rishub Jain (Ndlr: qui a passé sept ans chez DeepMind à travailler sur AlphaFold et la supervision à grande échelle) rappelle que l’œil humain reste irremplaçable pour déceler les dérapages d’alignement ou les comportements déviants.

Créer des « juges » hybrides et des benchmarks open source

Pour éviter que les systèmes ne s’auto-valident en roue libre, Sampura Research développe une nouvelle catégorie d’outils d’évaluation baptisés « juges ». Il s’agit d’architectures hybrides combinant l’analyse algorithmique à la rigueur d’experts humains pour mesurer la conformité des réponses.

L’équipe concentre ses travaux sur trois axes majeurs. D’abord, la création de benchmarks mesurant la capacité réelle des équipes humaines à détecter les biais ou les failles dans les sorties d’agents autonomes. Ensuite, la mise à disposition d’outils en open source pour permettre à la communauté mondiale de tester et vérifier la fiabilité des modèles de pointe. Enfin, le développement de méthodologies pour diviser l’effort de contrôle entre la puissance de calcul brute et la décision humaine.

Un recrutement à prix d’or

Ce projet s’inscrit dans un contexte critique d’exode des cerveaux au sein du laboratoire britannique de Google, qui a perdu cinq chercheurs clés en quelques jours. Comme le soulignait Alex Adams dans une publication partagée sur LinkedIn, la jeune structure basée à Londres recrute activement des chercheurs seniors.

Pour attirer les meilleurs profilés face aux géants américains, les salaires proposés s’échelonnent entre 118 000 € et 342 000 € par an (100 000 à 290 000 £). Les scientifiques souhaitant rejoindre le mouvement peuvent enregistrer leur profil via le formulaire de candidature de Sampura Research.

Alors que des organismes d’évaluation indépendants comme METR peinent à constituer leurs équipes malgré des rémunérations dépassant 460 000 € ($500 000), et que plus de 1 100 experts ont signé une pétition exigeant un frein international au développement des modèles, l’initiative londonienne apporte une réponse concrète.

Garantir que l’humain conserve le volant de l’intelligence artificielle n’est plus une simple posture éthique selon les fondateurs de l’institut. C’est désormais… un impératif d’ingénierie.

🦋 L’actualité de l’open source en français dans votre flux. Suivez Goodtech sur Bluesky (ou vos applications AT Protocol comme W Social et Mu) grâce à notre compte officiel. Suivez, partagez, abonnez-vous à @goodtech.info !