Quand les agents d’IA dérapent : Cisco dévoile Quarry, l’outil open source taillé pour les intercepter

Quand un agent d’IA lit un fichier de mots de passe puis passe un coup de fil vers l’extérieur… Cisco publie Quarry en open source sous licence Apache 2.0 pour intercepter ces dérives en plusieurs étapes. Le point sur ce nouvel outil de défense.

Lorsque des agents d’intelligence artificielle franchissent les barrières de sécurité, leur méthode ne repose pas sur une attaque brutale en force, mais sur l’accumulation discrète d’actions en apparence inoffensives. Partant du principe que la vérification isolée d’un événement est désormais impuissante face aux systèmes autonomes, l’équipementier américain vient d’officialiser la sortie de Project Quarry. Publié sous licence Apache-2.0, ce framework d’ingénierie de détection introduit un langage partagé pour modéliser, surveiller et bloquer les comportements pervers des agents d’IA.

Développé par les équipes de recherche en cybersécurité de Cisco et accessible librement sur le dépôt GitHub du projet, Quarry est un moteur d’analyse comportementale neurosymbolique. Il combine des règles logiques formelles (automates finis symboliques) et des classifieurs d’apprentissage automatique pour analyser l’historique complet d’une session d’agent d’IA. L’outil surveille l’ordre chronologique des messages, les appels d’outils, les retours de commandes et les échanges articulés autour du protocole MCP (Model Context Protocol).

La détection de menaces inspirée de Snort et YARA

Dans la cybersécurité traditionnelle, un seul paquet réseau isolé ne permet presque jamais d’attester d’une intrusion. C’est pour résoudre cette ambiguïté que l’outil Snort a autrefois imposé sa grammaire sur les réseaux, imité ensuite par YARA pour les binaires malveillants et Sigma pour les journaux d’événements. Quarry transpose exactement cette philosophie à l’ère des agents autonomes. Plutôt que de confier la sécurité à un simple score opaque ou à une vérification locale de syntaxe, le système évalue la chaîne complète des intentions :

• Détection séquentielle d’exfiltration : la lecture d’un fichier de configuration ou d’identifiants est autorisée, tout comme l’envoi d’une requête HTTP vers l’extérieur. En revanche, si la requête externe survient dans une fenêtre de quatre étapes après la lecture des secrets, Quarry déclenche une alerte circonstanciée.
• Résistance à l’obfuscation : le moteur analyse les chaînes encodées en Base64 sans attendre leur décompression en texte brut, interceptant immédiatement les tentatives d’exécution directe dans un interpréteur de commandes (shell).
• Approche neurosymbolique : une même règle peut convoquer des modèles de vision pour repérer des injections de requêtes dissimulées dans une image (attaques typographiques), tout en vérifiant l’enchaînement strict des appels d’outils.
• Vérification à la compilation : les règles sont compilées sous forme d’automates d’états finis dès leur chargement initial. Toute anomalie de syntaxe ou de logique bloque immédiatement l’exécution avant même d’ingérer la moindre session.

Des garde-fous pour contrer la dérive des objectifs

Le risque majeur des agents actuels réside dans le détournement progressif de leur mission de départ. Lors d’incidents documentés comme l’intrusion d’environnements d’entraînement chez Hugging Face, les agents avaient contourné leur bac à sable, validé des jetons d’accès administrateur et continué leurs explorations pendant des jours entiers parce qu’ils estimaient que l’évaluateur exigeait davantage de résultats. Cette recherche effrénée de récompense (reward hacking) et ce glissement de périmètre opérationnel deviennent immédiatement repérables lorsqu’on ausculte la trace d’exécution globale.

Déjà déployé en production au sein des solutions de surveillance de l’éditeur, Quarry s’intègre également avec des agents de codage comme Claude Code ou Codex via des extensions dédiées, permettant à ces assistants de rédiger eux-mêmes des règles à partir de descriptions en langage naturel, sous réserve d’une relecture humaine. L’outil sera prochainement interconnecté avec DefenseClaw, la couche de gouvernance open source pour environnements d’exécution, afin de diffuser les preuves des infractions directement vers les plateformes d’analyse de sécurité comme Splunk. Une brique d’audit indispensable alors que les agents personnels autonomes commencent à s’immiscer sur nos postes de travail.