synexasMATRIX
Demander une démonstration
ANALYSE SECTORIELLE

Gardez le même test.
Puis évaluez le contrôle.

Un nouveau contrôle doit être soumis à l’évaluation qui a révélé le problème, pas à une autre plus commode. L’exemple run-assert-eval de Microsoft propose une discipline utile : conserver le test, examiner l’application du contrôle et distinguer comportements interdits et travail légitime. Mais les populations applicables diffèrent et des échecs subsistent : un résultat global favorable ne suffit pas.

Illustration éditoriale générée montrant des feuilles de brouillon sans texte lisible, avec quelques traits, un dossier de preuves sombre fermé et distinct, et une loupe sur une table éclairée par la lumière du jour.
Illustration éditoriale générée : les brouillons sans texte, le dossier de preuves distinct et la loupe évoquent la différence entre exigences proposées et éléments de preuve. Ce n’est ni un test réel, ni un audit, ni un dossier client, ni une preuve de sécurité.
EN BREF

Un meilleur score exige
Une comparaison traçable.

Périmètre de l’évaluation

Définissez un comportement interdit et le travail légitime qui doit rester possible. Conservez la définition, les cas et la méthode de jugement pour évaluer l’intervention prévue. Vous préservez ainsi l’identité du test, sans démontrer toutes les propriétés de sécurité.

Éléments de preuve comparables

Séparez exploration et comparaison. Découvrir d’autres risques peut enrichir l’évaluation suivante, mais remplacer discrètement des cas pendant l’examen d’un contrôle change la question. Identifiez les nouveaux cas à part, sans les fondre dans un apparent avant-après.

Responsabilité de la revue

Une politique générée reste une proposition. Des personnes doivent examiner sa règle de décision, son point d’application et son raccordement à l’agent avant de s’appuyer sur une nouvelle exécution. Une règle plausible ne prouve pas que le chemin d’exécution prévu l’utilise.

Décision d’acceptation

Demandez les résultats par cas, les décisions d’applicabilité et les échecs non résolus, pas seulement un score de synthèse. Consignez séparément les comportements interdits et les échecs du travail légitime, puis confiez l’acceptation à une personne nommément responsable.

LES POINTS À VÉRIFIER

Partez d’un échec.
Précisez ce que mesure le test.

Dans l’exemple détaillé de Microsoft, la pièce importante n’est pas seulement la politique générée. C’est aussi l’évaluation qui l’accompagne lors de l’exécution suivante. Microsoft a présenté run-assert-eval le 24 septembre 2026 comme un enchaînement reliant découverte des risques, exigences comportementales mesurables, contrôles à l’exécution et réévaluation. Son article Command Line indique que la définition du comportement, les cas et la méthode de jugement restent constants, la politique constituant l’intervention prévue. Pour la personne chargée de l’examen en entreprise, la question devient concrète : l’équipe peut-elle identifier précisément l’évaluation réutilisée et expliquer ce qui a changé autour d’elle ? De nouveaux cas plus faciles pourraient améliorer le résultat sans répondre à la question du traitement de l’échec initial. Conserver le test est donc une condition d’interprétation de l’intervention, pas un raccourci pour démontrer un lien causal.

Cette distinction compte lorsque découverte et acceptation partagent le même processus. La découverte cherche ce qui pourrait encore mal se passer ; l’évaluation d’une intervention examine le comportement de l’agent au regard d’une exigence précise, après un changement revu. Les deux démarches sont utiles, mais ne produisent pas les mêmes éléments de preuve. Nous proposons, pour l’acceptation, de conserver l’évaluation d’origine comme un dossier identifiable et d’ajouter séparément les nouveaux cas. Définissez le comportement interdit assez précisément pour qu’un échec permette une décision ciblée. Indiquez en parallèle quel travail autorisé et légitime doit continuer à aboutir. Sinon, un contrôle qui refuse simplement davantage de demandes peut sembler efficace tout en réduisant l’utilité de l’agent. Microsoft distingue explicitement ces catégories de résultats ; aucune ne devrait disparaître dans un score unique favorable.

LES POINTS À VÉRIFIER

Figez l’évaluation.
Rapprochez les cas applicables.

Microsoft rapporte avoir réutilisé les éléments conservés de l’évaluation initiale pour l’exécution avec contrôle. Pourtant, les résultats globaux mis en avant pour les deux exécutions reposent sur des nombres différents de conversations applicables. Un rapprochement au niveau des cas est nécessaire avant de les interpréter. Le jeu de tests fixe et le sous-ensemble applicable ne sont pas interchangeables : conserver les cas ne suffit pas à expliquer quelles conversations remplissaient les conditions de chaque mesure. Demandez quels cas étaient applicables à chaque exécution, pourquoi certaines classifications ont changé et comment chaque résultat se rattache à son cas. Ne présentez pas les chiffres de synthèse comme une comparaison appariée à dénominateur identique, ni sous forme de graphique chiffré avant-après. Garder le même évaluateur contribue à préserver la méthode, sans le rendre infaillible ni résoudre les différences d’applicabilité. Une comparaison utile commence par des cas traçables, pas par l’hypothèse que deux totaux décrivent la même population.

40 et 34 comptent des conversations, pas des échecs

Exécution initiale de l’agent

40 conversations ont été retenues comme pertinentes pour la vérification de Microsoft concernant la divulgation de données clients.

Exécution avec le contrôle proposé

34 conversations ont été retenues comme pertinentes pour cette vérification lors de l’exécution avec le contrôle proposé.

Ce qui est compté
Des conversations jugées pertinentes pour cette vérification précise, pas des divulgations de données, des tâches réussies ou un score de sécurité.
Ce que ces totaux ne montrent pas
Les totaux diffèrent. Cet article n’a pas établi quels cas inclus se retrouvent dans les deux exécutions.
Les points à examiner ensuite
Examinez les cas inclus, les raisons de leur pertinence et les échecs qui subsistent avant de tirer une conclusion sur la sécurité.
Ces chiffres proviennent de l’exemple détaillé de Microsoft, pas d’un test que nous avons réalisé. Ces totaux n’établissent ni une comparaison portant sur les mêmes cas ni une amélioration de la sécurité.
LES POINTS À VÉRIFIER

La génération propose.
Les personnes examinent l’application.

La source précise que la génération ne vaut pas approbation automatique : la politique, sa description d’application, le point d’intervention et le raccordement à l’agent doivent être examinés avant l’exécution avec contrôle. Ce passage de relais porte sur le fond ; ce n’est pas une formalité administrative. Les personnes qui examinent le dispositif doivent comprendre quelle décision est appliquée, où elle prend effet et si l’agent évalué passe effectivement par ce point. Répéter l’évaluation ne compense pas un mécanisme d’application mal défini. Nous proposons un dossier de revue distinguant le contenu généré de la version retenue par les personnes pour l’évaluation, identifiant le changement de contrôle prévu et signalant les autres modifications susceptibles d’influencer l’interprétation. Si les cas ou les critères de jugement doivent changer, conservez une nouvelle version de l’évaluation au lieu de continuer à la présenter comme la comparaison d’origine. L’objectif est une chaîne de décisions vérifiable, pas l’affirmation que l’automatisation a approuvé sa propre production.

LES POINTS À VÉRIFIER

Gardez les échecs visibles.
Explicitez l’acceptation.

L’exemple de Microsoft comporte encore des comportements interdits après l’application du contrôle. Ces échecs doivent figurer dans le dossier de décision, sans être éclipsés par une affirmation générale selon laquelle le problème serait résolu. L’échantillon publié ne présente par ailleurs aucun échec observé du travail légitime dans les résultats avec contrôle ; cela ne prouve pas que ce travail reste toujours intact. Avant d’accepter un contrôle, demandez : à quelle exigence ces éléments répondent-ils, quels cas restent non résolus et qui prend en charge la suite ? Quelles attentes de travail légitime ont été testées et quelles tâches pertinentes sont restées hors de l’échantillon ? La personne chargée de la revue peut-elle examiner les décisions d’applicabilité et distinguer un refus observé d’une tâche autorisée accomplie correctement ? Le responsable doit consigner s’il accepte le périmètre évalué, le restreint ou demande un travail supplémentaire, avec ses motifs. Il s’agit de questions d’acceptation proposées, pas de conclusions tirées d’un déploiement que nous aurions testé. Le schéma associé organise ces vérifications ; il ne représente pas un succès mesuré.

D’une exigence définie à une décision assumée

  1. Définir les attentes
  2. Figer l’évaluation
  3. Examiner l’application
  4. Comparer les cas traçables
  5. Conserver les échecs et décider

Précisez un comportement interdit et le travail autorisé qui doit continuer à aboutir.

Conservez la définition, les cas et la méthode de jugement ; identifiez séparément les ajouts ultérieurs.

Des personnes examinent la politique générée, son point d’application et le raccordement à l’agent avant de s’appuyer sur la nouvelle exécution.

Évaluez le changement prévu avec le test conservé ; rapprochez l’applicabilité par cas avant d’interpréter les résultats globaux.

Consignez séparément les échecs liés aux comportements interdits et au travail légitime, gardez les cas non résolus et nommez le responsable de la décision.

Vérifications recommandées à partir du processus d’évaluation de Microsoft. Ce schéma n’est pas un résultat mesuré : l’applicabilité doit encore être rapprochée cas par cas et les échecs résiduels restent visibles.
SOURCES

Deux publications Microsoft.
Des éléments de preuve circonscrits.

L’article Command Line fournit la méthode et l’exemple rapporté. L’annonce Azure du 24 septembre situe run-assert-eval dans le processus plus large de gouvernance des agents de Microsoft ; elle n’apporte pas de corroboration indépendante. Nous n’avons ni exécuté le produit ni testé un déploiement réel. Ce texte analyse des résultats d’évaluation publiés par le fournisseur et propose des questions d’acceptation ; ce n’est ni une preuve de sécurité générale, ni un compte rendu d’incident réel, ni une autorisation de déploiement.

Rendons l’IA utile.
Pour votre travail au quotidien.

Décrivez une tâche récurrente de votre équipe, sans fichiers confidentiels. Nous vous montrerons comment Matrix traite des tâches similaires.

Demander une démonstration
TÉLÉCHARGEMENT

Présentation de la sécurité

Indiquez où vous l’envoyer.