Keep the test fixed.
Then judge the control.Mantenga la misma prueba.
Después evalúe el control.Gardez le même test.
Puis évaluez le contrôle.Sinovni o‘zgartirmang.
Keyin nazorat chorasini baholang.先把测试固定下来。
再判断控制是否有效。
A new agent control should face the evaluation that exposed the problem, not a more convenient replacement. Microsoft’s run-assert-eval example offers a useful discipline: preserve the test, review enforcement and inspect both prohibited behavior and legitimate work. Its changing applicability counts and remaining failures also show why a favorable aggregate cannot settle acceptance.Un nuevo control para un agente debe someterse a la evaluación que detectó el problema, no a otra más conveniente. El ejemplo de run-assert-eval de Microsoft aporta un método útil: conservar la prueba, revisar la aplicación del control y examinar tanto las conductas prohibidas como el trabajo legítimo. Pero cambian los casos aplicables y siguen quedando fallos: un resultado agregado favorable no basta.Un nouveau contrôle doit être soumis à l’évaluation qui a révélé le problème, pas à une autre plus commode. L’exemple run-assert-eval de Microsoft propose une discipline utile : conserver le test, examiner l’application du contrôle et distinguer comportements interdits et travail légitime. Mais les populations applicables diffèrent et des échecs subsistent : un résultat global favorable ne suffit pas.Agentga qo‘shilgan nazorat chorasi qulayroq yangi sinovda emas, muammoni aniqlagan baholashda tekshirilishi kerak. Microsoftning run-assert-eval misoli foydali tartibni ko‘rsatadi: sinovni saqlash, nazoratning ishlashini ko‘rib chiqish hamda taqiqlangan xatti-harakat va ruxsat etilgan ish natijalarini ajratish. Biroq hisobga kirgan suhbatlar soni farq qiladi va ayrim xatolar qoladi. Shu bois yaxshi umumiy natijaning o‘zi qabul qaroriga yetmaydi.新增控制应接受发现原问题的那套评估,而不是换一套更容易通过的测试。Microsoft 的 run-assert-eval 示例提供了有用的方法:保留测试,审查执行机制,分别检查禁止行为和正常任务。但两次统计的适用会话数不同,也仍有失败,因此不能仅凭更好看的汇总结果决定验收。
SynexasPublishedPublicadoPubliéE’lon qilingan发布日期 UpdatedActualizadoMis à jourYangilangan更新日期





A better score needs
A traceable comparison.Una mejor puntuación exige
Una comparación trazable.Un meilleur score exige
Une comparaison traçable.Yaxshiroq natija uchun
Taqqoslash izchil bo‘lsin.分数变好之前,
先让比较可追溯。
Evaluation scopeAlcance de la evaluaciónPérimètre de l’évaluationBaholash doirasi评估范围
Specify one prohibited behavior and the legitimate work that must remain possible. Keep the behavior definition, cases and judging approach fixed while assessing the intended control intervention. That preserves test identity; it does not establish every safety property.Defina una conducta prohibida y el trabajo legítimo que debe seguir siendo posible. Mantenga la definición, los casos y el método de valoración al evaluar la intervención prevista. Así conserva la identidad de la prueba; no demuestra todas las propiedades de seguridad.Définissez un comportement interdit et le travail légitime qui doit rester possible. Conservez la définition, les cas et la méthode de jugement pour évaluer l’intervention prévue. Vous préservez ainsi l’identité du test, sans démontrer toutes les propriétés de sécurité.Bitta taqiqlangan xatti-harakatni va bajarish mumkin bo‘lib qolishi kerak bo‘lgan ruxsat etilgan ishni belgilang. Ko‘zlangan nazorat o‘zgarishini baholashda xatti-harakat ta’rifi, sinov holatlari va baholash usulini o‘zgartirmang. Bu aynan o‘sha sinov saqlanganini bildiradi, barcha xavfsizlik xususiyatlari isbotlanganini emas.明确一种禁止行为,以及必须继续完成的正常任务。评估预定控制变更时,保持行为定义、测试用例和评判方法不变。这是在保留同一项测试,并不等于证明了所有安全属性。
Comparable evidenceEvidencia comparableÉléments de preuve comparablesTaqqoslanadigan dalillar可比证据
Separate exploration from comparison. Discovering additional risks can improve the next evaluation, but quietly replacing cases during a control assessment changes the question. Keep new coverage identifiable rather than folding it into an apparent before-and-after result.Separe la exploración de la comparación. Descubrir nuevos riesgos puede mejorar la siguiente evaluación, pero sustituir casos sin indicarlo durante el análisis de un control cambia la pregunta. Identifique la cobertura nueva por separado, sin incorporarla a un supuesto antes y después.Séparez exploration et comparaison. Découvrir d’autres risques peut enrichir l’évaluation suivante, mais remplacer discrètement des cas pendant l’examen d’un contrôle change la question. Identifiez les nouveaux cas à part, sans les fondre dans un apparent avant-après.Izlanish va taqqoslashni ajrating. Yangi xavflarni topish keyingi baholashni yaxshilashi mumkin. Ammo nazorat chorasini tekshirish paytida holatlarni bildirmasdan almashtirish savolni o‘zgartiradi. Yangi qamrovni avvalgi va keyingi natijalarga qo‘shib yubormay, alohida belgilang.把风险探索与效果比较分开。新发现的风险可以补充下一轮评估,但在评估控制时悄悄替换用例,就改变了原来的问题。新增覆盖应单独标识,不应混入看似一致的前后对比。
Review ownershipResponsabilidad de la revisiónResponsabilité de la revueKo‘rib chiqish uchun mas’uliyat审查责任归属
Generated policy remains a proposal. People must review its decision rule, enforcement boundary and connection to the agent before relying on a rerun. A plausible rule is not evidence that the intended execution path actually uses it.Una política generada sigue siendo una propuesta. Las personas responsables deben revisar su regla de decisión, dónde se aplica y cómo se conecta al agente antes de confiar en la repetición de la prueba. Una regla plausible no demuestra que la ruta de ejecución prevista la utilice.Une politique générée reste une proposition. Des personnes doivent examiner sa règle de décision, son point d’application et son raccordement à l’agent avant de s’appuyer sur une nouvelle exécution. Une règle plausible ne prouve pas que le chemin d’exécution prévu l’utilise.Avtomatik yaratilgan siyosat hali taklifdir. Takroriy baholashga tayanishdan oldin mas’ul odamlar qaror qoidasini, uning qayerda qo‘llanishini va agentga qanday ulanganini tekshirishi kerak. Mantiqli qoida ko‘zlangan ijro yo‘li undan haqiqatan foydalanishini tasdiqlamaydi.生成的策略仍然只是草案。依赖复测结果前,需要由人审查决策规则、执行边界及其与智能体的连接方式。规则看起来合理,不代表预定执行路径确实使用了它。
Acceptance decisionDecisión de aceptaciónDécision d’acceptationQabul qilish qarori验收决定
Ask for case-level outcomes, applicability decisions and unresolved failures, not just a headline score. Record prohibited-behavior failures separately from failures to complete legitimate work, then give a named owner the acceptance decision.Pida resultados por caso, decisiones sobre su aplicabilidad y fallos pendientes, no solo una puntuación principal. Registre por separado las conductas prohibidas y los fallos al realizar trabajo legítimo. Asigne después la decisión de aceptación a una persona identificada.Demandez les résultats par cas, les décisions d’applicabilité et les échecs non résolus, pas seulement un score de synthèse. Consignez séparément les comportements interdits et les échecs du travail légitime, puis confiez l’acceptation à une personne nommément responsable.Faqat umumiy ko‘rsatkichni emas, har bir holat natijasini, hisobga olish qarorlarini va ochiq qolgan xatolarni so‘rang. Taqiqlangan xatti-harakatlar bilan ruxsat etilgan ishni bajara olmaslik holatlarini alohida qayd eting. Qabul qarorini aniq bir mas’ul shaxsga topshiring.除了汇总分数,还应索取逐例结果、适用性判定和未解决的失败。分别记录禁止行为违规和正常任务未完成的情况,再由明确的负责人作出验收决定。
Start with a failure.
Define what the test asks.Parta de un fallo.
Defina qué se está evaluando.Partez d’un échec.
Précisez ce que mesure le test.Xatodan boshlang.
Sinov nimani so‘rashini belgilang.从一个失败出发,
明确测试究竟在问什么。
The important artifact in Microsoft’s worked example is not the generated policy alone. It is the evaluation that travels with it into the next run. Microsoft introduced run-assert-eval on September 24, 2026, describing a workflow that connects risk discovery, measurable behavior requirements, runtime controls and reevaluation. Its Command Line article says the behavior definition, cases and judging approach remain constant while the policy is the intended intervention. For an enterprise reviewer, that creates a concrete question: can the team identify the exact evaluation reused and explain what changed around it? A fresh set of easier cases could produce a better result without answering whether the original failure was addressed. Preserving the test is therefore a condition for interpreting the intervention, not a shortcut to proving causality.En el ejemplo desarrollado por Microsoft, el elemento importante no es únicamente la política generada. También lo es la evaluación que se conserva para la siguiente ejecución. Microsoft presentó run-assert-eval el 24 de septiembre de 2026 como un flujo que conecta el descubrimiento de riesgos, los requisitos de conducta medibles, los controles durante la ejecución y una nueva evaluación. Su artículo de Command Line indica que la definición de la conducta, los casos y el método de valoración permanecen constantes, mientras que la política constituye la intervención prevista. Para quien revisa la propuesta en una empresa, esto plantea una pregunta concreta: ¿puede el equipo identificar la evaluación exacta que reutilizó y explicar qué cambió a su alrededor? Un conjunto nuevo de casos más fáciles podría mejorar el resultado sin aclarar si se corrigió el fallo original. Conservar la prueba es, por tanto, una condición para interpretar la intervención, no un atajo para demostrar causalidad.Dans l’exemple détaillé de Microsoft, la pièce importante n’est pas seulement la politique générée. C’est aussi l’évaluation qui l’accompagne lors de l’exécution suivante. Microsoft a présenté run-assert-eval le 24 septembre 2026 comme un enchaînement reliant découverte des risques, exigences comportementales mesurables, contrôles à l’exécution et réévaluation. Son article Command Line indique que la définition du comportement, les cas et la méthode de jugement restent constants, la politique constituant l’intervention prévue. Pour la personne chargée de l’examen en entreprise, la question devient concrète : l’équipe peut-elle identifier précisément l’évaluation réutilisée et expliquer ce qui a changé autour d’elle ? De nouveaux cas plus faciles pourraient améliorer le résultat sans répondre à la question du traitement de l’échec initial. Conserver le test est donc une condition d’interprétation de l’intervention, pas un raccourci pour démontrer un lien causal.Microsoft bayon qilgan misolda muhim material faqat yaratilgan siyosat emas. U bilan keyingi ishga tushirishga olib o‘tiladigan baholash ham shunchalik muhim. Microsoft run-assert-eval vositasini 2026-yil 24-sentabrda taqdim etdi. Kompaniya uni xavflarni aniqlash, o‘lchanadigan xatti-harakat talablarini belgilash, ijro paytidagi nazorat va qayta baholashni bog‘lovchi jarayon sifatida tavsiflaydi. Command Line maqolasiga ko‘ra, xatti-harakat ta’rifi, sinov holatlari va baholash usuli o‘zgarmaydi; siyosat esa ko‘zlangan o‘zgarish bo‘ladi. Korxonadagi tekshiruvchi uchun bundan aniq savol kelib chiqadi: jamoa aynan qaysi baholash qayta ishlatilganini ko‘rsata oladimi va uning atrofida nimalar o‘zgarganini tushuntira oladimi? Osonroq yangi holatlar yaxshi natija berishi mumkin, ammo dastlabki xato bartaraf etilganini ko‘rsatmasligi mumkin. Demak, sinovni saqlash o‘zgarishni talqin qilish shartidir, sababiy bog‘liqlikni isbotlashning qisqa yo‘li emas.在 Microsoft 展示的完整示例中,重要的材料不只是生成的策略,还有随策略一起进入下一轮运行的那套评估。Microsoft 于 2026 年 9 月 24 日推出 run-assert-eval,将其描述为连接风险发现、可衡量的行为要求、运行时控制与复测的工作流程。其 Command Line 文章称,行为定义、测试用例和评判方法保持不变,策略则是预定的干预变化。对企业评审人员而言,这对应一个具体问题:团队能否指出复用的究竟是哪一套评估,并解释它周围有哪些变化?换上一批更容易的用例,可能得到更好的结果,却没有回答原来的失败是否得到处理。因此,保留测试是解释干预结果的前提,不是证明因果关系的捷径。
The distinction matters when discovery and acceptance share a workflow. Discovery asks what else might go wrong; an intervention assessment asks how the agent behaves against a specified requirement after a reviewed change. Both are useful, but they produce different evidence. Our proposed acceptance practice is to retain the original evaluation as an identifiable record and add newly discovered coverage separately. Define prohibited behavior narrowly enough that a failure can guide a targeted decision. Alongside it, state what authorized, legitimate work should still succeed. Otherwise, a control that simply refuses more requests can look effective while making the agent less useful. Microsoft explicitly separates those outcome categories; neither should disappear into a single favorable score.La distinción importa cuando el descubrimiento y la aceptación forman parte del mismo flujo. El descubrimiento pregunta qué más podría salir mal; el análisis de una intervención examina cómo responde el agente a un requisito definido después de un cambio revisado. Ambos son útiles, pero aportan evidencias distintas. Como práctica de aceptación, proponemos conservar la evaluación original como un registro identificable y añadir por separado la cobertura que se descubra después. Defina la conducta prohibida con suficiente precisión para que un fallo permita tomar una decisión específica. Indique también qué trabajo autorizado y legítimo debería seguir realizándose. De lo contrario, un control que simplemente rechace más solicitudes puede parecer eficaz aunque reste utilidad al agente. Microsoft separa expresamente esas dos categorías de resultados; ninguna debería desaparecer dentro de una única puntuación favorable.Cette distinction compte lorsque découverte et acceptation partagent le même processus. La découverte cherche ce qui pourrait encore mal se passer ; l’évaluation d’une intervention examine le comportement de l’agent au regard d’une exigence précise, après un changement revu. Les deux démarches sont utiles, mais ne produisent pas les mêmes éléments de preuve. Nous proposons, pour l’acceptation, de conserver l’évaluation d’origine comme un dossier identifiable et d’ajouter séparément les nouveaux cas. Définissez le comportement interdit assez précisément pour qu’un échec permette une décision ciblée. Indiquez en parallèle quel travail autorisé et légitime doit continuer à aboutir. Sinon, un contrôle qui refuse simplement davantage de demandes peut sembler efficace tout en réduisant l’utilité de l’agent. Microsoft distingue explicitement ces catégories de résultats ; aucune ne devrait disparaître dans un score unique favorable.Xavflarni aniqlash va qabul qilish bir jarayonga birlashganda bu farq muhim. Izlanish yana nimalar noto‘g‘ri ketishi mumkinligini so‘raydi. O‘zgarishni baholash esa ko‘rib chiqilgan o‘zgarishdan keyin agent belgilangan talabga qanday javob berishini tekshiradi. Ikkalasi ham foydali, lekin turli dalillar beradi. Qabul amaliyoti sifatida dastlabki baholashni aniqlash mumkin bo‘lgan yozuv shaklida saqlashni, yangi aniqlangan qamrovni esa alohida qo‘shishni taklif qilamiz. Taqiqlangan xatti-harakatni shunday aniq belgilangki, topilgan xato maqsadli qarorga asos bo‘lsin. Shu bilan birga, qaysi ruxsat etilgan ishlar muvaffaqiyatli bajarilishi kerakligini yozing. Aks holda, ko‘proq so‘rovni rad etadigan nazorat agentning foydasini kamaytirsa ham samarali ko‘rinishi mumkin. Microsoft bu ikki natija turini ochiq ajratadi. Ularning hech biri bitta yaxshi umumiy ko‘rsatkich ichida yo‘qolib ketmasligi kerak.当风险发现与验收处于同一流程时,这一区分尤其重要。风险发现问的是还可能出现什么问题;干预评估问的是,在完成经审查的变更后,智能体面对既定要求会如何表现。两者都有价值,但提供的证据不同。我们建议的验收做法是,将原始评估保留为可识别的记录,另行加入新发现的测试覆盖。禁止行为的定义应足够具体,让一次失败能够支持有针对性的决策。同时还要写明哪些获得授权的正常任务应继续成功完成。否则,一个只是拒绝更多请求的控制,也可能显得有效,却让智能体更难使用。Microsoft 明确区分了这两类结果;不应把任何一类藏进一个好看的综合分数。
Freeze the evaluation.
Reconcile what was applicable.Conserve la evaluación.
Aclare qué casos eran aplicables.Figez l’évaluation.
Rapprochez les cas applicables.Baholashni saqlang.
Hisobga kirgan holatlarni solishtiring.固定评估,
逐例核对统计范围。
Microsoft reports reusing the baseline evaluation’s cached material for the governed run. Yet the headline baseline and governed aggregates have different counts of applicable conversations. Case-level reconciliation is needed before interpreting those aggregates. The fixed test set and the applicable subset are not interchangeable concepts: keeping cases available does not, by itself, explain which conversations qualified for each reported measure. Ask which cases were applicable in each run, why any classification changed and how each outcome maps back to its case. Do not read the headline figures as an identical-denominator paired comparison or draw a numerical before-and-after chart from them. A consistent judge helps preserve the measurement approach, but it does not make the judge infallible or resolve applicability differences. The useful comparison begins with traceable cases, not an assumption that two totals describe the same population.Microsoft afirma que reutiliza el material conservado de la evaluación inicial para la ejecución con controles. Sin embargo, los resultados agregados principales de ambas ejecuciones se calculan sobre cantidades distintas de conversaciones aplicables. Antes de interpretarlos, es necesario conciliar los resultados caso por caso. El conjunto fijo de pruebas y el subconjunto aplicable no son conceptos intercambiables: conservar los casos no explica, por sí solo, qué conversaciones cumplieron los criterios de cada medida. Pregunte qué casos fueron aplicables en cada ejecución, por qué cambió alguna clasificación y cómo se vincula cada resultado con su caso. No interprete las cifras principales como una comparación pareada con idéntico denominador ni las convierta en un gráfico numérico de antes y después. Mantener el mismo evaluador ayuda a conservar el método, pero no lo hace infalible ni resuelve las diferencias de aplicabilidad. Una comparación útil parte de casos trazables, no de suponer que dos totales describen la misma población.Microsoft rapporte avoir réutilisé les éléments conservés de l’évaluation initiale pour l’exécution avec contrôle. Pourtant, les résultats globaux mis en avant pour les deux exécutions reposent sur des nombres différents de conversations applicables. Un rapprochement au niveau des cas est nécessaire avant de les interpréter. Le jeu de tests fixe et le sous-ensemble applicable ne sont pas interchangeables : conserver les cas ne suffit pas à expliquer quelles conversations remplissaient les conditions de chaque mesure. Demandez quels cas étaient applicables à chaque exécution, pourquoi certaines classifications ont changé et comment chaque résultat se rattache à son cas. Ne présentez pas les chiffres de synthèse comme une comparaison appariée à dénominateur identique, ni sous forme de graphique chiffré avant-après. Garder le même évaluateur contribue à préserver la méthode, sans le rendre infaillible ni résoudre les différences d’applicabilité. Une comparaison utile commence par des cas traçables, pas par l’hypothèse que deux totaux décrivent la même population.Microsoft nazorat qo‘llangan ishga tushirishda dastlabki baholashning saqlangan materiallaridan qayta foydalanganini aytadi. Biroq dastlabki va nazoratli ishga tushirish uchun ajratib ko‘rsatilgan umumiy natijalarda hisobga kirgan suhbatlar soni turlicha. Ularni talqin qilishdan oldin har bir holat bo‘yicha moslikni tekshirish kerak. O‘zgarmas sinov to‘plami bilan muayyan hisobga kiradigan kichik to‘plam bir xil tushuncha emas. Holatlarning saqlanishi qaysi suhbatlar har bir o‘lchov shartlariga mos kelganini o‘z-o‘zidan tushuntirmaydi. Har bir ishga tushirishda qaysi holatlar hisobga kirganini, tasnif nega o‘zgarganini va har bir natija o‘z holatiga qanday bog‘lanishini so‘rang. Umumiy raqamlarni maxraji bir xil juft taqqoslash deb talqin qilmang va ulardan raqamli oldin-keyin diagrammasi tuzmang. Bir xil baholovchi usulni saqlashga yordam beradi, ammo baholovchini xatosiz qilmaydi va hisobga olishdagi farqlarni bartaraf etmaydi. Foydali taqqoslash ikki jami bir xil guruhni ifodalaydi degan taxmindan emas, kuzatib tekshirish mumkin bo‘lgan holatlardan boshlanadi.Microsoft 表示,加入控制后的运行复用了基线评估中缓存的材料。但文章重点展示的基线与控制后汇总结果,使用了不同数量的适用会话。解释这些汇总结果前,需要逐例核对。固定的测试集与纳入某项统计的适用子集并不是同一个概念:保留了用例,不代表已经解释哪些会话符合每项指标的统计条件。应追问每次运行有哪些用例适用、分类为什么发生变化,以及每个结果如何对应到具体用例。不能把重点展示的数字当成分母相同的配对比较,也不应据此绘制数值型前后对比图。使用同一评判者有助于保留评判方法,但不会使其永不出错,也不能消除适用性差异。有用的比较应从可追溯的用例开始,而不是假定两个总数代表同一批对象。
40 and 34 count conversations—not failures
40 conversations were counted as relevant to Microsoft’s customer-data disclosure check.
34 conversations were counted as relevant to that check in the run with the proposed control.
- What is being counted
- Conversations judged relevant to this particular check—not data disclosures, successful tasks or a safety score.
- What these totals do not show
- The totals differ. This article has not established which included cases match between the two runs.
- What to inspect next
- Check which cases were included, why they were relevant and which failures remain before drawing a safety conclusion.
40 y 34 son recuentos de conversaciones, no de fallos
Se contaron 40 conversaciones consideradas relevantes para la comprobación de Microsoft sobre divulgación de datos de clientes.
Se contaron 34 conversaciones consideradas relevantes para esa comprobación en la ejecución con el control propuesto.
- Qué se está contando
- Conversaciones consideradas relevantes para esta comprobación concreta, no divulgaciones de datos, tareas completadas con éxito ni una puntuación de seguridad.
- Qué no muestran estos totales
- Los totales difieren. Este artículo no ha establecido qué casos incluidos coinciden entre las dos ejecuciones.
- Qué revisar a continuación
- Revise qué casos se incluyeron, por qué eran relevantes y qué fallos persisten antes de sacar conclusiones sobre la seguridad.
40 et 34 comptent des conversations, pas des échecs
40 conversations ont été retenues comme pertinentes pour la vérification de Microsoft concernant la divulgation de données clients.
34 conversations ont été retenues comme pertinentes pour cette vérification lors de l’exécution avec le contrôle proposé.
- Ce qui est compté
- Des conversations jugées pertinentes pour cette vérification précise, pas des divulgations de données, des tâches réussies ou un score de sécurité.
- Ce que ces totaux ne montrent pas
- Les totaux diffèrent. Cet article n’a pas établi quels cas inclus se retrouvent dans les deux exécutions.
- Les points à examiner ensuite
- Examinez les cas inclus, les raisons de leur pertinence et les échecs qui subsistent avant de tirer une conclusion sur la sécurité.
40 va 34 — xatolar emas, suhbatlar soni
40 ta suhbat Microsoftning mijoz ma’lumotlarini oshkor qilishga oid tekshiruviga aloqador deb hisobga olingan.
Taklif etilgan nazorat bilan ishga tushirilganda 34 ta suhbat shu tekshiruvga aloqador deb hisobga olingan.
- Nima hisoblanmoqda
- Aynan shu tekshiruvga aloqador deb topilgan suhbatlar sanalmoqda. Bu ma’lumot oshkor qilingan holatlar, muvaffaqiyatli vazifalar yoki xavfsizlik bali emas.
- Bu jami sonlar nimani ko‘rsatmaydi
- Jami sonlar turlicha. Maqolada kiritilgan holatlarning qaysilari ikkala ishga tushirishda ham qatnashgani aniqlanmagan.
- Keyin nimani tekshirish kerak
- Xavfsizlik haqida xulosa chiqarishdan oldin qaysi holatlar kiritilganini, nega aloqador deb topilganini va qanday xatolar qolganini tekshiring.
对话数,不是失败次数
40段对话被判定与 Microsoft 的客户数据披露检查相关,并纳入计数。
在采用所提议控制措施的运行中,34段对话被判定与这项检查相关,并纳入计数。
- 这些数字在数什么
- 统计的是被判定与这项特定检查相关的对话,不是数据披露次数、成功完成的任务数或安全评分。
- 这些总数不能说明什么
- 两个总数不同。本文尚未确认两次运行纳入的用例中,哪些能够一一对应。
- 接下来要核查什么
- 在得出安全性结论前,先核查纳入了哪些用例、为何被视为相关,以及仍存在哪些失败。
Generation proposes.
People review enforcement.La generación propone.
Las personas revisan el control.La génération propose.
Les personnes examinent l’application.Yaratish taklif beradi.
Qo‘llanishini odamlar tekshiradi.生成提供草案,
执行机制仍须由人审查。
The source explicitly says generation is not automatic approval: the policy, its enforcement description, intervention point and target wiring need review before the governed run. That is a substantive handoff, not administrative cleanup. Reviewers need to understand what decision is enforced, where it takes effect and whether the evaluated agent actually reaches that boundary. A rerun cannot compensate for an unclear enforcement contract. Our proposed review record would distinguish generated material from the version people accepted for evaluation, identify the intended control change and disclose other changes that could affect interpretation. If the team must alter cases or judging criteria, retain that as a new evaluation version rather than quietly calling it the original comparison. The objective is an inspectable decision trail, not a claim that automation has approved its own output.La fuente señala expresamente que generar no equivale a aprobar de forma automática: hay que revisar la política, la descripción de su aplicación, el punto de intervención y las conexiones con el agente antes de la ejecución con controles. Se trata de un traspaso de responsabilidad sustantivo, no de un trámite administrativo. Quienes revisan deben entender qué decisión se aplica, dónde surte efecto y si el agente evaluado pasa realmente por ese punto. Repetir la prueba no compensa un mecanismo de aplicación mal definido. Proponemos que el registro de revisión distinga el material generado de la versión aceptada por las personas para la evaluación, identifique el cambio de control previsto y declare cualquier otro cambio que pueda influir en la interpretación. Si hay que modificar los casos o los criterios de valoración, consérvelos como una nueva versión de la evaluación, en lugar de seguir presentándolos como la comparación original. El objetivo es dejar un rastro de decisiones examinable, no afirmar que la automatización ha aprobado su propio resultado.La source précise que la génération ne vaut pas approbation automatique : la politique, sa description d’application, le point d’intervention et le raccordement à l’agent doivent être examinés avant l’exécution avec contrôle. Ce passage de relais porte sur le fond ; ce n’est pas une formalité administrative. Les personnes qui examinent le dispositif doivent comprendre quelle décision est appliquée, où elle prend effet et si l’agent évalué passe effectivement par ce point. Répéter l’évaluation ne compense pas un mécanisme d’application mal défini. Nous proposons un dossier de revue distinguant le contenu généré de la version retenue par les personnes pour l’évaluation, identifiant le changement de contrôle prévu et signalant les autres modifications susceptibles d’influencer l’interprétation. Si les cas ou les critères de jugement doivent changer, conservez une nouvelle version de l’évaluation au lieu de continuer à la présenter comme la comparaison d’origine. L’objectif est une chaîne de décisions vérifiable, pas l’affirmation que l’automatisation a approuvé sa propre production.Manbada yaratish avtomatik tasdiqlash emasligi aniq aytilgan: nazoratli ishga tushirishdan oldin siyosat, uning qo‘llanish tavsifi, aralashuv nuqtasi va agentga ulanishi ko‘rib chiqilishi kerak. Bu rasmiyatchilik emas, mazmunli mas’uliyat topshirish bosqichidir. Tekshiruvchilar qaysi qaror bajarilishini, qayerda kuchga kirishini va baholanayotgan agent haqiqatan shu nuqtadan o‘tishini tushunishi lozim. Takroriy sinov noaniq nazorat mexanizmining o‘rnini bosa olmaydi. Biz taklif qilayotgan ko‘rib chiqish yozuvi yaratilgan material bilan odamlar baholash uchun qabul qilgan versiyani ajratadi, ko‘zlangan nazorat o‘zgarishini belgilaydi va talqinga ta’sir qilishi mumkin bo‘lgan boshqa o‘zgarishlarni ochiq ko‘rsatadi. Agar holatlar yoki baholash mezonlarini o‘zgartirish zarur bo‘lsa, ularni dastlabki taqqoslash deb ko‘rsatishda davom etmay, baholashning yangi versiyasi sifatida saqlang. Maqsad avtomatlashtirish o‘z natijasini o‘zi tasdiqlaganini aytish emas, tekshirish mumkin bo‘lgan qarorlar izini qoldirishdir.来源明确指出,生成不等于自动批准:在加入控制后的运行开始前,必须审查策略、执行说明、干预位置以及与目标智能体的连接。这是实质性的责任交接,而不是补办手续。评审人员需要理解执行的是什么决策、它在哪里生效,以及被评估的智能体是否确实经过这一边界。执行约定不清楚,重复测试也无法弥补。我们建议在审查记录中区分自动生成的材料与人已接受用于评估的版本,明确预定控制变更,并披露其他可能影响解释的变化。如果必须调整用例或评判标准,应保留为新的评估版本,而不是继续悄悄称其为原来的比较。目标是留下可检查的决策链条,而不是宣称自动化已经批准了自己的产出。
Keep the failures visible.
Make acceptance explicit.No oculte los fallos.
Documente la aceptación.Gardez les échecs visibles.
Explicitez l’acceptation.Xatolarni yashirmang.
Qabul qarorini aniq yozing.保留失败,
把验收决定写清楚。
Microsoft’s worked example still contains prohibited-behavior failures after the control is applied. Those remaining failures belong in the decision record, not beneath a general claim that the problem is solved. The reported sample also has no observed legitimate-work violations in the governed results; that is not proof that legitimate work is universally unaffected. Before accepting a control, ask: which requirement does this evidence address, which cases remain unresolved and who owns the next action? What legitimate-work expectations were tested, and what relevant work was outside the sample? Can the reviewer inspect applicability decisions and distinguish an observed refusal from a successful authorized outcome? The owner should record whether to accept the evaluated scope, narrow it or request further work, with reasons. These are proposed acceptance questions, not findings from a deployment we tested. The accompanying process diagram organizes those checks; it does not represent measured success.En el ejemplo de Microsoft siguen apareciendo conductas prohibidas después de aplicar el control. Esos fallos deben figurar en el registro de decisión, no quedar eclipsados por una afirmación general de que el problema está resuelto. La muestra publicada tampoco presenta fallos observados en el trabajo legítimo en los resultados con controles; eso no demuestra que todo trabajo legítimo quede siempre intacto. Antes de aceptar un control, pregunte: ¿a qué requisito responde esta evidencia, qué casos siguen pendientes y quién se responsabiliza del siguiente paso? ¿Qué expectativas de trabajo legítimo se probaron y qué tareas pertinentes quedaron fuera de la muestra? ¿Puede quien revisa examinar las decisiones de aplicabilidad y distinguir un rechazo observado de una tarea autorizada realizada correctamente? La persona responsable debe registrar si acepta el alcance evaluado, lo restringe o solicita más trabajo, y explicar por qué. Son preguntas de aceptación propuestas, no conclusiones de un despliegue que hayamos probado. El diagrama adjunto organiza estas comprobaciones; no representa un éxito medido.L’exemple de Microsoft comporte encore des comportements interdits après l’application du contrôle. Ces échecs doivent figurer dans le dossier de décision, sans être éclipsés par une affirmation générale selon laquelle le problème serait résolu. L’échantillon publié ne présente par ailleurs aucun échec observé du travail légitime dans les résultats avec contrôle ; cela ne prouve pas que ce travail reste toujours intact. Avant d’accepter un contrôle, demandez : à quelle exigence ces éléments répondent-ils, quels cas restent non résolus et qui prend en charge la suite ? Quelles attentes de travail légitime ont été testées et quelles tâches pertinentes sont restées hors de l’échantillon ? La personne chargée de la revue peut-elle examiner les décisions d’applicabilité et distinguer un refus observé d’une tâche autorisée accomplie correctement ? Le responsable doit consigner s’il accepte le périmètre évalué, le restreint ou demande un travail supplémentaire, avec ses motifs. Il s’agit de questions d’acceptation proposées, pas de conclusions tirées d’un déploiement que nous aurions testé. Le schéma associé organise ces vérifications ; il ne représente pas un succès mesuré.Microsoft misolida nazorat qo‘llanganidan keyin ham taqiqlangan xatti-harakatlar qolgan. Bu xatolar muammo hal bo‘ldi degan umumiy xulosa soyasida qolmay, qaror yozuviga kiritilishi kerak. E’lon qilingan namunadagi nazoratli natijalarda ruxsat etilgan ish bo‘yicha kuzatilgan buzilish yo‘q. Bu esa bunday ish barcha sharoitda ta’sirsiz qolishini isbotlamaydi. Nazorat chorasini qabul qilishdan oldin so‘rang: dalil qaysi talabga javob beradi, qaysi holatlar ochiq qolmoqda va keyingi harakat kimning zimmasida? Ruxsat etilgan ishga oid qaysi kutishlar tekshirildi, qaysi muhim ishlar namunaga kirmadi? Tekshiruvchi holatlarni hisobga olish qarorlarini ko‘ra oladimi va kuzatilgan rad javobini muvaffaqiyatli bajarilgan ruxsatli vazifadan ajrata oladimi? Mas’ul shaxs baholangan doirani qabul qilish, toraytirish yoki qo‘shimcha ish so‘rash qarorini sabablari bilan yozishi kerak. Bular biz sinagan joriy etishdan olingan xulosalar emas, taklif etilayotgan qabul savollaridir. Yonidagi jarayon chizmasi shu tekshiruvlarni tartiblaydi; u o‘lchangan muvaffaqiyatni bildirmaydi.Microsoft 的示例在应用控制后,仍然存在禁止行为违规。这些残留失败应进入决策记录,不能被“问题已经解决”的笼统结论掩盖。公布的样本中,控制后结果也没有观察到正常任务违规;但这并不能证明正常工作在所有场景下都不受影响。接受控制前,应追问:这些证据对应哪项要求,哪些用例仍未解决,下一步由谁负责?测试覆盖了哪些正常任务预期,还有哪些相关工作不在样本中?评审人员能否检查适用性判定,并区分一次拒绝与一次成功完成的授权任务?负责人应写明,是接受已评估的范围、缩小范围,还是要求继续处理,并记录理由。这些是我们提出的验收问题,不是来自我们亲自测试的部署结论。配套流程图用于组织这些检查,并不表示已经测得成功。
From a defined requirement to an owned decision
- Define expectations
- Freeze the evaluation
- Review enforcement
- Compare traceable cases
- Retain failures and decide
Specify one prohibited behavior and the authorized work that should still succeed.
Keep the behavior definition, cases and judging approach fixed; identify later additions separately.
People review the generated policy, enforcement boundary and agent wiring before relying on the rerun.
Assess the intended control change against the preserved test; reconcile applicability per case before interpreting aggregates.
Record prohibited-behavior and legitimate-work failures separately, keep unresolved cases and name the decision owner.
De un requisito definido a una decisión con responsable
- Definir expectativas
- Fijar la evaluación
- Revisar la aplicación
- Comparar casos trazables
- Conservar fallos y decidir
Especifique una conducta prohibida y el trabajo autorizado que debe seguir realizándose correctamente.
Mantenga la definición, los casos y el método de valoración; identifique por separado las incorporaciones posteriores.
Las personas responsables revisan la política generada, dónde se aplica y cómo se conecta al agente antes de confiar en la repetición.
Evalúe el cambio de control previsto con la prueba conservada; concilie la aplicabilidad por caso antes de interpretar los resultados agregados.
Registre por separado los fallos de conducta prohibida y de trabajo legítimo, conserve los casos pendientes e identifique quién decide.
D’une exigence définie à une décision assumée
- Définir les attentes
- Figer l’évaluation
- Examiner l’application
- Comparer les cas traçables
- Conserver les échecs et décider
Précisez un comportement interdit et le travail autorisé qui doit continuer à aboutir.
Conservez la définition, les cas et la méthode de jugement ; identifiez séparément les ajouts ultérieurs.
Des personnes examinent la politique générée, son point d’application et le raccordement à l’agent avant de s’appuyer sur la nouvelle exécution.
Évaluez le changement prévu avec le test conservé ; rapprochez l’applicabilité par cas avant d’interpréter les résultats globaux.
Consignez séparément les échecs liés aux comportements interdits et au travail légitime, gardez les cas non résolus et nommez le responsable de la décision.
Aniq talabdan mas’uli belgilangan qarorgacha
- Kutishlarni belgilang
- Baholashni o‘zgartirmang
- Nazorat qo‘llanishini tekshiring
- Holatlar bo‘yicha solishtiring
- Xatolarni saqlang va qaror qiling
Bitta taqiqlangan xatti-harakatni va muvaffaqiyatli bajarilishi kerak bo‘lgan ruxsatli ishni aniq yozing.
Xatti-harakat ta’rifi, holatlar va baholash usulini saqlang; keyingi qo‘shimchalarni alohida belgilang.
Takroriy baholashga tayanishdan oldin odamlar yaratilgan siyosatni, qo‘llanish chegarasini va agentga ulanishini tekshiradi.
Ko‘zlangan nazorat o‘zgarishini saqlangan sinovda baholang; umumiy natijalarni talqin qilishdan oldin har bir holatning hisobga kirishini solishtiring.
Taqiqlangan xatti-harakat va ruxsatli ish xatolarini alohida qayd eting, ochiq holatlarni saqlang va qaror egasini belgilang.
从明确要求到有人负责的验收决定
- 明确行为预期
- 固定评估
- 审查执行机制
- 逐例追溯比较
- 保留失败并决策
明确一种禁止行为,以及应继续成功完成的授权任务。
保持行为定义、用例和评判方法不变;后续新增内容单独标识。
依赖复测前,由人审查生成的策略、执行边界及其与智能体的连接。
使用保留的测试评估预定控制变更;解释汇总结果前,逐例核对适用性。
分别记录禁止行为违规和正常任务失败,保留未解决用例,并明确决策负责人。
Two Microsoft publications.
One bounded evidence base.Dos publicaciones de Microsoft.
Una base de evidencia acotada.Deux publications Microsoft.
Des éléments de preuve circonscrits.Microsoftning ikki nashri.
Dalillar doirasi cheklangan.两篇 Microsoft 文章,
一组边界明确的证据。
The Command Line article supplies the method and reported worked example. The September 24 Azure announcement places run-assert-eval in Microsoft’s broader agent-governance workflow; it is not independent corroboration. We have not executed the product or tested a real deployment. Read this as analysis of vendor-reported evaluation evidence and proposed acceptance questions, not proof of general safety, a real-world incident report or an approval to deploy.El artículo de Command Line aporta el método y el ejemplo publicado. El anuncio de Azure del 24 de septiembre sitúa run-assert-eval dentro del flujo más amplio de gobernanza de agentes de Microsoft; no constituye corroboración independiente. No hemos ejecutado el producto ni probado un despliegue real. Este texto analiza evidencia de evaluación comunicada por el proveedor y propone preguntas de aceptación; no demuestra seguridad general, no informa de un incidente real ni autoriza un despliegue.L’article Command Line fournit la méthode et l’exemple rapporté. L’annonce Azure du 24 septembre situe run-assert-eval dans le processus plus large de gouvernance des agents de Microsoft ; elle n’apporte pas de corroboration indépendante. Nous n’avons ni exécuté le produit ni testé un déploiement réel. Ce texte analyse des résultats d’évaluation publiés par le fournisseur et propose des questions d’acceptation ; ce n’est ni une preuve de sécurité générale, ni un compte rendu d’incident réel, ni une autorisation de déploiement.Command Line maqolasi usul va bayon qilingan misolni beradi. Azure’ning 24-sentabrdagi e’loni run-assert-eval vositasining Microsoft agentlar boshqaruvidagi kengroq o‘rnini ko‘rsatadi; u mustaqil tasdiq emas. Biz mahsulotni ishga tushirmadik va haqiqiy joriy etishni sinamadik. Bu matn yetkazib beruvchi e’lon qilgan baholash dalillari tahlili va qabul savollari taklifidir. U umumiy xavfsizlik isboti, haqiqiy hodisa haqidagi xabar yoki joriy etishga ruxsat emas.Command Line 文章提供了方法和由供应商报告的完整示例。9 月 24 日的 Azure 公告说明 run-assert-eval 在 Microsoft 更广泛智能体治理流程中的位置,但不是独立佐证。我们没有运行该产品,也没有测试真实部署。本文分析的是供应商报告的评估证据,并提出验收问题;它不是普遍安全性的证明,不是在报告真实事件,也不构成部署批准。
Rendons l’IA utile.
Pour votre travail au quotidien.
Décrivez une tâche récurrente de votre équipe, sans fichiers confidentiels. Nous vous montrerons comment Matrix traite des tâches similaires.
Demander une démonstration