synexasMATRIX
Solicite una demostración
ANÁLISIS DEL SECTOR

Mantenga la misma prueba.
Después evalúe el control.

Un nuevo control para un agente debe someterse a la evaluación que detectó el problema, no a otra más conveniente. El ejemplo de run-assert-eval de Microsoft aporta un método útil: conservar la prueba, revisar la aplicación del control y examinar tanto las conductas prohibidas como el trabajo legítimo. Pero cambian los casos aplicables y siguen quedando fallos: un resultado agregado favorable no basta.

Ilustración editorial generada de papeles de borrador sin texto, con trazos horizontales, una carpeta oscura cerrada y separada para evidencias, y una lupa sobre una mesa iluminada por luz natural.
Ilustración editorial generada: los borradores sin texto, la carpeta de evidencias separada y la lupa evocan la diferencia entre requisitos propuestos y evidencia. No muestra una prueba real, una auditoría, un expediente de cliente ni evidencia de seguridad.
DE UN VISTAZO

Una mejor puntuación exige
Una comparación trazable.

Alcance de la evaluación

Defina una conducta prohibida y el trabajo legítimo que debe seguir siendo posible. Mantenga la definición, los casos y el método de valoración al evaluar la intervención prevista. Así conserva la identidad de la prueba; no demuestra todas las propiedades de seguridad.

Evidencia comparable

Separe la exploración de la comparación. Descubrir nuevos riesgos puede mejorar la siguiente evaluación, pero sustituir casos sin indicarlo durante el análisis de un control cambia la pregunta. Identifique la cobertura nueva por separado, sin incorporarla a un supuesto antes y después.

Responsabilidad de la revisión

Una política generada sigue siendo una propuesta. Las personas responsables deben revisar su regla de decisión, dónde se aplica y cómo se conecta al agente antes de confiar en la repetición de la prueba. Una regla plausible no demuestra que la ruta de ejecución prevista la utilice.

Decisión de aceptación

Pida resultados por caso, decisiones sobre su aplicabilidad y fallos pendientes, no solo una puntuación principal. Registre por separado las conductas prohibidas y los fallos al realizar trabajo legítimo. Asigne después la decisión de aceptación a una persona identificada.

QUÉ COMPROBAR

Parta de un fallo.
Defina qué se está evaluando.

En el ejemplo desarrollado por Microsoft, el elemento importante no es únicamente la política generada. También lo es la evaluación que se conserva para la siguiente ejecución. Microsoft presentó run-assert-eval el 24 de septiembre de 2026 como un flujo que conecta el descubrimiento de riesgos, los requisitos de conducta medibles, los controles durante la ejecución y una nueva evaluación. Su artículo de Command Line indica que la definición de la conducta, los casos y el método de valoración permanecen constantes, mientras que la política constituye la intervención prevista. Para quien revisa la propuesta en una empresa, esto plantea una pregunta concreta: ¿puede el equipo identificar la evaluación exacta que reutilizó y explicar qué cambió a su alrededor? Un conjunto nuevo de casos más fáciles podría mejorar el resultado sin aclarar si se corrigió el fallo original. Conservar la prueba es, por tanto, una condición para interpretar la intervención, no un atajo para demostrar causalidad.

La distinción importa cuando el descubrimiento y la aceptación forman parte del mismo flujo. El descubrimiento pregunta qué más podría salir mal; el análisis de una intervención examina cómo responde el agente a un requisito definido después de un cambio revisado. Ambos son útiles, pero aportan evidencias distintas. Como práctica de aceptación, proponemos conservar la evaluación original como un registro identificable y añadir por separado la cobertura que se descubra después. Defina la conducta prohibida con suficiente precisión para que un fallo permita tomar una decisión específica. Indique también qué trabajo autorizado y legítimo debería seguir realizándose. De lo contrario, un control que simplemente rechace más solicitudes puede parecer eficaz aunque reste utilidad al agente. Microsoft separa expresamente esas dos categorías de resultados; ninguna debería desaparecer dentro de una única puntuación favorable.

QUÉ COMPROBAR

Conserve la evaluación.
Aclare qué casos eran aplicables.

Microsoft afirma que reutiliza el material conservado de la evaluación inicial para la ejecución con controles. Sin embargo, los resultados agregados principales de ambas ejecuciones se calculan sobre cantidades distintas de conversaciones aplicables. Antes de interpretarlos, es necesario conciliar los resultados caso por caso. El conjunto fijo de pruebas y el subconjunto aplicable no son conceptos intercambiables: conservar los casos no explica, por sí solo, qué conversaciones cumplieron los criterios de cada medida. Pregunte qué casos fueron aplicables en cada ejecución, por qué cambió alguna clasificación y cómo se vincula cada resultado con su caso. No interprete las cifras principales como una comparación pareada con idéntico denominador ni las convierta en un gráfico numérico de antes y después. Mantener el mismo evaluador ayuda a conservar el método, pero no lo hace infalible ni resuelve las diferencias de aplicabilidad. Una comparación útil parte de casos trazables, no de suponer que dos totales describen la misma población.

40 y 34 son recuentos de conversaciones, no de fallos

Ejecución original del agente

Se contaron 40 conversaciones consideradas relevantes para la comprobación de Microsoft sobre divulgación de datos de clientes.

Ejecución con el control propuesto

Se contaron 34 conversaciones consideradas relevantes para esa comprobación en la ejecución con el control propuesto.

Qué se está contando
Conversaciones consideradas relevantes para esta comprobación concreta, no divulgaciones de datos, tareas completadas con éxito ni una puntuación de seguridad.
Qué no muestran estos totales
Los totales difieren. Este artículo no ha establecido qué casos incluidos coinciden entre las dos ejecuciones.
Qué revisar a continuación
Revise qué casos se incluyeron, por qué eran relevantes y qué fallos persisten antes de sacar conclusiones sobre la seguridad.
Contexto del ejemplo desarrollado por Microsoft, no de una prueba realizada por nosotros. Estos totales no demuestran que se estén comparando los mismos casos ni que haya una mejora de seguridad.
QUÉ COMPROBAR

La generación propone.
Las personas revisan el control.

La fuente señala expresamente que generar no equivale a aprobar de forma automática: hay que revisar la política, la descripción de su aplicación, el punto de intervención y las conexiones con el agente antes de la ejecución con controles. Se trata de un traspaso de responsabilidad sustantivo, no de un trámite administrativo. Quienes revisan deben entender qué decisión se aplica, dónde surte efecto y si el agente evaluado pasa realmente por ese punto. Repetir la prueba no compensa un mecanismo de aplicación mal definido. Proponemos que el registro de revisión distinga el material generado de la versión aceptada por las personas para la evaluación, identifique el cambio de control previsto y declare cualquier otro cambio que pueda influir en la interpretación. Si hay que modificar los casos o los criterios de valoración, consérvelos como una nueva versión de la evaluación, en lugar de seguir presentándolos como la comparación original. El objetivo es dejar un rastro de decisiones examinable, no afirmar que la automatización ha aprobado su propio resultado.

QUÉ COMPROBAR

No oculte los fallos.
Documente la aceptación.

En el ejemplo de Microsoft siguen apareciendo conductas prohibidas después de aplicar el control. Esos fallos deben figurar en el registro de decisión, no quedar eclipsados por una afirmación general de que el problema está resuelto. La muestra publicada tampoco presenta fallos observados en el trabajo legítimo en los resultados con controles; eso no demuestra que todo trabajo legítimo quede siempre intacto. Antes de aceptar un control, pregunte: ¿a qué requisito responde esta evidencia, qué casos siguen pendientes y quién se responsabiliza del siguiente paso? ¿Qué expectativas de trabajo legítimo se probaron y qué tareas pertinentes quedaron fuera de la muestra? ¿Puede quien revisa examinar las decisiones de aplicabilidad y distinguir un rechazo observado de una tarea autorizada realizada correctamente? La persona responsable debe registrar si acepta el alcance evaluado, lo restringe o solicita más trabajo, y explicar por qué. Son preguntas de aceptación propuestas, no conclusiones de un despliegue que hayamos probado. El diagrama adjunto organiza estas comprobaciones; no representa un éxito medido.

De un requisito definido a una decisión con responsable

  1. Definir expectativas
  2. Fijar la evaluación
  3. Revisar la aplicación
  4. Comparar casos trazables
  5. Conservar fallos y decidir

Especifique una conducta prohibida y el trabajo autorizado que debe seguir realizándose correctamente.

Mantenga la definición, los casos y el método de valoración; identifique por separado las incorporaciones posteriores.

Las personas responsables revisan la política generada, dónde se aplica y cómo se conecta al agente antes de confiar en la repetición.

Evalúe el cambio de control previsto con la prueba conservada; concilie la aplicabilidad por caso antes de interpretar los resultados agregados.

Registre por separado los fallos de conducta prohibida y de trabajo legítimo, conserve los casos pendientes e identifique quién decide.

Comprobaciones recomendadas a partir del flujo de evaluación de Microsoft. Este proceso no es un resultado medido: aún hay que conciliar la aplicabilidad caso por caso y mantener visibles los fallos pendientes.
FUENTES

Dos publicaciones de Microsoft.
Una base de evidencia acotada.

El artículo de Command Line aporta el método y el ejemplo publicado. El anuncio de Azure del 24 de septiembre sitúa run-assert-eval dentro del flujo más amplio de gobernanza de agentes de Microsoft; no constituye corroboración independiente. No hemos ejecutado el producto ni probado un despliegue real. Este texto analiza evidencia de evaluación comunicada por el proveedor y propone preguntas de aceptación; no demuestra seguridad general, no informa de un incidente real ni autoriza un despliegue.

Hagamos que la IA sea útil.
Para su trabajo real.

Cuéntenos sobre una tarea que su equipo repita, no sobre sus archivos confidenciales. Le mostraremos cómo resuelve Matrix tareas similares.

Solicite una demostración
DESCARGA

Resumen de seguridad

Indíquenos adónde enviarlo.