synexasMATRIX
Namoyish so‘rang
SOHA TAHLILI

Sinovni o‘zgartirmang.
Keyin nazorat chorasini baholang.

Agentga qo‘shilgan nazorat chorasi qulayroq yangi sinovda emas, muammoni aniqlagan baholashda tekshirilishi kerak. Microsoftning run-assert-eval misoli foydali tartibni ko‘rsatadi: sinovni saqlash, nazoratning ishlashini ko‘rib chiqish hamda taqiqlangan xatti-harakat va ruxsat etilgan ish natijalarini ajratish. Biroq hisobga kirgan suhbatlar soni farq qiladi va ayrim xatolar qoladi. Shu bois yaxshi umumiy natijaning o‘zi qabul qaroriga yetmaydi.

Sun’iy intellekt yordamida yaratilgan tahririy tasvir: kunduzgi yorug‘likdagi stol ustida matnsiz, chiziqlar tushirilgan qoralama varaqlar, alohida yopiq to‘q rangli dalillar jildi va lupa.
Sun’iy intellekt yordamida yaratilgan tahririy tasvir: matnsiz qoralama varaqlar, alohida dalillar jildi va lupa taklif etilgan talablar bilan dalillar o‘rtasidagi farqni ifodalaydi. Bu haqiqiy sinov, audit, mijoz yozuvi yoki xavfsizlik dalili emas.
QISQACHA

Yaxshiroq natija uchun
Taqqoslash izchil bo‘lsin.

Baholash doirasi

Bitta taqiqlangan xatti-harakatni va bajarish mumkin bo‘lib qolishi kerak bo‘lgan ruxsat etilgan ishni belgilang. Ko‘zlangan nazorat o‘zgarishini baholashda xatti-harakat ta’rifi, sinov holatlari va baholash usulini o‘zgartirmang. Bu aynan o‘sha sinov saqlanganini bildiradi, barcha xavfsizlik xususiyatlari isbotlanganini emas.

Taqqoslanadigan dalillar

Izlanish va taqqoslashni ajrating. Yangi xavflarni topish keyingi baholashni yaxshilashi mumkin. Ammo nazorat chorasini tekshirish paytida holatlarni bildirmasdan almashtirish savolni o‘zgartiradi. Yangi qamrovni avvalgi va keyingi natijalarga qo‘shib yubormay, alohida belgilang.

Ko‘rib chiqish uchun mas’uliyat

Avtomatik yaratilgan siyosat hali taklifdir. Takroriy baholashga tayanishdan oldin mas’ul odamlar qaror qoidasini, uning qayerda qo‘llanishini va agentga qanday ulanganini tekshirishi kerak. Mantiqli qoida ko‘zlangan ijro yo‘li undan haqiqatan foydalanishini tasdiqlamaydi.

Qabul qilish qarori

Faqat umumiy ko‘rsatkichni emas, har bir holat natijasini, hisobga olish qarorlarini va ochiq qolgan xatolarni so‘rang. Taqiqlangan xatti-harakatlar bilan ruxsat etilgan ishni bajara olmaslik holatlarini alohida qayd eting. Qabul qarorini aniq bir mas’ul shaxsga topshiring.

NIMALARNI TEKSHIRISH KERAK

Xatodan boshlang.
Sinov nimani so‘rashini belgilang.

Microsoft bayon qilgan misolda muhim material faqat yaratilgan siyosat emas. U bilan keyingi ishga tushirishga olib o‘tiladigan baholash ham shunchalik muhim. Microsoft run-assert-eval vositasini 2026-yil 24-sentabrda taqdim etdi. Kompaniya uni xavflarni aniqlash, o‘lchanadigan xatti-harakat talablarini belgilash, ijro paytidagi nazorat va qayta baholashni bog‘lovchi jarayon sifatida tavsiflaydi. Command Line maqolasiga ko‘ra, xatti-harakat ta’rifi, sinov holatlari va baholash usuli o‘zgarmaydi; siyosat esa ko‘zlangan o‘zgarish bo‘ladi. Korxonadagi tekshiruvchi uchun bundan aniq savol kelib chiqadi: jamoa aynan qaysi baholash qayta ishlatilganini ko‘rsata oladimi va uning atrofida nimalar o‘zgarganini tushuntira oladimi? Osonroq yangi holatlar yaxshi natija berishi mumkin, ammo dastlabki xato bartaraf etilganini ko‘rsatmasligi mumkin. Demak, sinovni saqlash o‘zgarishni talqin qilish shartidir, sababiy bog‘liqlikni isbotlashning qisqa yo‘li emas.

Xavflarni aniqlash va qabul qilish bir jarayonga birlashganda bu farq muhim. Izlanish yana nimalar noto‘g‘ri ketishi mumkinligini so‘raydi. O‘zgarishni baholash esa ko‘rib chiqilgan o‘zgarishdan keyin agent belgilangan talabga qanday javob berishini tekshiradi. Ikkalasi ham foydali, lekin turli dalillar beradi. Qabul amaliyoti sifatida dastlabki baholashni aniqlash mumkin bo‘lgan yozuv shaklida saqlashni, yangi aniqlangan qamrovni esa alohida qo‘shishni taklif qilamiz. Taqiqlangan xatti-harakatni shunday aniq belgilangki, topilgan xato maqsadli qarorga asos bo‘lsin. Shu bilan birga, qaysi ruxsat etilgan ishlar muvaffaqiyatli bajarilishi kerakligini yozing. Aks holda, ko‘proq so‘rovni rad etadigan nazorat agentning foydasini kamaytirsa ham samarali ko‘rinishi mumkin. Microsoft bu ikki natija turini ochiq ajratadi. Ularning hech biri bitta yaxshi umumiy ko‘rsatkich ichida yo‘qolib ketmasligi kerak.

NIMALARNI TEKSHIRISH KERAK

Baholashni saqlang.
Hisobga kirgan holatlarni solishtiring.

Microsoft nazorat qo‘llangan ishga tushirishda dastlabki baholashning saqlangan materiallaridan qayta foydalanganini aytadi. Biroq dastlabki va nazoratli ishga tushirish uchun ajratib ko‘rsatilgan umumiy natijalarda hisobga kirgan suhbatlar soni turlicha. Ularni talqin qilishdan oldin har bir holat bo‘yicha moslikni tekshirish kerak. O‘zgarmas sinov to‘plami bilan muayyan hisobga kiradigan kichik to‘plam bir xil tushuncha emas. Holatlarning saqlanishi qaysi suhbatlar har bir o‘lchov shartlariga mos kelganini o‘z-o‘zidan tushuntirmaydi. Har bir ishga tushirishda qaysi holatlar hisobga kirganini, tasnif nega o‘zgarganini va har bir natija o‘z holatiga qanday bog‘lanishini so‘rang. Umumiy raqamlarni maxraji bir xil juft taqqoslash deb talqin qilmang va ulardan raqamli oldin-keyin diagrammasi tuzmang. Bir xil baholovchi usulni saqlashga yordam beradi, ammo baholovchini xatosiz qilmaydi va hisobga olishdagi farqlarni bartaraf etmaydi. Foydali taqqoslash ikki jami bir xil guruhni ifodalaydi degan taxmindan emas, kuzatib tekshirish mumkin bo‘lgan holatlardan boshlanadi.

40 va 34 — xatolar emas, suhbatlar soni

Agentning dastlabki ishga tushirilishi

40 ta suhbat Microsoftning mijoz ma’lumotlarini oshkor qilishga oid tekshiruviga aloqador deb hisobga olingan.

Taklif etilgan nazorat bilan ishga tushirish

Taklif etilgan nazorat bilan ishga tushirilganda 34 ta suhbat shu tekshiruvga aloqador deb hisobga olingan.

Nima hisoblanmoqda
Aynan shu tekshiruvga aloqador deb topilgan suhbatlar sanalmoqda. Bu ma’lumot oshkor qilingan holatlar, muvaffaqiyatli vazifalar yoki xavfsizlik bali emas.
Bu jami sonlar nimani ko‘rsatmaydi
Jami sonlar turlicha. Maqolada kiritilgan holatlarning qaysilari ikkala ishga tushirishda ham qatnashgani aniqlanmagan.
Keyin nimani tekshirish kerak
Xavfsizlik haqida xulosa chiqarishdan oldin qaysi holatlar kiritilganini, nega aloqador deb topilganini va qanday xatolar qolganini tekshiring.
Bu ma’lumotlar Microsoftning batafsil misolidan olingan, biz o‘tkazgan sinovdan emas. Bu jami sonlar aynan bir xil holatlar taqqoslanganini ham, xavfsizlik yaxshilanganini ham isbotlamaydi.
NIMALARNI TEKSHIRISH KERAK

Yaratish taklif beradi.
Qo‘llanishini odamlar tekshiradi.

Manbada yaratish avtomatik tasdiqlash emasligi aniq aytilgan: nazoratli ishga tushirishdan oldin siyosat, uning qo‘llanish tavsifi, aralashuv nuqtasi va agentga ulanishi ko‘rib chiqilishi kerak. Bu rasmiyatchilik emas, mazmunli mas’uliyat topshirish bosqichidir. Tekshiruvchilar qaysi qaror bajarilishini, qayerda kuchga kirishini va baholanayotgan agent haqiqatan shu nuqtadan o‘tishini tushunishi lozim. Takroriy sinov noaniq nazorat mexanizmining o‘rnini bosa olmaydi. Biz taklif qilayotgan ko‘rib chiqish yozuvi yaratilgan material bilan odamlar baholash uchun qabul qilgan versiyani ajratadi, ko‘zlangan nazorat o‘zgarishini belgilaydi va talqinga ta’sir qilishi mumkin bo‘lgan boshqa o‘zgarishlarni ochiq ko‘rsatadi. Agar holatlar yoki baholash mezonlarini o‘zgartirish zarur bo‘lsa, ularni dastlabki taqqoslash deb ko‘rsatishda davom etmay, baholashning yangi versiyasi sifatida saqlang. Maqsad avtomatlashtirish o‘z natijasini o‘zi tasdiqlaganini aytish emas, tekshirish mumkin bo‘lgan qarorlar izini qoldirishdir.

NIMALARNI TEKSHIRISH KERAK

Xatolarni yashirmang.
Qabul qarorini aniq yozing.

Microsoft misolida nazorat qo‘llanganidan keyin ham taqiqlangan xatti-harakatlar qolgan. Bu xatolar muammo hal bo‘ldi degan umumiy xulosa soyasida qolmay, qaror yozuviga kiritilishi kerak. E’lon qilingan namunadagi nazoratli natijalarda ruxsat etilgan ish bo‘yicha kuzatilgan buzilish yo‘q. Bu esa bunday ish barcha sharoitda ta’sirsiz qolishini isbotlamaydi. Nazorat chorasini qabul qilishdan oldin so‘rang: dalil qaysi talabga javob beradi, qaysi holatlar ochiq qolmoqda va keyingi harakat kimning zimmasida? Ruxsat etilgan ishga oid qaysi kutishlar tekshirildi, qaysi muhim ishlar namunaga kirmadi? Tekshiruvchi holatlarni hisobga olish qarorlarini ko‘ra oladimi va kuzatilgan rad javobini muvaffaqiyatli bajarilgan ruxsatli vazifadan ajrata oladimi? Mas’ul shaxs baholangan doirani qabul qilish, toraytirish yoki qo‘shimcha ish so‘rash qarorini sabablari bilan yozishi kerak. Bular biz sinagan joriy etishdan olingan xulosalar emas, taklif etilayotgan qabul savollaridir. Yonidagi jarayon chizmasi shu tekshiruvlarni tartiblaydi; u o‘lchangan muvaffaqiyatni bildirmaydi.

Aniq talabdan mas’uli belgilangan qarorgacha

  1. Kutishlarni belgilang
  2. Baholashni o‘zgartirmang
  3. Nazorat qo‘llanishini tekshiring
  4. Holatlar bo‘yicha solishtiring
  5. Xatolarni saqlang va qaror qiling

Bitta taqiqlangan xatti-harakatni va muvaffaqiyatli bajarilishi kerak bo‘lgan ruxsatli ishni aniq yozing.

Xatti-harakat ta’rifi, holatlar va baholash usulini saqlang; keyingi qo‘shimchalarni alohida belgilang.

Takroriy baholashga tayanishdan oldin odamlar yaratilgan siyosatni, qo‘llanish chegarasini va agentga ulanishini tekshiradi.

Ko‘zlangan nazorat o‘zgarishini saqlangan sinovda baholang; umumiy natijalarni talqin qilishdan oldin har bir holatning hisobga kirishini solishtiring.

Taqiqlangan xatti-harakat va ruxsatli ish xatolarini alohida qayd eting, ochiq holatlarni saqlang va qaror egasini belgilang.

Microsoft baholash jarayoniga asoslangan tavsiya etiluvchi tekshiruvlar. Bu chizma o‘lchangan natija emas: hisobga olish shartlari har bir holat bo‘yicha solishtirilishi, qolgan xatolar esa ochiq saqlanishi kerak.
MANBALAR

Microsoftning ikki nashri.
Dalillar doirasi cheklangan.

Command Line maqolasi usul va bayon qilingan misolni beradi. Azure’ning 24-sentabrdagi e’loni run-assert-eval vositasining Microsoft agentlar boshqaruvidagi kengroq o‘rnini ko‘rsatadi; u mustaqil tasdiq emas. Biz mahsulotni ishga tushirmadik va haqiqiy joriy etishni sinamadik. Bu matn yetkazib beruvchi e’lon qilgan baholash dalillari tahlili va qabul savollari taklifidir. U umumiy xavfsizlik isboti, haqiqiy hodisa haqidagi xabar yoki joriy etishga ruxsat emas.

AIni foydali qilaylik.
Kundalik ishingiz uchun.

Maxfiy fayllarni emas, jamoangiz takrorlaydigan ishni tasvirlang. Matrix shunday ishni qanday bajarishini ko‘rsatamiz.

Namoyish so‘rang
YUKLAB OLISH

Xavfsizlik bo‘yicha qisqacha ma’lumot

Qayerga yuborishimizni ayting.