synexasMATRIX
预约演示
行业分析

一位同事的 AI 演示很顺利。
还该让谁试一试这项任务?

一位同事用 AI 助手,把一条简短的服务咨询整理成了清楚的收件确认回复。初稿看起来有用,您的保险服务团队也想试用。但在扩大评估之前,先问问:这次演示能代表谁的日常工作?熟悉任务的人可能在不经意间补充了背景,不熟悉任务的人则可能需要帮助才能核对结果。把新同事和资深同事都纳入考虑是有意义的,但比起这些身份标签,更重要的是他们对这项具体任务的熟悉程度。

AI 生成的概念插图:三把空椅围着一张圆桌,桌上有半透明文件架、空白纸张、笔记本、文件夹和杯子。
一览

一份令人信服的初稿
不能代表整个团队

评估范围

从获准开展的日常文字任务和不涉及真实客户的练习材料开始,而不是评估保障范围或作出理赔决定。

可比证据

考虑对这项任务熟悉程度不同的同事;仅凭任职年限,无法解释具体工作情况。

审阅责任

服务团队负责人决定谁参与,并安排人工核查文本是否正确、实用,而不是评判员工。

验收决定

只作出经审阅的工作能够支持的决定,保留尚未覆盖的情境和仍未解释的差异。

需要核查什么

先看要写的内容
不要先按资历分类

可以设想这样一项练习:根据经批准的内部服务说明,起草一封确认收到咨询的回复。使用获准的示例材料,不涉及真实客户。初稿需要准确说明收到了什么,解释说明中允许的下一步,并且不作出缺乏依据的承诺。练习稿不会发给客户。在选择参与者之前,您可以先明确这份回复达到什么要求才可用:必要事实是否齐全,表达是否清楚,尚不确定的事项是否仍然保留?这样,评估围绕的是一项具体、熟悉的工作。同事知道要准备什么,审阅者也知道要检查什么。如果下一步写错了,或重要的不确定性被抹去了,文字再流畅也不够。

研究也提供了一个理由,说明不应只看演示者一个人。Erik Brynjolfsson、Danielle Li 和 Lindsey Raymond 在《Generative AI at Work》当前的 arXiv 摘要中,描述了利用 5,172 名客户支持人员的数据,研究对话式助手分阶段引入后的情况。作者报告,经验较少、技能水平较低的人员在速度和质量上都有改善;经验最丰富、技能水平最高的人员则只有小幅速度提升,同时出现了小幅质量下降。对这里的问题而言,这种差异比总体平均值更值得关注。它提示管理者继续了解差异,而不是得出“所有新手都会受益”或“资深同事不会受益”的规则。研究针对的是客户支持工作,并不能证明保险团队的文字任务会有同样结果。

需要核查什么

问的是经验
但要具体到这项任务

刚加入团队的人,可能早就熟悉如何写收件确认回复。任职多年的同事,也可能不熟悉最近才出现的一类咨询。这些是可以询问的可能情况,不是对您员工的判断。研究摘要还报告,在相对少见、人员此前培训和经验较少的问题上,收益更大。因此,了解任务熟悉程度是一个有用的问题,但摘要并没有规定应如何在您的团队里衡量它。经验与研究中测量的技能也不能自动画等号;摘要没有给出两者的定义。您可以询问参与者对所选任务有多熟悉,平时会查哪些参考资料,通常会寻求什么帮助。不要据此给员工排名。这些信息的作用,是解释每份工作样本背后的情境。

需要核查什么

比较具体文本
保留各自的情境

负责人可以考虑邀请对任务熟悉程度不同的同事,使用相同的获准任务说明、相同的服务资料,按相同要求准备初稿。将助手的原始文字、同事的修改和经审阅的版本放在一起保留。询问哪些内容需要纠正,哪些地方难以核实,又需要补充什么解释。审阅者应当根据任务要求检查每份文本,而不是以最有信心的同事的写作风格为标准。相关差异也要保留:此前对任务的熟悉程度、获得的帮助,以及任务说明是否真正可比。不能把处理熟悉咨询的结果,悄悄当成处理陌生咨询的证据。这一建议旨在了解起草辅助可能在哪些工作中有用,以及需要怎样的审阅。它不是员工考核,研究也没有验证这套参与安排。

工作样本审阅建议,不是经验证的参与规则

  1. 选定任务
  2. 了解熟悉程度
  3. 保留各版初稿
  4. 按要求核查
  5. 负责人决定

负责人选择获准的日常文字练习,使用不涉及真实客户的材料并明确要求。不纳入保障范围或理赔决定。

考虑对这项任务熟悉程度不同的同事。经验不等于测量所得的技能水平,也不应据此给员工排名。

保留助手原文、每位同事的修改及相关任务情境。相同说明并不能消除熟悉程度或所获帮助的差异。

由人按相同要求检查正确性与实用性。研究摘要报告了不同的质量结果,并不能预测这些初稿的表现。

服务团队负责人记录未知事项,再决定有限的下一步。研究没有检验这套顺序,NIST 也没有规定它。

需要核查什么

证据支持到哪里
决定就做到哪里

NIST 的 AI Risk Management Framework 概览介绍了自愿采用的风险管理指导,旨在把可信赖性方面的考虑纳入 AI 的使用与评估。它没有规定本文提出的参与方式,也没有证明这种方式有效。服务团队负责人仍需判断,经审阅的初稿究竟支持什么决定。如果一位同事写出了可用的确认回复,另一位却需要大量修改,在扩大任务范围之前,应先了解还有什么没有解释清楚。双方是否对资料有不同理解?是否有人补充了未写明的背景?两人对咨询类型是否同样熟悉?负责人可以选择另一个获准的练习示例、澄清指示,或把评估限制在已经检查过的工作内。记录检查了什么、覆盖了哪些任务情境,以及还有什么未知。真正有用的结果,是针对这项任务作出有限决定,而不是对人员或 AI 下一个笼统结论。

来源

阅读所依据的材料
也保留材料的边界

本文使用的是研究的 arXiv v2 摘要和版本记录,并未阅读全文的方法与结果。记录显示,论文于 2023 年 4 月首次提交,2024 年 11 月修订,并链接到一篇尚未阅读的 2025 年期刊论文。本文不把分阶段引入视为已经核实的随机试验,也未全面检索后续更正和研究。2026 年 11 月 10 日查阅的 NIST 动态概览说明 AI RMF 1.0 正在修订;概览页面本身的发布日期未知。框架 PDF、Playbook 和相关专题文件均未阅读。上文的实务问题只是建议,不是经验证的控制措施、认证或对保险业务结果的预测。

让 AI 真正帮上忙,
从您的实际工作开始。

请描述团队反复处理的任务,不要提供机密文件。我们会演示 Matrix 如何处理相似工作。

预约演示
下载

安全说明

请提供收件信息。