synexasMATRIX
预约演示
行业分析

AI 给出的回答带着置信度百分比
您能向同事说明什么?

您正在准备一份内部简报,说明供应商宣布的服务变更何时开始。AI 助手给出了一个确定的日期,还附上令人安心的置信度百分比。如果一并转发,同事可能以为日期已经核实,而这个数字衡量了日期的可靠程度。发送前,简报负责人需要分清:助手说了什么,相关评估实际证明了什么,以及获准查阅的供应商材料究竟支持什么。这个百分比提出了一个待查问题,不能代替原始材料。

生成的编辑插画:木桌上的透明卡座立着一张空白米色卡片,旁边是一颗蓝色玻璃石。后方摆着空白纸张、半透明文件套、金属回形针和黑色边框的放大镜。
一览

分清三件事
置信度、正确率与事实依据

评估范围

助手自报的置信度针对它的回答,不会自动成为实测正确率,也不能自行支持简报中的事实陈述。

可比证据

校准考察的是:在相关的一组案例中,所报置信度是否与实际答对的频率相符。它不保证眼前这句话正确。

审查责任归属

明确简报负责人,由其检查百分比声称依据什么,并把尚未解决的事实问题交给相关业务或记录负责人。

验收决定

不要把含义和依据尚未确立的百分比当作实测保证,也不要自行设定批准门槛,或换成同样没有依据的“确定无误”。

核查要点

保留回答和数字
分别问清它们代表什么

保留待审阅的原话,包括日期、附带条件和置信度百分比。先问这个数字声称描述什么:这条回答、助手的一般知识,还是其他东西?助手的解释可以说明它声称采用了什么依据,但不能独立证实该依据成立。 在这里提出的供应商简报情境中,要把回答里的日期与供应商通知里的日期和条件分开看。措辞流畅的回答可能漏掉条件,却依然语气笃定。简报负责人应查看获准查阅的原文,而不是只问助手是否仍坚持原答案。

“置信度”背后可能混着三类不同的记录:助手报出一个百分比;评估记录一组明确案例中哪些回答正确;原始材料中的段落支持、限定或不支持简报的具体主张。三者不能悄悄互相替代。 校准关注前两者在多个案例中的对应关系:置信度相近的回答,实际答对的频率是否与之相符?即使校准良好,单条回答仍可能出错。反过来,一条回答正确,也不能证明附带的百分比经过了校准。

核查要点

数字可能有参考价值
但要看哪些条件已经得到验证

2022 年的自我评估研究提供了积极证据,但有重要条件。摘要报告,在采用适当题目格式时,受测模型中规模较大的模型在多种选择题和判断题上表现出良好的校准。研究还让模型先提出答案,再评估某个候选答案正确的概率,并报告了令人鼓舞的结果。这种评估与在对话中随手附上一个置信度百分比,并不是同一项操作。研究另行指出,在新任务上,模型对自己是否知道答案所作的预测存在校准困难。这是不同的问题,不能合并成“助手普遍知道自己何时答对”。 2023 年的置信度研究也提醒读者,不应否定所有百分比。它考察的是经过人类反馈微调的历史模型,也就是根据人们对回答的评价调整过训练的模型。已读取的摘要和引言报告,在三项历史问答基准中,表达出来的置信度往往比模型的条件概率更贴近实际正确频率。这里的条件概率,描述模型在给定问题或其他输入文本后生成某个答案的可能性;所述比较也包括通过抽样获取模型回答来估计这些概率。它们不是对事实真假的独立核查。返回的比较内容还区分了不同的置信度询问方式:数字如何产生,确实重要。 这项比较中的校准改善,不等于事实正确率提高,更不能验证今天使用的产品、提示词、问题或简报流程。两项研究支持的是追问数字的依据,而不是借用研究结果为您的答案背书。

建议的阅读顺序,不是审批流程

  1. 回答与数字
  2. 声称依据
  3. 原文段落
  4. 未决问题
  5. 简报负责人

保留原始措辞、百分比和条件。助手自报的数字不等于实测正确率。

数字描述什么?索取能够关联置信度与实际答对情况的相关证据;历史基准不能验证这条回答。

阅读支持具体主张的获准材料。原文提供的支持,与助手自报的置信度是两回事。

写明哪里仍不清楚,向相关业务或记录负责人提出具体的事实问题。

负责人交接依据,也保留不确定性。箭头只表示阅读顺序,不代表批准或实测成功;这项建议方法尚未验证。

核查要点

先问评估依据
再单独核对业务事实

简报负责人可以向提供评估说法的人追问:检查了哪些相关案例?如何判定答案正确?是否比较了所报置信度与实际答对情况?评估是否采用相同类型的任务和询问置信度的方式?单一的总体正确率不能回答这些问题。如果没有适用的评估,就保留这个缺口,不要从论文标题推导出保证。 随后,向相关业务或记录负责人提出具体的事实问题。对于供应商通知,可以问:这个日期是否适用于简报所述的服务和对象?是否取决于通知中的某项条件?同时附上待核对的句子和获准查阅的原文位置。解释评估证据的人,与澄清业务事实的人,可能并不是同一位。

核查要点

交接依据,也交接未决问题
不要制造确定性

我们建议保留一份简短的阅读记录:原始回答和百分比、它声称采用的依据、相关原文、原文支持什么,以及具体未决问题和后续跟进人。配图展示的是阅读顺序,不是分类器、经过验证的干预措施或审批流程。 发送前,简报负责人将最终措辞与这份记录对照。如果日期有依据,但百分比的含义尚未确立,就不要把数字称为日期正确的实测概率。如果保留数字有助于说明情况,应明确它是助手未经验证的自报置信度。也不要在没有依据时改写为“确定”或“已核实”。 如果原文为日期附加了条件,就保留条件。如果适用日期仍不清楚,就让相关主张保持未决,并向记录负责人提出具体问题。没有回复不等于确认。简报负责人仍须按照现有审阅规则对交接负责;高百分比和这里提出的阅读辅助方法,都不构成采信该主张的授权。

来源

两项历史研究及其版本记录
不是对您这份简报的测试

第一项研究于 2022 年 7 月 11 日首次提交;当前返回的历史止于 2022 年 11 月 21 日的 v4,备注说明增加了参考文献并修正了笔误。第二项研究于 2023 年 5 月 24 日首次提交;v2 日期为 2023 年 10 月 24 日,标为会议定稿。四个链接对应两项研究,不是四次独立复现。本文读取了两份历史记录及指定版本的有限正文片段。第一份片段在引言中截断;第二份包含引言和首张比较表,随后在相关工作部分截断。未读章节、后续研究以及全面的更正或撤稿检索均不在覆盖范围内。没有测试当前助手、供应商通知、内部简报或实际工作成效。

让 AI 真正帮上忙,
从您的实际工作开始。

请描述团队反复处理的任务,不要提供机密文件。我们会演示 Matrix 如何处理相似工作。

预约演示
下载

安全说明

请提供收件信息。