synexasMATRIX
预约演示
行业分析

这篇研究支持简报里的说法吗?
核查不能停在参考文献

您正在为审阅供应商文件的同事准备一份行业简报。AI 助手给出了清楚的解释,还附上研究文献。转发之前,您能否确认这些文献确实存在,而且研究结果支持简报里的说法?这是两件不同的事。论文是真的,旁边的句子却未必有据可依。本文提出一套辅助阅读的思路,帮助采购协调人员把草稿与原始来源对应起来,交给简报负责人判断,而不是把学术引用当成每句话都可信的凭据。

AI 生成的编辑静物插图:浅色桌面上摆着带标签的纸张、合上的深色资料夹、放大镜、两个蓝色杯子和铅笔。纸上的线条不是真实引用。
AI 生成的编辑插图:纸张、资料夹和放大镜呼应对照来源阅读简报的主题,不代表已经完成核查。
一览

先找到原始文献
再核对具体说法

评估范围

明确要核查的那句话,并拆开其中不同的主张。将引用对应到原始文献,不能只看标题是否像真的、链接能否打开。

可比证据

把相关段落与研究任务、条件和局限一起读。主题相关,不等于支持这句话。

审查责任归属

协调人员保留来源位置和待解问题;简报负责人决定收窄、删除哪些表述,或暂缓流转。

验收决定

分别记录文献身份、句子依据和仍不明确的当前情况。能从来源中找到依据,不等于独立证明说法为真。

核查要点

文献可以是真的
却不支持这句话

从同事可能据以讨论的那句话开始,而不是先看参考文献排得是否整齐。这句话是在描述研究测试过什么,提出工作中的用途,还是声称某种做法今天有效?一句话可能把这些意思连在一起,却没有交代中间的跳跃。寻找依据之前,先把它们分开。 对于文献本身,我们建议将标题、作者和发表记录与原出版方或研究资料库中的记录核对,并明确目前能读到哪个版本。链接能打开,只能说明能访问一个页面,不能说明这就是所引的研究。搜索结果或助手摘要可以帮助定位文献,但不能代替打开原文。如果仍无法确定文献身份,应记录这项疑问,而不是直接断言引用是编造的。

找到正确文献,只回答了“是哪篇研究”。接下来还要问:哪个段落支持简报的哪一部分?一篇研究公开问答及其引用的论文,即使确实存在,也不能因此证明助手能可靠地审阅供应商文件。 ALCE 提供了一个有用的区分:文字是否流畅、答案是否正确、引用段落是否支持答案,是不同维度。在其历史实验中,未使用检索文档生成的答案,在正确性指标上可以表现良好,但事后补上引用,来源支持仍可能很弱。因此,需要检查句子与来源之间的联系,而不只是给写完的草稿加一份参考文献。

从简报句子到负责人决定

  1. 拆开不同主张
  2. 找到原始文献
  3. 结合上下文阅读
  4. 保留阅读记录
  5. 负责人决定措辞

明确具体句子,区分原研究结果、设想的用途,以及任何关于当前情况的说法。

核对标题、作者和发表记录,记录版本。无法确定文献身份,不等于已经证明引用是编造的。

把结果与方法、条件、局限和可取得的修订信息一起读,逐项核对主张的依据。

保留来源位置、有依据的措辞和未解问题,不用猜测填补空白。

简报负责人可保留、限定或删除表述,也可暂缓流转。未知不能当成批准。

依据两项研究所作区分提出的人工阅读顺序,两项研究均未测试这一顺序。找到文献不等于句子有依据;准确归引也不等于事实为真或已经获准使用。
核查要点

看清研究实际测了什么
把适用条件留在结论旁

打开相关结果,并阅读足够的上下文,弄清研究者问了什么、如何评估。任务是生成答案、查找信息,还是判断引用能否支持句子?研究用了哪些材料和系统?简报保留了这些边界,还是悄悄把研究任务写成了工作成效? ALCE 研究的是基于选定公开资料集合的问答。在其测试的方案中,直接提供检索段落取得了较好的表现;按引用支持情况筛选生成答案,也改善了引用质量,人工评估同样观察到了这一点。这些是有价值的正面结果,并不支持“所有引用都不可靠”的判断。作者也承认自动评估并不完美,开放式答案的覆盖不完整,而且难以识别部分支持。 另一项生成式搜索研究让人工标注者分别判断:句子是否得到完整支持,以及每条引用提供完整、部分还是没有支持。多个来源可以共同支持一个句子。只支持其中一部分的引用,不应给其余内容也披上一层可信外衣。

核查要点

保留有依据的表述
把未解问题交给具体的人

协调人员可以在待审文字旁保留来源链接、版本以及章节或段落位置,写明原文支持什么、没有回答什么。如果一句话把历史研究结果与今天的供应商文件工作联系起来,可以保留原结果,但不能把设想的用途写成已经观察到的证据。 生成式搜索评估发现,回答总体流畅、看起来有帮助,而且不少引用确实支持对应的陈述;研究也发现了没有依据的陈述和不准确的引用。这些首次完整搜索回答采集于 2023 年初,并非来自今天的助手或内部简报。各系统拒绝作答的比例不同,也让直接比较更复杂。 如果理解研究需要专业知识,简报负责人可以请合适的人阅读。若无法取得原始段落,就把来源支持留作未决事项。助手再给出一段流畅解释,也不能补上缺失的原文。

核查要点

修改的是简报
不是给证据作担保

我们建议保留一份简短阅读记录,将简报句子、已识别文献、相关来源位置、有依据的措辞和待解问题连起来。这是编辑层面的辅助建议,不是任何一项研究验证或要求的流程。 简报负责人可以保留忠实描述原研究结果的文字,为更宽泛的推论加上限定,删除没有依据的说法,或暂缓流转。如果需要多个引用,应让读者看懂各自支持哪部分。发送前,将修改后的句子与记录再作对照:编辑过程中,关于历史系统的观察有没有变成对当前可靠性的断言? 即便准确转述了一篇论文,也不能独立证明其结果为真,或适用于眼前的决策。生成式搜索研究的作者明确区分了“可以对照来源核查”与“事实为真”。因此,有用的交接应告诉同事:来源说了什么、是在什么条件下、还有什么需要澄清,而不是把简报标为已经自动验证。

来源

两项历史引用研究
并非简报验证方法

ALCE 首次提交于 2023 年 5 月 24 日,本次阅读的是 2023 年 10 月 31 日版本。搜索可核查性研究首次提交于 2023 年 4 月 19 日,本次阅读的是 2023 年 10 月 23 日版本。四个链接对应两项研究及其版本记录,并不是独立重复研究。已阅读相关原文部分和两份版本记录。两项研究都没有测量虚构论文的发生率,也没有测试本文提出的工作阅读顺序。输入材料所述的后续发现性搜索失败,且未重试;未能确认后续更正,也不声称做过穷尽搜索。当前助手表现及这套阅读辅助建议的效果仍不明确。本文没有检查任何真实简报或供应商记录。

让 AI 真正帮上忙,
从您的实际工作开始。

请描述团队反复处理的任务,不要提供机密文件。我们会演示 Matrix 如何处理相似工作。

预约演示
下载

安全说明

请提供收件信息。