AI 为什么会胡编乱造:7 招识破幻觉
AI 为什么会胡编乱造?不讲数学,讲清什么是幻觉、2026 年发生得有多频繁、三家机构为此付出的代价,以及 7 个能识破它的检查办法。
AI 会胡编乱造,是因为语言模型的设计目标是生成最可能出现的下一个词,而不是核实内容是否属实;也因为模型的训练和评分方式,奖励的是自信的猜测,而不是诚实的一句"我不知道"。本文用通俗的话讲清其中的机制、当前模型出错的频率、三家机构为此付出的代价,以及能识破幻觉的七个检查办法。
你一定见过这样的情况:聊天机器人引用了一条根本不存在的法规,说出一个没有任何调查产生过的统计数字,或者给出一个你怎么也查不到的供应商名字。这就叫幻觉(hallucination),它不是下一次更新就能消除的漏洞。OpenAI 自己的研究人员在 2025 年 9 月写道,模型会产生"过度自信、看似合理的错误内容",因为它们的训练和评估"奖励猜测,而不是承认不确定"。弄清楚 AI 为什么会胡编乱造,就是区分两种工具的关键:一种每周帮你省出一天时间,另一种则可能把一个假数字送到客户、银行或法庭面前。
下文是忙碌的店主真正需要的解释,而不是计算机科学讲座:机器究竟如何运作、错误集中在哪里、三个附带账单的真实案例、厂商自己怎么说,以及七个检查办法。最后一节讲的是,一个展示信息来源和浏览器操作的 AI 智能体如何改变这个问题,以及它仍然无法替你做什么。
想亲眼看到信息来源,而不是盲目相信答案?Jobbit 的智能体用你能实时观看的浏览器做调研,并带回它用到的链接,免费方案每天 100 积分,无需绑定银行卡。
我们如何核查本指南
- 机制部分只用一手资料:OpenAI 2025 年 9 月 4 日的研究论文,以及引用厂商说法的监管机构声明。
- 来自公开排行榜的实测比率,读取于 2026 年 10 月 22 日,并说明了方法,因为没有方法的幻觉率本身就是一种幻觉。
- 三个案例只用法院和政府记录,不用新闻摘要。
- 厂商自己的帮助页面,看 ChatGPT 和 Claude 如何描述自身的局限。
- 非技术人员一分钟内就能完成的检查,除了搜索框不需要任何工具。
什么是幻觉,为什么会发生
大语言模型的工作方式,是预测最可能接在已有文字之后的文字。英国 Solicitors Regulation Authority(SRA,英国律师监管局)在 2023 年 11 月向法律界发出警告时说得很直白:这些工具"通过预测应该接在输入之后的文字来工作,但并没有'现实'的概念"。你让它找一个支持你论点的案例,它就会生成一个"长得像案例"的东西:一个看似合理的名字、一个看似合理的年份、一段看似合理的引文。它内部没有任何环节核实这个案例是否存在,因为它从一开始就不是为此而造的。
第二个原因是模型的评分方式。四位 OpenAI 研究人员在 2025 年 9 月的论文《Why language models hallucinate》中指出,标准测试奖励自信的回答,承认不确定则一分不得,因此"在二元评分下,弃权严格来说是次优选择"。会猜的模型比会说"不知道"的模型得分更高,就像选择题考试里,蒙答案的学生比留白的学生分数高。猜测的习惯是学来的,而且之所以学会,是因为它能赢。
OpenAI 随论文一并公布的数字让这种取舍一目了然。在一项事实基准测试中,一个被调成倾向弃权的模型拒绝回答了 52% 的问题,答对 22%,答错 26%;而一个几乎从不弃权的早期模型答对 24%,答错 75%。错误变少,是因为"我不知道"变多,而不是因为知识变多。这就是整件事的全部,也是为什么下面的检查从"允许它说不"开始。
2026 年发生得有多频繁
诚实的回答是"频繁到每次都该检查"。Vectara 的幻觉排行榜(2026 年 10 月 22 日更新)只测一项窄任务:概括一份给定的文档,然后统计概括中有多少次出现了文档里没有的内容。即使事实就摆在面前,主流模型仍会在可测量比例的概括中编造内容。
| 模型(排行榜名称) | 含有编造内容的概括占比 |
|---|---|
| Llama 3.3 70B | 4.1% |
| Gemini 2.5 Pro | 7.0% |
| GPT-5.4 (2026年3月) | 7.0% |
| GPT-4o (2024年8月) | 9.6% |
| Claude Sonnet 4 (2025年5月) | 10.3% |
| GPT-5 high (2025年8月) | 15.1% |
有两点值得注意。更新、更大不等于更安全:2025 年 8 月的 GPT-5 配置在这项测试中的得分,比早它一年的 GPT-4o 更差。而且这些是"有据可依"的数字,也就是已经提供了来源;当模型必须凭记忆回想事实时,比率更高。
专业领域的研究也印证了这一点。发表在 Annals of the Royal College of Surgeons of England 的研究者于 2026 年 4 月报告称,在 108 条聊天机器人对外科问题的回答中,共含 1,249 条参考文献,表现最差的模型编造或无法佐证的引用占 25% 至 34%,而最好的模型一条也没有。The Lancet 的一封信函于 2026 年 5 月报告,PubMed 收录的近期论文中约每 277 篇就有一篇带有编造的参考文献,而 2023 年是每 2,828 篇一篇。Stanford 对使用检索技术的法律研究工具所做的研究发现,它们仍有 17% 至 33% 的时候出现幻觉。检索有帮助,但不能一劳永逸。
它造成过什么代价:三个案例
纽约,2023 年 6 月。在 Mata v Avianca 一案中,两名律师提交的诉状包含由 ChatGPT 生成的、根本不存在的案例,法院处以 $5,000 罚款。这是第一起被广泛报道的案例,如今它只是全球 2,200 多项涉及编造 AI 引用的法院裁决之一,这些裁决被律师 Damien Charlotin 维护的公开数据库收录。
伦敦,2025 年 6 月。在 Ayinde v Haringey 与 Al-Haroun v Qatar National Bank 两案中,High Court(英国高等法院)同时处理了两起案件:一份诉状引用了五个不存在的案例,另一份引用了 45 条依据,其中 18 条是编造的。King's Bench Division 的庭长写道,生成式工具"无法进行可靠的法律研究",并且"可能引用并不存在的来源";律师负有职业责任"对照权威来源核实此类研究的准确性",未能做到的后果可能包括藐视法庭程序以及移交警方。此后,Solicitors Regulation Authority 发布了警告通知(2026 年 8 月 17 日),点名"虚构的案例、参考文献或看似事实的断言",并提醒律师仍须对输出内容负责。
堪培拉,2025 年 10 月。Deloitte 澳大利亚公司向一个政府部门交付了一份报告,合同金额为 AU$440,000。报告中含有一段被说成出自某法院判决的编造引文,以及并不存在的学术论文参考文献。该公司于 2025 年 10 月 3 日发布了更正版,首次披露曾使用 Azure OpenAI 模型,并退还了最后一期款项,约 AU$98,000。这项工作由一家有审核流程的大型专业机构完成,编造的内容仍然蒙混过关,因为没有人打开过那些参考文献。
这些人都不是粗心的外行。他们是忙碌的专业人士,把流畅的输出当成了核实过的输出。这是要避免的错误,而且完全可以避免。
厂商自己怎么说
Anthropic 为 Claude 编写的文档列出了标准的缓解办法,包括允许模型说"我不知道"、要求它先引用原文再作答、限定它只使用所提供的文档,然后补充说这些办法"并不能完全消除这种情况。务必验证关键信息。"其关于错误回答的支持文章(2026 年 3 月更新)直言,Claude"偶尔可能给出不正确或具有误导性的回答",不应被当作"唯一的真相来源"。OpenAI 关于 ChatGPT 是否说真话的帮助页面也说了同样的话:它可能编造引用,你应当核实。ICO(英国信息专员办公室)在 2024 年关于生成式 AI 的工作中指出,即使训练数据准确,也"无法阻止"模型生成虚假陈述;FCA(英国金融行为监管局)2026 年 10 月对金融服务业 AI 的审查则重申,无论由什么工具生成,企业都"仍须对消费者结果负责"。
综合来看,开发者和监管者传达的信息是一致的:用它们,也要检查它们。
识破幻觉的 7 个检查
| 检查 | 你要做什么 | 它能发现什么 |
|---|---|---|
| 1. 要求给出来源,然后打开看 | "请给我这一说法的网址或文件",然后点开 | 编造的案例、论文、统计数字 |
| 2. 逐一核实每个名字、数字、日期和引文 | 对照原始来源搜索,而不是问另一个聊天机器人 | 错误数字、张冠李戴的引文 |
| 3. 问两遍,或问另一个模型 | 换种说法重问,或粘贴到另一个工具里 | 措辞一变答案就变的回答 |
| 4. 把文档给它,并限定范围 | "只根据附件作答,并引用你用到的那一行" | 回忆错误;模型眼前就有事实 |
| 5. 允许它说"我不知道" | "如果你不确定,请直说,并告诉我需要核查什么" | 自信的猜测 |
| 6. 重算一遍 | 把一列加一遍,重算百分比,核对日期 | 看似正确实则有误的算术 |
| 7. 涉及钱、法律、健康和声誉的一律当草稿 | 凡是发给客户、HMRC、银行或法院的内容,都由专人签字确认 | 代价高昂的错误 |
1. 要求给出来源,然后打开看
模型很乐意按要求给出一条参考文献;关键是这条文献能否打开,内容是否真如模型所说。Deloitte 的报告里有参考文献,但没有人打开过。如果链接已失效、论文并不存在,或页面说的是另一回事,那么整个回答都可疑,而不只是那一行。
2. 逐一核实名字、数字、日期和引文
编造集中在这四类内容上,因为它们是句子里最难根据上下文预测的部分。引文最容易检查:把它放进引号,粘贴到搜索引擎里。一个统计数字应当能追溯到一份有样本量和日期的调查,就像本指南点出了 Royal College of Surgeons of England 的研究及其 1,249 条参考文献一样。
3. 问两遍,或问另一个模型
经得起换说法重问的事实,更可能是真事实。用不同措辞问同一个问题,或把它粘贴到第二个产品里(ChatGPT、Claude、Gemini、Microsoft Copilot、Manus 或 Meta 的 Muse,面对同一个提示的表现各不相同)。两个模型一致并不是证明,但两个模型不一致,则是需要核查的可靠信号。
4. 把文档给它,并限定范围
上面排行榜的数字已经是最好情形,因为提供了来源;凭记忆回想则更差。所以要提供来源。附上合同、电子表格或法规,告诉模型只根据它作答,并引用所用的那一行,然后读那段引文。如果它引不出一行,说明答案并非来自这份文档。
5. 允许它说"我不知道"
由于训练奖励的是猜测,你就得在提示词里改变评分规则。"如果你不确定,请直说,并告诉我需要核查什么",是本指南里最有效的一句话;它相当于 OpenAI 那张表里倾向弃权的模型的文字版,而且不花你一分钱。
6. 重算一遍
语言模型预测的是文字,除非运行代码,否则并不做计算。少加了一行的合计、选错基数的百分比、差了一年的日期:这些之所以看起来对,是因为周围的句子是对的。自己把那一列加一遍,或者让智能体在电子表格里运行计算并展示出来。
7. 涉及钱、法律、健康和声誉的一律当草稿
伦敦的律师和堪培拉的顾问并不缺智慧,他们缺的是一条规则。这条规则是:凡是要送到客户、监管机构、贷款方或法院手上的内容,在一位具名的人核查过其中的事实之前,都只是草稿。把这条规则写下来,小企业 AI 政策:免费模板里的 AI 政策可以给你一页纸的版本。
小企业最容易栽在哪里
- 报价和估价。让模型给出"典型价格",它就会编出典型价格。请用你自己的价目表或有定价依据的来源。
- 法律和税务措辞。门槛、日期和罚款每年 4 月都会变,而模型的记忆可能停留在两年前。请查 GOV.UK。
- 供应商和产品信息。型号、兼容性和规格正是那种密集、难以预测、最容易被编造的文字。
- 评价和客户证言。绝不要让模型代写评价或客户的话。除了是编造的,在英国,依据 Digital Markets, Competition and Consumers Act 2024,虚假评价还属违法。
- 数字的翻译。模型翻译文档时,数字可能发生偏移。请把译文中的每个数字与原文逐一核对。
AI 智能体如何改变这个问题
聊天机器人给你一个答案,检查的事留给你。智能体可以在做事的过程中替你完成一部分检查,所以挑选时,这些机制很重要。
- 它展示信息来源。会浏览网页的智能体会返回它读过的页面,于是检查 1 变成点一下,而不是再搜一遍。Jobbit Research 会把来源附在它所写报告的每一项发现上。
- 它在你能观看的浏览器里运行。智能体打开一个页面,你就看到那个页面。报告里的任何数字,都可以追溯到它出自的那块屏幕。
- 它依据你的文档工作。在 Jobbit 项目里附上合同或电子表格,智能体就会依据文件作答并引用相应的行,这就是默认完成的检查 4。
- 它在电子表格里算数,而不是在文字里算。让它做现金流预测,智能体会建好表格并展示公式;计算过程可以复现。
- 花钱或发送之前它会先询问。在邮件发出之前暂停等待批准的智能体,给检查 7 提供了内置的停顿点。
- 可以要求它弃权。项目指令比如"不确定时请说明,并列出需要核实的事项"会作用于每一次对话,所以检查 5 只需设置一次。
ChatGPT、Claude、Gemini、Microsoft Copilot、Manus 和 Meta 的 Muse 都擅长起草,其中好几个现在也能浏览网页并给出引用。没有哪一个能取消人工的最终检查,Jobbit 也不能。Jobbit 多出来的是一张真人网络:当任务是租约、纳税申报或医疗索赔时,智能体可以在同一个订单内把核查交给经过审核的专业人士,而不是在晚上十一点交给你。
你本周的计划
- 周一:写下那条规则。"凡是发给客户、HMRC、银行或法院的内容,在一位具名的人核查过其中的事实之前,都只是草稿。"把它写进你的 AI 政策和项目指令。
- 周二:加上弃权这一句。在你使用的每个工具的常驻指令里加上"如果你不确定,请直说,并告诉我要核查什么"。
- 周三:对上周的输出运行检查 1。拿出你用过的最近三份 AI 撰写的文档,打开每一条参考文献,数一数有多少条失败。
- 周四:把一项工作改成有据可依的模式。挑出出错代价最高的任务,附上真实文档,并要求引用原文行。
- 周五:确定哪些内容绝不未经检查就发出。列出清单(价格、法律措辞、健康宣称、客户证言),并与你企业里每一位使用 AI 的人分享。
接着读
常见问题
AI 为什么会胡编乱造?
因为语言模型生成的是概率最高的下一个词,而不是核查事实;也因为用来训练和排名模型的测试,奖励自信的猜测,而不是承认不确定。OpenAI 自己的研究人员在 2025 年把结果描述为"过度自信、看似合理的错误内容"。流畅与准确出自同一个过程,所以错误的回答读起来和正确的一模一样。
什么是 AI 幻觉?
指流畅、看似合理却是错误的回答:一个编造的案例、一个没有任何调查产生过的统计数字、一句没人说过的引文、一个不存在的产品。它不是故障,而是模型被问到自己不知道的事情时的正常表现。
ChatGPT 编造内容的频率有多高?
取决于任务。在 2026 年 10 月读取的一项公开"有据可依"测试中,即使提供了来源,主流模型仍在大约 4% 至 15% 的文档概括中编造了内容;关于外科和法律领域引用的研究发现,表现最差者的编造率为 17% 至 34%。稳妥的假设是"频繁到每个名字、数字、日期和引文都该检查"。
能彻底杜绝 AI 幻觉吗?
不能。提供来源文档、要求引用原文、允许说"我不知道",以及使用展示信息来源的智能体,都能降低比率,而 Anthropic 自己的文档也说这些措施"并不能完全消除这种情况"。对任何重要内容的最终检查,要由人来做。
有人因为 AI 幻觉被罚款吗?
有。纽约一家法院在 2023 年因诉状中的虚假案例处以 $5,000 罚款;伦敦的 High Court 在 2025 年 6 月警告,编造引用可能导致藐视法庭程序并被移交警方;Deloitte 澳大利亚公司则在 2025 年 10 月,因其报告被发现含有编造的参考文献,退还了一份 AU$440,000 政府合同的最后一期款项。
AI 智能体比聊天机器人更可靠吗?
会浏览网页、给出信息来源并依据你的文档工作的智能体,能让检查更快、让错误更容易追溯,但凡是涉及钱、法律或健康的内容,仍需要人来签字确认。Jobbit 的智能体在工作时会展示它的浏览器和信息来源,并且在任务需要时,可以把最终检查交给经过审核的专业人士。