AIはなぜ嘘をつくのか:ハルシネーションを見抜く7つの確認

AIが事実でないことを作り出すのは、言語モデルが「最も可能性の高い次の言葉」を出力するように作られており、それが真実かどうかを確かめる仕組みを持たないからです。さらに、モデルの訓練と採点の方式が、正直な「わかりません」よりも自信のある推測を高く評価してしまいます。このガイドでは、その仕組みを平易な言葉で説明し、現行モデルでどのくらいの頻度で起きるのか、3社にどんな損失をもたらしたのか、そして見抜くための7つの確認を紹介します。

こんな経験はないでしょうか。存在しない規制を引用する、どの調査にも出ていない統計を示す、探しても見つからない仕入れ先の名前を挙げる。これがハルシネーション(幻覚)です。次のアップデートで消えるようなバグではありません。OpenAI自身の研究者は2025年9月に、モデルが「自信過剰でもっともらしい虚偽」を生み出すのは、訓練と評価が「不確かさを認めることよりも推測することに報酬を与える」からだと書いています。AIはなぜ嘘をつくのかを理解することが、週に1日分の時間を節約してくれる道具と、偽の数字をお客様や銀行や裁判所の前に出してしまう道具との分かれ目になります。

以下では、忙しい経営者に必要な説明だけをお伝えします。コンピューターサイエンスの講義ではありません。仕組みが実際にどう動くのか、誤りがどこに集中するのか、請求額付きの実例3件、提供元自身が何と言っているのか、そして7つの確認です。最後の節では、情報源とブラウザを見せてくれるAIエージェントが問題をどう変えるのか、それでもあなたの代わりにできないことは何かを取り上げます。

このガイドの確認方法

1. 仕組みについては一次資料のみを使いました。2025年9月4日のOpenAIの研究論文と、提供元の発言を引用している規制当局の声明です。
2. 公開リーダーボードの実測値は2026年10月22日に確認し、測定方法も明記しています。方法の分からないハルシネーション率は、それ自体が一種のハルシネーションだからです。
3. 3つの事例は、ニュースの要約ではなく裁判所と政府の記録に基づいています。
4. ChatGPTとClaudeが自らの限界について何と言っているかは、提供元自身のヘルプページで確認しました。
5. 検索ボックス以外の道具を使わず、専門知識のない人でも1分以内にできる確認方法だけを選びました。

ハルシネーションとは何か、なぜ起きるのか

大規模言語モデルは、与えられた文章の後に続く可能性が最も高い文章を予測して動いています。Solicitors Regulation Authority(英国の事務弁護士規制機関)は2023年11月に法曹界へ警告を出し、こうした道具は「入力された文章に続くべきテキストを予測して動作するだけで、『現実』という概念を持たない」とはっきり述べました。自分の主張を裏付ける判例を求めれば、モデルは判例らしい形のものを作ります。もっともらしい名前、もっともらしい年、もっともらしい引用です。その判例が実在するかを確かめる仕組みはモデルの中にありません。そもそもそのために作られていないからです。

2つ目の原因は、モデルの採点方法です。2025年9月の論文「Why language models hallucinate」で、4人のOpenAI研究者は、標準的なテストが自信のある回答を評価し、不確かさを認めても何も与えないことを示しました。「二値の採点では、回答を控えることは厳密に最適ではない」のです。推測するモデルは、分からないと言うモデルより多くの点を取ります。択一式の試験で当てずっぽうに答える学生が、空欄にする学生に勝つのと同じです。推測する癖は学習されたものであり、勝てるから学習されたのです。

OpenAIが論文と合わせて公表した数字を見ると、このトレードオフがはっきりします。ある事実ベンチマークでは、回答を控えるように調整したモデルは質問の52%に回答せず、22%が正解、26%が不正解でした。ほとんど回答を控えなかった以前のモデルは、24%が正解、75%が不正解でした。誤答が減ったのは知識が増えたからではなく、「わかりません」が増えたからです。これが全体像であり、下の確認がまず「ノーと言う許可」から始まる理由でもあります。

2026年にどのくらいの頻度で起きるのか

正直に言えば「常に確認すべき程度には起きる」です。2026年10月22日に更新されたVectaraのハルシネーション・リーダーボードは、1つの限定的な課題でモデルを採点しています。与えられた文書を要約させ、その要約に文書に書かれていない内容がどのくらい含まれるかを数えるものです。事実が目の前にあっても、主要なモデルは一定の割合の要約で内容を作り出しました。

目につく点が2つあります。新しく大きいモデルが安全とは限りません。2025年8月のGPT-5の構成は、1年前のGPT-4oよりこのテストで悪い結果でした。また、これらは情報源を与えた状態での数字です。モデルが記憶から事実を思い出す場合は、率はさらに高くなります。

専門分野の研究も同じ結果を示しています。Annals of the Royal College of Surgeons of Englandに寄稿した研究者らは2026年4月に、外科の質問に対する108件のチャットボット回答(参考文献1,249件を含む)のうち、最も悪いモデルは引用の25%から34%を捏造したか裏付けられなかったと報告しました。最良のモデルは0件でした。2026年5月のThe Lancetの投書によると、PubMedの最近の論文のうち約277本に1本に捏造された参考文献があり、2023年は2,828本に1本でした。検索を組み合わせた法律調査ツールを調べたStanfordの研究でも、17%から33%の確率でハルシネーションが起きていました。検索は役に立ちますが、問題を解決しきるわけではありません。

実際にかかった代償:3つの事例

ニューヨーク、2023年6月。 Mata v Avianca(裁判名)で、2人の弁護士がChatGPTが生成した実在しない判例を含む準備書面を提出し、裁判所は5,000ドルの制裁金を科しました。広く報じられた最初の事例で、現在では、弁護士のDamien Charlotinが管理する公開データベースに記録された、AIが捏造した引用を含む世界の裁判所判断2,200件以上のうちの1件になっています。

ロンドン、2025年6月。 Ayinde v HaringeyとAl-Haroun v Qatar National Bankで、High Court(高等法院)は2件を同時に扱いました。1件の書面は実在しない判例を5件引用し、もう1件は45の典拠を引用してそのうち18が捏造でした。King's Bench Division(高等法院女王座部)の部長は、生成AIの道具は「信頼できる法律調査を行うことができず」、「存在しない情報源を引用することがある」と書き、弁護士には「そのような調査の正確性を権威ある情報源に照らして確認する」職業上の義務があり、怠れば法廷侮辱の手続きや警察への付託に至ることがあると述べました。その後Solicitors Regulation Authorityは警告通知(2026年8月17日)を出し、「架空の判例、参考文献、または事実らしく見える主張」を名指しして、事務弁護士が出力に対して責任を負い続けることを改めて示しました。

キャンベラ、2025年10月。 Deloitte Australiaは、44万豪ドルの契約のもとで政府省庁に報告書を納品しました。その中には、裁判所の判決に帰せられた捏造の引用と、実在しない学術論文への参照が含まれていました。同社は2025年10月3日に訂正版を公表し、Azure OpenAIのモデルが使われていたことを初めて開示して、最終回の支払い約9万8,000豪ドルを返還しました。作業をしたのは審査体制を持つ大手の専門ファームです。それでも捏造はすり抜けました。誰も参考文献を開かなかったからです。

この人たちは不注意な素人ではありません。流暢な出力を確認済みの出力と見なしてしまった、多忙な専門家でした。避けるべきはこの誤りであり、避けることは可能です。

提供元自身は何と言っているか

AnthropicのClaudeのドキュメントは、標準的な軽減策を挙げています。モデルに「わかりません」と言うことを許す、回答の前に引用させる、与えた文書だけに範囲を限定する、といったものです。そのうえで、これらは「完全になくすものではありません。重要な情報は必ず検証してください」と付け加えています。2026年3月に更新された誤った回答に関するサポート記事は、Claudeが「ときに誤った、または誤解を招く回答を生成することがある」と明言し、「唯一の真実の源」として頼るべきではないとしています。OpenAIのヘルプページ(ChatGPTは真実を言うのか)も同じで、引用を捏造することがあるので確認するようにと述べています。ICOは2024年の生成AIに関する取り組みで、正確な訓練データがあってもモデルが虚偽の記述をすることは「なくならない」と指摘しました。FCAの2026年10月の金融サービスにおけるAIの調査も、どの道具が作った結果であっても、各社は「消費者への結果に責任を負い続ける」と繰り返しています。

まとめると、これらの道具を作る側と規制する側のメッセージは一貫しています。使いなさい、そして確認しなさい、ということです。

ハルシネーションを見抜く7つの確認

1. 情報源を求め、実際に開く

モデルは頼まれれば喜んで参考文献を出します。試すべきなのは、その参考文献が開けて、モデルが言う内容が実際に書かれているかどうかです。Deloitteの報告書にも参考文献はありました。誰も開かなかったのです。リンクが切れている、論文が存在しない、ページの内容が違うといった場合は、その行だけでなく回答全体を疑ってください。

2. 名前、数字、日付、引用を1つずつ検証する

この4種類は、文脈から予測しにくい部分なので、捏造が集中します。引用は最も確認しやすいものです。引用符で囲んで検索エンジンに貼り付けてください。統計は、標本と日付のある調査にたどり着くはずです。このガイドがRoyal College of Surgeons of Englandの研究と1,249件の参考文献を明示しているのと同じです。

3. 2回聞く、または別のモデルに聞く

言い換えても変わらない事実は、事実である可能性が高くなります。同じ質問を言葉を変えて聞くか、別の製品に貼り付けてください(ChatGPT、Claude、Gemini、Microsoft Copilot、Manus、MetaのMuseは、同じ指示でも挙動が異なります)。2つのモデルが一致しても証明にはなりませんが、食い違えば確認すべきだという確かな合図です。

4. 文書を渡して範囲を限定する

上のリーダーボードの数字は、情報源を与えた最良の場合のものです。記憶からの回答はもっと悪くなります。だから情報源を渡してください。契約書、スプレッドシート、規則を添付し、そこからだけ答えて使った行を引用するようモデルに伝え、その引用を読みます。1行も引用できないなら、その回答は文書から来ていません。

5. 「わかりません」と言う許可を与える

訓練が推測に報酬を与える以上、プロンプトの中で採点を変える必要があります。「確実でなければそう言って、何を確認すべきか教えて」は、このガイドで最も効果のある一文です。OpenAIの表で回答を控えたモデルを文章で再現するものであり、費用はかかりません。

6. 計算をやり直す

言語モデルはテキストを予測するもので、コードを実行していない限り計算はしません。1行ずれた合計、誤った基準での割合、1年ずれた日付は、周囲の文章が正しいために正しく見えます。自分で列を足すか、スプレッドシートで計算を実行して見せてくれるエージェントに頼んでください。

7. お金、法律、健康、評判に関わるものは下書きと考える

ロンドンの弁護士もキャンベラのコンサルタントも、知性が足りなかったわけではありません。足りなかったのはルールです。お客様、規制当局、貸し手、裁判所に届くものは、名前のある人が事実を確認するまで下書きである、というルールです。これを書き留めてください。小規模事業者のためのAIポリシー:無料テンプレートのAIポリシーが、1ページ版を提供しています。

小規模事業者が最もつまずきやすい場面

• 見積もりと相場。 「一般的な価格」を聞かれたモデルは、一般的な価格を作り出します。自社の料金表か、価格が明記された情報源を使ってください。
• 法律と税金の表現。 基準額、期日、罰則は毎年4月に変わりますが、モデルの記憶は2年前のものかもしれません。GOV.UKで確認してください。
• 仕入れ先と製品の詳細。 型番、互換性、仕様は、まさに密度が高く予測しにくいテキストであり、捏造されやすい部分です。
• レビューとお客様の声。 モデルにレビューやお客様の言葉を書かせてはいけません。作り話であるだけでなく、偽のレビューは英国ではDigital Markets, Competition and Consumers Act 2024(2024年デジタル市場・競争・消費者法)で違法です。
• 数字の翻訳。 モデルが文書を翻訳すると、数字がずれることがあります。翻訳版のすべての数字を原文と照らし合わせてください。

AIエージェントは問題をどう変えるか

チャットボットは答えを出し、確認はあなたに任せます。エージェントは仕事の一部として確認の一部を行えます。選ぶときに仕組みが重要なのはそのためです。

• 情報源を示します。 ブラウザで調べるエージェントは読んだページを返すので、確認1は検索ではなくクリック1回になります。Jobbit Researchは、作成するレポートのすべての発見事項に情報源を添付します。
• 目の前で見られるブラウザで動きます。 エージェントがページを開けば、そのページが見えます。レポートの数字は、もとの画面までたどれます。
• あなたの文書をもとに動きます。 Jobbitのプロジェクトに契約書やスプレッドシートを添付すれば、エージェントはそのファイルから、該当の行を引用して答えます。確認4が標準で行われます。
• 計算は文章ではなくスプレッドシートで行います。 キャッシュフロー予測を頼めば、エージェントはシートを作り、数式を示します。計算は再現できます。
• 支払いや送信の前に確認します。 メールを送る前に承認を求めて止まるエージェントは、確認7に最初から歯止めを組み込んでくれます。
• 回答を控えるよう指示できます。 「確実でないときはそう言い、確認すべき点を挙げて」といったプロジェクト指示はすべてのチャットに適用されるので、確認5は一度設定すれば済みます。

ChatGPT、Claude、Gemini、Microsoft Copilot、Manus、MetaのMuseはいずれも文章の下書きが得意で、いくつかは今では検索して出典も示します。そのどれにもなくせないのが人による最終確認であり、Jobbitも同じです。Jobbitが加えるのは人のネットワークです。リース契約、確定申告、医療請求のような仕事では、夜の11時にあなたが確認する代わりに、同じ注文の中でエージェントが審査済みの専門家に確認を引き継げます。

今週の計画

• 月曜日:ルールを1つ書く。「お客様、HMRC、銀行、裁判所に出すものは、名前のある人が事実を確認するまで下書き」。AIポリシーとプロジェクト指示に入れましょう。
• 火曜日:回答を控える一文を足す。 使っているすべての道具の常設指示に「確実でなければそう言って、何を確認すべきか教えて」と入れます。
• 水曜日:先週の出力で確認1を実行する。 使ったAI作成の文書を直近3件選び、すべての参考文献を開きます。失敗したものを数えましょう。
• 木曜日:1つの仕事を根拠のある方式に移す。 誤りの代償が最も大きい作業を選び、本物の文書を添付して、引用した行を必須にします。
• 金曜日:確認なしでは出さないものを決める。 価格、法律の表現、健康に関する主張、お客様の声などのリストを作り、事業でAIを使う全員と共有します。

あわせて読みたい

• Is AI Safe to Use? A Plain-English Guide to Your Data, Your Money and the Scams to Watch
• 12 Mistakes Beginners Make With AI Agents, and the Quick Fix for Each One
• How Do AI Agents Work? The 5-Step Loop Behind Every Task, Explained Simply

よくある質問

AIはなぜ嘘をつくのですか。

言語モデルは事実を確認するのではなく、最も確率の高い次の言葉を生成するからです。そして、モデルの訓練と順位付けに使われるテストが、不確かさを認めることよりも自信のある推測を評価するからです。OpenAI自身の研究者は2025年に、その結果を「自信過剰でもっともらしい虚偽」と表現しました。流暢さと正確さは同じ過程から生まれるため、間違った答えも正しい答えとまったく同じように読めます。

AIのハルシネーションとは何ですか。

流暢でもっともらしいのに誤っている回答です。実在しない判例、どの調査にもない統計、誰も言っていない引用、存在しない製品などです。不具合ではなく、知らないことを聞かれたモデルの通常の振る舞いです。

ChatGPTはどのくらいの頻度で嘘をつきますか。

作業によります。2026年10月に確認した公開の根拠付けテストでは、情報源を与えても、主要なモデルは文書要約のおよそ4%から15%で内容を作り出しました。外科と法律の引用を調べた研究では、最も悪いものの捏造率は17%から34%でした。安全な前提は「すべての名前、数字、日付、引用を確認するのが妥当な頻度」です。

AIのハルシネーションを完全に防げますか。

いいえ。情報源の文書を渡す、引用を求める、「わかりません」を許す、情報源を示すエージェントを使う、といった対策はどれも発生率を下げますが、Anthropic自身のドキュメントもこれらの対策は「完全になくすものではありません」と述べています。大切なことの最終確認は人が行います。

AIのハルシネーションで罰金を科された人はいますか。

はい。ニューヨークの裁判所は2023年に、準備書面の偽の判例に対して5,000ドルの制裁金を科しました。ロンドンのHigh Courtは2025年6月に、捏造された引用は法廷侮辱の手続きや警察への付託につながり得ると警告しました。Deloitte Australiaは、報告書に捏造された参考文献が見つかったため、2025年10月に44万豪ドルの政府契約の最終回の支払いを返還しました。

AIエージェントはチャットボットより信頼できますか。

ブラウザで調べ、情報源を示し、あなたの文書をもとに動くエージェントなら、確認が速くなり、誤りもたどりやすくなります。ただし、お金、法律、健康に関わるものは、やはり人の承認が必要です。Jobbitのエージェントは、作業中にブラウザと情報源を見せ、仕事に必要なときは最終確認を審査済みの専門家に渡せます。