Почему ИИ выдумывает факты: 7 проверок против галлюцинаций

ИИ выдумывает факты, потому что языковая модель создана выдавать наиболее вероятные следующие слова, а не проверять их истинность, и потому что способ обучения и оценки моделей поощряет уверенную догадку больше, чем честное «не знаю». В этом руководстве простыми словами объясняется механизм, как часто это случается у современных моделей, во что это обошлось трём компаниям и какие семь проверок это ловят.

Вы это видели: чат-бот ссылается на несуществующий нормативный акт, цитирует статистику, которой не публиковал ни один опрос, или называет поставщика, которого невозможно найти. Это называется галлюцинацией, и это не ошибка, которую уберёт следующее обновление. Исследователи OpenAI написали в сентябре 2025 года, что модели выдают «overconfident, plausible falsehoods» (чрезмерно уверенную правдоподобную ложь), потому что их обучение и оценка «reward guessing over acknowledging uncertainty» (поощряют догадки, а не признание неопределённости). Понимание того, почему ИИ выдумывает факты, отличает инструмент, который экономит вам день в неделю, от инструмента, который кладёт перед клиентом, банком или судом фальшивую цифру.

Дальше то объяснение, которое нужно занятому владельцу бизнеса, а не лекция по информатике: как машина работает на самом деле, где ошибки скапливаются, три реальных случая с указанием цены, что говорят сами разработчики и семь проверок. Последний раздел о том, как ИИ-агент, который показывает свои источники и свой браузер, меняет задачу и чего он всё равно не сделает за вас.

Как мы проверяли это руководство

1. Только первичные источники для механизма: исследовательская работа OpenAI от 4 сентября 2025 года и заявления регуляторов, цитирующие разработчиков.
2. Измеренные показатели из публичного рейтинга, считанные 22 октября 2026 года, с указанием метода, потому что показатель галлюцинаций без метода сам по себе вид галлюцинации.
3. Судебные и государственные документы для трёх случаев, а не пересказы в новостях.
4. Справочные страницы самих разработчиков о том, что ChatGPT и Claude говорят о своих ограничениях.
5. Проверки, которые под силу нетехническому человеку меньше чем за минуту и без каких-либо инструментов, кроме строки поиска.

Что такое галлюцинация и почему она возникает

Большая языковая модель предсказывает текст, который с наибольшей вероятностью последует за полученным текстом. Когда Solicitors Regulation Authority (SRA, регулятор солиситоров в Англии и Уэльсе) в ноябре 2023 года предупреждала юридическую профессию, она сформулировала это прямо: такие инструменты «work by anticipating the text that should follow the input they are given, but do not have a concept of 'reality'» (работают, предугадывая текст, который должен следовать за введённым, но не имеют понятия «реальности»). Попросите дело в поддержку вашей позиции, и модель создаст нечто, похожее на судебное дело: правдоподобное название, правдоподобный год, правдоподобную цитату. Внутри нет ничего, что проверяло бы существование дела, потому что ничего такого туда не закладывали.

Вторая причина в том, как оцениваются модели. В статье «Why language models hallucinate» (сентябрь 2025 года) четверо исследователей OpenAI показали, что стандартные тесты награждают уверенный ответ и ничего не дают за признание неопределённости, поэтому «under binary grading, abstaining is strictly sub-optimal» (при бинарной оценке воздержание строго невыгодно). Модель, которая гадает, получает больше баллов, чем модель, которая говорит, что не знает, так же как студент, угадывающий на экзамене с вариантами ответа, обходит того, кто оставил вопрос пустым. Привычка гадать выучивается, и выучивается потому, что выигрывает.

Цифры, которые OpenAI опубликовала вместе со статьёй, делают этот компромисс наглядным. В одном тесте на фактологию модель, настроенная воздерживаться, отказалась отвечать на 52% вопросов, дала 22% верных и 26% неверных ответов; более ранняя модель, которая почти никогда не воздерживалась, дала 24% верных и 75% неверных. Меньше неверных ответов получилось за счёт большего числа «не знаю», а не за счёт больших знаний. В этом вся история в одной таблице, и поэтому проверки ниже начинаются с разрешения сказать «нет».

Как часто это бывает в 2026 году

Честный ответ: достаточно часто, чтобы проверять всегда. Рейтинг галлюцинаций Vectara, обновлённый 22 октября 2026 года, оценивает модели по одной узкой задаче: пересказать выданный им документ и посчитать, как часто в пересказе есть то, чего в документе нет. Даже когда факты лежат перед глазами, популярные модели выдумывали материал в измеримой доле пересказов.

Заметны две вещи. Новее и крупнее не значит безопаснее: конфигурация GPT-5 от августа 2025 года в этом тесте оказалась хуже GPT-4o, которой на год больше. И это показатели с заданным источником; когда модели приходится вспоминать факты по памяти, доля ошибок выше.

Специализированные исследования с этим согласны. Авторы, публиковавшиеся в Annals of the Royal College of Surgeons of England, сообщили в апреле 2026 года, что среди 108 ответов чат-ботов на хирургические вопросы, содержавших 1,249 ссылок, худшие модели выдумали или не смогли подтвердить от 25% до 34% своих цитат, а лучшие не допустили ни одной. В письме в The Lancet в мае 2026 года сообщалось, что примерно в одной из 277 недавних работ в PubMed есть выдуманные ссылки, против одной из 2,828 в 2023 году. Исследование Stanford юридических поисковых инструментов с извлечением данных показало, что они всё равно галлюцинировали от 17% до 33% случаев. Извлечение данных помогает, но задачу не закрывает.

Во что это обошлось: три случая

Нью-Йорк, июнь 2023 года. В деле Mata v Avianca двое юристов подали документ с несуществующими делами, сгенерированными ChatGPT, и суд наложил штраф в $5,000. Это был первый широко освещённый случай, а теперь он один из более чем 2,200 судебных решений в мире с выдуманными ИИ-цитатами, учтённых в публичной базе, которую ведёт юрист Damien Charlotin.

Лондон, июнь 2025 года. В делах Ayinde v Haringey и Al-Haroun v Qatar National Bank (дело против лондонского района и дело против банка) High Court рассмотрел два случая сразу: в одном документе названо пять несуществующих дел, в другом 45 источников, из которых 18 выдуманы. Председатель King's Bench Division написал, что генеративные инструменты «are not capable of conducting reliable legal research» (не способны вести надёжное юридическое исследование) и «may cite sources that do not exist» (могут ссылаться на несуществующие источники), что у юристов есть профессиональная обязанность «to check the accuracy of such research by reference to authoritative sources» (проверять точность такого исследования по авторитетным источникам), и что последствия отказа от неё могут включать производство об оскорблении суда и передачу дела в полицию. С тех пор Solicitors Regulation Authority выпустила предупредительное уведомление (17 августа 2026 года), в котором упомянуты «fictitious cases, references or seemingly factual assertions» (вымышленные дела, ссылки или якобы фактические утверждения), и напомнила солиситорам, что за результат отвечают они сами.

Канберра, октябрь 2025 года. Deloitte Australia передала государственному ведомству отчёт по контракту на AU$440,000. В нём была выдуманная цитата, приписанная судебному решению, и ссылки на несуществующие научные работы. Фирма опубликовала исправленную версию 3 октября 2025 года, впервые раскрыла, что использовалась модель Azure OpenAI, и вернула последний платёж примерно в AU$98,000. Работу выполнила крупная профессиональная фирма с процессом проверки. Выдумка всё равно прошла, потому что никто не открыл ссылки.

Никто из этих людей не был небрежным любителем. Это были занятые профессионалы, принявшие гладкий текст за проверенный. Этой ошибки нужно избегать, и это вполне возможно.

Что говорят сами разработчики

Документация Anthropic по Claude перечисляет стандартные меры, включая разрешение модели сказать «I don't know», просьбу процитировать перед ответом и ограничение предоставленными документами, а затем добавляет, что они «don't eliminate them entirely. Always validate critical information» (не устраняют проблему полностью, критически важную информацию всегда проверяйте). В справочной статье об ошибочных ответах, обновлённой в марте 2026 года, прямо сказано, что Claude «can occasionally produce responses that are incorrect or misleading» (иногда может давать неверные или вводящие в заблуждение ответы) и что на него нельзя полагаться как на «a singular source of truth» (единственный источник истины). Справка OpenAI о том, говорит ли ChatGPT правду, утверждает то же самое: он может выдумывать цитаты, поэтому проверяйте. ICO (Information Commissioner's Office, британский регулятор по защите данных) в работе 2024 года о генеративном ИИ отметил, что даже точные обучающие данные «will not stop» (не помешают) моделям выдавать ложные утверждения, а обзор FCA (Financial Conduct Authority, регулятор финансовых услуг) за октябрь 2026 года об ИИ в финансовых услугах повторяет, что фирмы «remain responsible for consumer outcomes» (остаются ответственными за результаты для потребителей), каким бы инструментом они ни пользовались.

В совокупности послание от тех, кто создаёт и регулирует эти инструменты, единое: пользуйтесь и проверяйте.

7 проверок, которые ловят галлюцинацию

1. Попросите источник и откройте его

Модель охотно выдаст ссылку по запросу; проверка в том, открывается ли ссылка и говорит ли она то, что утверждает модель. В отчёте Deloitte ссылки были. Никто их не открыл. Если ссылка не работает, работы не существует или страница говорит другое, подозрителен весь ответ, а не только эта строка.

2. Проверяйте по отдельности имена, числа, даты и цитаты

Именно в этих четырёх категориях выдумки концентрируются, потому что эти части предложения трудно предсказать из контекста. Цитату проверить проще всего: вставьте её в поисковик в кавычках. Статистика должна вести к опросу с выборкой и датой, так же как в этом руководстве названо исследование Royal College of Surgeons of England и его 1,249 ссылок.

3. Спросите дважды или спросите вторую модель

Факт, переживший перефразирование, с большей вероятностью является фактом. Задайте тот же вопрос другими словами или вставьте его во второй продукт (ChatGPT, Claude, Gemini, Microsoft Copilot, Manus и Muse от Meta ведут себя по-разному на один и тот же запрос). Согласие двух моделей не доказательство, а вот расхождение двух моделей надёжный сигнал проверять.

4. Дайте документ и ограничьте модель им

Показатели рейтинга выше это лучший случай, с заданным источником; по памяти получается хуже. Поэтому дайте источник. Приложите договор, таблицу или нормативный акт, скажите модели отвечать только по нему и цитировать использованную строку, и прочитайте цитату. Если она не может процитировать строку, ответ не из документа.

5. Разрешите сказать «не знаю»

Поскольку обучение поощряет догадки, оценку нужно изменить в самом запросе. «Если не уверен, так и скажи и объясни, что мне нужно проверить» это самая действенная фраза в этом руководстве; она письменный эквивалент воздерживающейся модели из таблицы OpenAI и ничего вам не стоит.

6. Пересчитайте

Языковые модели предсказывают текст; они не вычисляют, если не запускают код. Итог, не сходящийся на одну строку, процент от неверной базы, дата со сдвигом на год: всё это выглядит верно, потому что верно окружающее предложение. Сложите столбец сами или попросите агента, который выполняет расчёт в таблице и показывает его.

7. Считайте деньги, право, здоровье и репутацию черновиком

Юристам в Лондоне и консультантам в Канберре не недоставало ума, им недоставало правила. Правило такое: всё, что попадает к клиенту, регулятору, кредитору или в суд, остаётся черновиком, пока названный по имени человек не проверит содержащиеся в нём факты. Запишите это правило; одностраничный вариант есть в политике использования ИИ из статьи Политика использования ИИ для малого бизнеса: бесплатный шаблон.

Где малый бизнес попадается чаще всего

• Расценки и сметы. Если попросить у модели «типичные цены», она выдумает типичные цены. Пользуйтесь собственным прайсом или источником с ценами.
• Формулировки в праве и налогах. Пороги, даты и штрафы меняются каждый апрель; память модели может быть двухлетней давности. Проверяйте на GOV.UK.
• Данные о поставщиках и товарах. Номера моделей, совместимость и характеристики как раз тот плотный и трудно предсказуемый текст, который выдумывается.
• Отзывы и рекомендации. Никогда не позволяйте модели писать отзыв или цитату клиента. Помимо того, что они выдуманы, фальшивые отзывы в Великобритании незаконны по Digital Markets, Competition and Consumers Act 2024.
• Перевод цифр. Когда модель переводит документ, числа могут сдвинуться. Сверяйте каждую цифру в переводе с оригиналом.

Как ИИ-агент меняет задачу

Чат-бот выдаёт ответ и оставляет проверку вам. Агент может выполнять часть проверки как часть работы, поэтому при выборе важно понимать, как он устроен.

• Он показывает свои источники. Агент, который ищет в сети, возвращает прочитанные страницы, так что проверка 1 превращается в клик, а не в поиск. Jobbit Research прикладывает источники к каждому выводу в составляемом отчёте.
• Он работает в браузере, за которым можно наблюдать. Когда агент открывает страницу, вы видите страницу. Цифру в отчёте можно проследить до экрана, откуда она взята.
• Он работает по вашим документам. Приложите договор или таблицу в проекте Jobbit, и агент ответит по файлу, процитировав строку: это проверка 4, выполненная по умолчанию.
• Он считает в таблице, а не в тексте. Попросите прогноз денежного потока, и агент построит таблицу и покажет формулы; арифметика воспроизводима.
• Он спрашивает, прежде чем тратить или отправлять. Агент, который ждёт одобрения перед отправкой письма, даёт проверке 7 встроенную остановку.
• Ему можно велеть воздерживаться. Инструкции проекта вроде «говори, когда не уверен, и перечисляй, что проверить» действуют в каждом чате, так что проверка 5 настраивается один раз.

ChatGPT, Claude, Gemini, Microsoft Copilot, Manus и Muse от Meta хорошо пишут черновики, а некоторые теперь ещё и ищут в сети и ссылаются на источники. Чего не отменяет ни один из них, так это финальной проверки человеком, и Jobbit тоже. Jobbit добавляет сеть людей: когда задача касается аренды, налоговой декларации или медицинского требования, агент может передать проверку проверенному специалисту в рамках того же заказа, а не вам в одиннадцать вечера.

Ваш план на эту неделю

• Понедельник: запишите одно правило. «Всё, что уходит клиенту, в HMRC, банк или суд, остаётся черновиком, пока названный по имени человек не проверит факты». Внесите это в политику использования ИИ и в инструкции проектов.
• Вторник: добавьте строку о воздержании. Впишите «если не уверен, так и скажи и объясни, что проверить» в постоянные инструкции каждого инструмента.
• Среда: примените проверку 1 к прошлой неделе. Возьмите три последних документа, написанных ИИ, и откройте каждую ссылку. Посчитайте, сколько не прошло проверку.
• Четверг: переведите одну задачу в режим опоры на документы. Выберите задачу, где ошибки обходятся дороже всего, приложите настоящие документы и потребуйте цитировать строки.
• Пятница: решите, что никогда не уходит непроверенным. Составьте список (цены, юридические формулировки, заявления о здоровье, цитаты клиентов) и раздайте его всем, кто пользуется ИИ в вашем бизнесе.

Читайте дальше

• Безопасно ли пользоваться ИИ? Простое руководство о ваших данных, деньгах и мошенничестве, на которое стоит обратить внимание
• 12 ошибок новичков при работе с ИИ-агентами и быстрое исправление каждой
• Как работают ИИ-агенты? Пятишаговый цикл за каждой задачей простыми словами

Часто задаваемые вопросы

Почему ИИ выдумывает факты?

Потому что языковая модель генерирует наиболее вероятные следующие слова, а не проверяет факты, и потому что тесты, по которым обучают и ранжируют модели, поощряют уверенную догадку больше, чем признание неопределённости. Сами исследователи OpenAI описали результат в 2025 году как «overconfident, plausible falsehoods». Гладкость и точность создаются одним и тем же процессом, поэтому неверный ответ читается точно так же, как верный.

Что такое галлюцинация ИИ?

Ответ, который звучит гладко и правдоподобно, но ложен: выдуманное дело, статистика, которой не публиковал ни один опрос, цитата, которую никто не произносил, несуществующий товар. Это не сбой, а нормальное поведение модели, у которой спросили то, чего она не знает.

Как часто ChatGPT выдумывает?

Зависит от задачи. В публичном тесте с опорой на документ, считанном в октябре 2026 года, популярные модели выдумывали материал примерно от 4% до 15% пересказов, даже когда источник был предоставлен; исследования цитат в хирургии и праве показали долю выдумок от 17% до 34% у худших моделей. Безопасное допущение: «достаточно часто, чтобы проверять каждое имя, число, дату и цитату».

Можно ли полностью остановить галлюцинации ИИ?

Нет. Предоставление исходного документа, просьба о цитатах, разрешение сказать «не знаю» и использование агента, показывающего источники, снижают долю ошибок, а в документации Anthropic сказано, что эти меры «don't eliminate them entirely». Окончательная проверка всего важного остаётся за человеком.

Наказывали ли кого-нибудь за галлюцинации ИИ?

Да. Суд Нью-Йорка наложил штраф в $5,000 в 2023 году за выдуманные дела в документе; High Court в Лондоне в июне 2025 года предупредил, что выдуманные цитаты могут повлечь производство об оскорблении суда и передачу дела в полицию; а Deloitte Australia вернула последний платёж по правительственному контракту на AU$440,000 в октябре 2025 года, когда в её отчёте нашли выдуманные ссылки.

Надёжнее ли ИИ-агент, чем чат-бот?

Агент, который ищет в сети, указывает источники и работает по вашим документам, ускоряет проверки и облегчает поиск ошибок, но всё равно нуждается в человеке, который подпишет всё, что касается денег, права или здоровья. Агент Jobbit показывает свой браузер и свои источники по ходу работы и может передать финальную проверку проверенному специалисту, когда задача того требует.