AI가 말을 지어내는 이유: 환각을 잡아내는 7가지 점검법

AI가 말을 지어내는 이유는 언어 모델이 사실 여부를 확인하는 것이 아니라 가장 그럴듯한 다음 단어를 만들어 내도록 설계되었기 때문이며, 모델을 훈련하고 평가하는 방식이 솔직한 "모르겠습니다"보다 자신 있는 추측에 보상을 주기 때문입니다. 이 가이드는 그 원리를 쉬운 말로 설명하고, 최신 모델에서 얼마나 자주 일어나는지, 세 회사가 치른 대가는 무엇인지, 그리고 이를 잡아내는 7가지 점검법을 안내합니다.

한 번쯤 겪어 보셨을 것입니다. 존재하지 않는 규정을 인용하고, 어떤 설문조사에도 없던 통계를 말하고, 찾을 수 없는 공급업체 이름을 내놓는 챗봇 말입니다. 이를 환각(hallucination)이라고 하며, 다음 업데이트로 사라질 버그가 아닙니다. OpenAI의 연구진은 2025년 9월에 모델이 "자신만만하지만 그럴듯한 거짓"을 내놓는 이유는 훈련과 평가가 "불확실함을 인정하기보다 추측하는 쪽에 보상을 주기" 때문이라고 썼습니다. AI가 왜 말을 지어내는지 이해하면 일주일에 하루를 아껴 주는 도구와, 고객이나 은행이나 법원 앞에 가짜 수치를 내놓게 만드는 도구를 구분할 수 있습니다.

아래는 바쁜 사업주에게 필요한 설명이며, 컴퓨터 과학 강의가 아닙니다. 기계가 실제로 어떻게 작동하는지, 오류가 어디에 몰리는지, 청구서까지 붙은 실제 사례 세 가지, 개발사들이 직접 하는 말, 그리고 7가지 점검법을 다룹니다. 마지막 부분에서는 출처와 브라우저를 보여 주는 AI 에이전트가 문제를 어떻게 바꾸는지, 그래도 대신해 줄 수 없는 것은 무엇인지 설명합니다.

이 가이드를 어떻게 검증했나

1. 원리 설명은 1차 자료만 사용했습니다. 2025년 9월 4일의 OpenAI 연구 논문과, 개발사의 말을 인용한 규제 기관 성명입니다.
2. 공개 리더보드의 측정 비율은 2026년 10월 22일에 확인했고 측정 방법을 함께 밝혔습니다. 방법 없는 환각 비율은 그 자체로 일종의 환각이기 때문입니다.
3. 세 사례는 뉴스 요약이 아니라 법원 및 정부 기록을 기준으로 했습니다.
4. ChatGPT와 Claude가 자신의 한계에 대해 하는 말은 개발사의 도움말 페이지를 기준으로 했습니다.
5. 검색창 외에 아무 도구 없이 비전문가가 1분 안에 실행할 수 있는 점검법만 골랐습니다.

환각이란 무엇이고 왜 생기는가

대규모 언어 모델은 주어진 텍스트 다음에 올 가능성이 가장 높은 텍스트를 예측하는 방식으로 작동합니다. 영국 Solicitors Regulation Authority(SRA, 사무변호사 규제 기관)는 2023년 11월 법조계에 경고하면서 이렇게 분명히 말했습니다. 이 도구들은 "입력된 내용 다음에 와야 할 텍스트를 예상하는 방식으로 작동하며, '현실'이라는 개념이 없다"는 것입니다. 주장을 뒷받침하는 판례를 요청하면 모델은 판례처럼 생긴 것을 만들어 냅니다. 그럴듯한 이름, 그럴듯한 연도, 그럴듯한 인용문입니다. 모델 안에는 그 판례가 실재하는지 확인하는 장치가 없습니다. 애초에 그렇게 만들어지지 않았기 때문입니다.

두 번째 원인은 모델의 점수를 매기는 방식입니다. OpenAI 연구진 네 명은 2025년 9월 논문 "Why language models hallucinate"에서, 표준 평가는 자신 있는 답에 보상을 주고 불확실함을 인정하는 데에는 아무 점수도 주지 않으므로 "이진 채점 아래에서는 답을 보류하는 것이 엄밀히 최선이 아니다"라고 밝혔습니다. 추측하는 모델은 모른다고 말하는 모델보다 더 많은 점수를 받습니다. 객관식 시험에서 찍는 학생이 빈칸으로 두는 학생을 이기는 것과 같습니다. 추측하는 습관은 학습된 것이고, 이기기 때문에 학습됩니다.

OpenAI가 논문과 함께 공개한 수치는 이 맞바꿈을 눈에 보이게 해 줍니다. 한 사실 기반 벤치마크에서 답을 보류하도록 조정된 모델은 질문의 52%에 답하지 않았고, 22%를 맞히고 26%를 틀렸습니다. 거의 보류하지 않은 이전 모델은 24%를 맞히고 75%를 틀렸습니다. 오답이 줄어든 것은 더 많이 알아서가 아니라 "모르겠습니다"가 늘어서였습니다. 이것이 표 하나에 담긴 전체 이야기이며, 아래 점검법이 "아니라고 말해도 된다"는 허락에서 시작하는 이유입니다.

2026년에는 얼마나 자주 일어나는가

솔직한 답은 "항상 확인해야 할 만큼 자주"입니다. 2026년 10월 22일에 업데이트된 Vectara의 환각 리더보드는 모델을 한 가지 좁은 과제로 평가합니다. 주어진 문서를 요약하게 한 뒤, 요약에 문서에 없는 내용이 얼마나 자주 들어 있는지 세는 것입니다. 사실이 눈앞에 있는데도 주요 모델들은 측정 가능한 비율의 요약에서 내용을 지어냈습니다.

눈에 띄는 점이 두 가지 있습니다. 더 새롭고 더 크다고 해서 더 안전한 것은 아닙니다. 2025년 8월의 GPT-5 구성은 이 테스트에서 1년 앞선 GPT-4o보다 나쁜 점수를 받았습니다. 또한 이 수치는 출처가 주어진 상태의 근거 기반 수치이며, 모델이 기억에서 사실을 떠올려야 할 때는 비율이 더 높아집니다.

전문 분야 연구도 같은 결론입니다. Royal College of Surgeons of England의 Annals에 글을 쓴 연구자들은 2026년 4월, 수술 관련 질문에 대한 챗봇 답변 108건과 참고문헌 1,249건을 조사한 결과 최악의 모델들이 인용의 25%에서 34%를 조작했거나 뒷받침하지 못한 반면 최고의 모델은 하나도 없었다고 보고했습니다. 2026년 5월의 The Lancet 서신은 PubMed의 최근 논문 약 277편 중 1편에 조작된 참고문헌이 있었고, 2023년에는 2,828편 중 1편이었다고 보고했습니다. Stanford의 연구는 검색 기능을 쓰는 법률 조사 도구도 17%에서 33%의 확률로 여전히 환각을 일으킨다는 것을 밝혔습니다. 검색은 도움이 되지만 문제를 끝내지는 못합니다.

어떤 대가를 치렀나: 세 가지 사례

뉴욕, 2023년 6월. Mata v Avianca 사건에서 변호사 두 명이 ChatGPT가 만들어 낸, 존재하지 않는 판례가 담긴 준비서면을 제출했고, 법원은 5,000달러의 제재금을 부과했습니다. 널리 보도된 첫 사례였으며, 지금은 변호사 Damien Charlotin이 운영하는 공개 데이터베이스에 기록된, AI가 조작한 인용이 얽힌 전 세계 2,200건 이상의 법원 판단 중 하나입니다.

런던, 2025년 6월. Ayinde v Haringey와 Al-Haroun v Qatar National Bank 사건에서 High Court는 두 건을 한꺼번에 다뤘습니다. 한 서면은 존재하지 않는 판례 5건을 인용했고, 다른 서면은 45건의 전거를 인용했는데 그중 18건이 지어낸 것이었습니다. King's Bench Division의 재판장은 생성형 도구가 "신뢰할 수 있는 법률 조사를 수행할 능력이 없으며" "존재하지 않는 출처를 인용할 수 있다"고 썼고, 변호사에게는 "그러한 조사를 권위 있는 출처와 대조하여 정확성을 확인할" 직업적 의무가 있으며, 이를 어기면 법정모욕 절차와 경찰 회부로 이어질 수 있다고 밝혔습니다. 그 후 Solicitors Regulation Authority는 "허구의 판례, 참고문헌 또는 사실처럼 보이는 주장"을 명시한 경고 통지(2026년 8월 17일)를 내고, 사무변호사가 결과물에 대해 계속 책임을 진다고 상기시켰습니다.

캔버라, 2025년 10월. Deloitte Australia는 AU$440,000 규모의 계약에 따라 정부 부처에 보고서를 납품했습니다. 이 보고서에는 법원 판결에서 나온 것으로 표기된 조작된 인용문과 존재하지 않는 학술 논문에 대한 참고문헌이 들어 있었습니다. 이 회사는 2025년 10월 3일 수정본을 공개했고, Azure OpenAI 모델이 사용되었다는 사실을 처음으로 밝혔으며, 마지막 잔금 약 AU$98,000을 반환했습니다. 검토 절차를 갖춘 대형 전문 기업이 한 작업이었습니다. 그런데도 조작은 통과했습니다. 아무도 참고문헌을 열어 보지 않았기 때문입니다.

이들 중 부주의한 아마추어는 없었습니다. 유창한 결과물을 확인된 결과물로 여긴 바쁜 전문가들이었습니다. 피해야 할 실수는 바로 그것이고, 피할 수 있는 실수입니다.

개발사들이 직접 하는 말

Anthropic의 Claude 문서는 모델이 "모르겠습니다"라고 말하게 허용하기, 답하기 전에 인용하게 하기, 제공된 문서로만 답하게 제한하기 같은 표준 완화책을 나열한 뒤 이런 조치가 환각을 "완전히 없애지는 못합니다. 중요한 정보는 항상 검증하십시오"라고 덧붙입니다. 2026년 3월에 업데이트된 잘못된 답변에 관한 지원 문서는 Claude가 "때때로 부정확하거나 오해를 부르는 답변을 내놓을 수 있으며" "유일한 진실의 원천"으로 의존해서는 안 된다고 분명히 말합니다. ChatGPT가 진실을 말하는지를 다룬 OpenAI의 도움말 페이지도 같은 내용입니다. 인용을 조작할 수 있으니 검증하라는 것입니다. ICO는 2024년 생성형 AI 관련 작업에서 정확한 훈련 데이터가 있어도 모델이 거짓 진술을 내놓는 것을 "막지 못한다"고 지적했고, FCA의 2026년 10월 금융 서비스 AI 검토는 어떤 도구가 만들었든 기업이 "소비자 결과에 대한 책임을 계속 진다"고 되풀이합니다.

종합하면 이 도구를 만들고 규제하는 사람들의 메시지는 일관됩니다. 사용하되 확인하라는 것입니다.

환각을 잡아내는 7가지 점검법

1. 출처를 요청하고 직접 열어 보기

모델은 요청하면 기꺼이 참고문헌을 만들어 냅니다. 시험대는 그 참고문헌이 열리는지, 모델이 말한 대로 쓰여 있는지입니다. Deloitte 보고서에는 참고문헌이 있었습니다. 아무도 열어 보지 않았을 뿐입니다. 링크가 죽어 있거나, 논문이 존재하지 않거나, 페이지 내용이 다르다면 그 줄만이 아니라 답 전체를 의심해야 합니다.

2. 이름, 숫자, 날짜, 인용문을 하나씩 검증하기

조작은 이 네 범주에 몰립니다. 문맥만으로 예측하기 어려운 문장 성분이기 때문입니다. 인용문은 가장 확인하기 쉽습니다. 따옴표로 묶어 검색 엔진에 붙여 넣으면 됩니다. 통계는 표본과 날짜가 있는 설문으로 이어져야 합니다. 이 가이드가 Royal College of Surgeons 연구와 그 참고문헌 1,249건을 밝힌 것과 같습니다.

3. 두 번 묻거나 다른 모델에 묻기

표현을 바꿔도 유지되는 사실은 진짜일 가능성이 더 높습니다. 같은 질문을 다른 표현으로 묻거나 두 번째 제품에 붙여 넣어 보십시오(ChatGPT, Claude, Gemini, Microsoft Copilot, Manus, Meta의 Muse는 같은 프롬프트에도 모두 다르게 반응합니다). 두 모델이 일치한다고 증거가 되는 것은 아니지만, 두 모델이 엇갈리면 확인하라는 믿을 만한 신호입니다.

4. 문서를 주고 그 안으로 가두기

위의 리더보드 수치는 출처가 주어진 최선의 경우이며, 기억에 의존하면 더 나빠집니다. 그러니 출처를 주십시오. 계약서, 스프레드시트, 규정을 첨부하고, 거기서만 답하고 사용한 줄을 인용하라고 지시한 다음 그 인용문을 읽어 보십시오. 한 줄도 인용하지 못한다면 그 답은 문서에서 나온 것이 아닙니다.

5. "모르겠습니다"라고 말할 허락 주기

훈련이 추측에 보상을 주기 때문에 프롬프트에서 채점 방식을 바꿔야 합니다. "확실하지 않으면 그렇게 말하고, 무엇을 확인해야 하는지 알려 주세요"는 이 가이드에서 가장 효과적인 한 문장입니다. OpenAI의 표에 나온 답을 보류하는 모델을 글로 옮긴 것이며, 비용은 들지 않습니다.

6. 계산을 다시 하기

언어 모델은 텍스트를 예측할 뿐, 코드를 실행하지 않는 한 계산하지 않습니다. 한 줄이 어긋난 합계, 잘못된 기준에 대한 백분율, 1년 틀린 날짜는 주변 문장이 맞기 때문에 맞아 보입니다. 열은 직접 합산하거나, 스프레드시트에서 계산을 실행하고 그 과정을 보여 주는 에이전트에 맡기십시오.

7. 돈, 법, 건강, 평판은 초안으로 취급하기

런던의 변호사들과 캔버라의 컨설턴트들은 지능이 부족했던 것이 아니라 규칙이 없었습니다. 그 규칙은 고객, 규제 기관, 대출 기관, 법원에 닿는 모든 것은 지정된 사람이 그 안의 사실을 확인하기 전까지는 초안이라는 것입니다. 이 규칙을 문서로 남기십시오. 소규모 사업을 위한 AI 정책: 무료 템플릿의 AI 정책이 한 페이지짜리 버전을 제공합니다.

소규모 사업이 가장 많이 걸리는 곳

• 견적과 산출서. "일반적인 가격"을 물으면 모델은 일반적인 가격을 지어냅니다. 직접 작성한 요금표나 가격이 표시된 출처를 사용하십시오.
• 법률 및 세금 문구. 기준액, 날짜, 벌칙은 매년 4월에 바뀌는데 모델의 기억은 2년 전 것일 수 있습니다. GOV.UK를 확인하십시오.
• 공급업체 및 제품 정보. 모델 번호, 호환성, 사양은 조밀하고 예측하기 어려운 텍스트라서 바로 조작되기 쉬운 부분입니다.
• 리뷰와 추천사. 모델에게 리뷰나 고객 인용문을 쓰게 하지 마십시오. 지어낸 것이라는 문제를 넘어, 가짜 리뷰는 영국에서 Digital Markets, Competition and Consumers Act 2024에 따라 불법입니다.
• 수치의 번역. 모델이 문서를 번역할 때 숫자가 바뀔 수 있습니다. 번역본의 모든 수치를 원본과 대조하십시오.

AI 에이전트가 문제를 바꾸는 방식

챗봇은 답을 주고 확인은 당신에게 맡깁니다. 에이전트는 작업의 일부로 확인의 일부를 해 줄 수 있으며, 그래서 에이전트를 고를 때 작동 방식이 중요합니다.

• 출처를 보여 줍니다. 브라우징하는 에이전트는 읽은 페이지를 돌려주므로 점검 1이 검색이 아니라 클릭 한 번이 됩니다. Jobbit Research는 작성하는 보고서의 모든 발견에 출처를 붙입니다.
• 직접 지켜볼 수 있는 브라우저에서 실행됩니다. 에이전트가 페이지를 열면 그 페이지가 보입니다. 보고서의 수치를 그것이 나온 화면까지 추적할 수 있습니다.
• 당신의 문서를 기반으로 작업합니다. Jobbit 프로젝트에 계약서나 스프레드시트를 첨부하면 에이전트가 해당 줄을 인용하며 파일에서 답합니다. 점검 4가 기본으로 이루어지는 셈입니다.
• 계산을 글이 아니라 스프레드시트에서 합니다. 현금흐름 예측을 요청하면 에이전트가 시트를 만들고 수식을 보여 주므로 산술을 다시 재현할 수 있습니다.
• 돈을 쓰거나 보내기 전에 묻습니다. 이메일이 나가기 전에 승인을 기다리는 에이전트는 점검 7에 내장된 정지 장치를 줍니다.
• 답을 보류하도록 지시할 수 있습니다. "확실하지 않을 때는 말하고 확인할 항목을 나열하라"는 프로젝트 지침은 모든 채팅에 적용되므로 점검 5는 한 번만 설정하면 됩니다.

ChatGPT, Claude, Gemini, Microsoft Copilot, Manus, Meta의 Muse는 모두 초안을 잘 쓰고, 이제 여럿은 브라우징하고 출처를 인용합니다. 그 어느 것도 없애 주지 못하는 것은 사람의 최종 확인이며, Jobbit도 마찬가지입니다. Jobbit이 더하는 것은 사람의 네트워크입니다. 임대차 계약, 세금 신고, 의료 청구 같은 일이라면 에이전트가 밤 11시의 당신이 아니라 같은 주문 안에서 검증된 전문가에게 확인을 넘길 수 있습니다.

이번 주 실행 계획

• 월요일: 한 가지 규칙을 적습니다. "고객, HMRC, 은행, 법원에 가는 모든 것은 지정된 사람이 사실을 확인하기 전까지는 초안이다." AI 정책과 프로젝트 지침에 넣으십시오.
• 화요일: 보류 문장을 추가합니다. 사용하는 모든 도구의 상시 지침에 "확실하지 않으면 그렇게 말하고, 무엇을 확인해야 하는지 알려 주세요"를 넣으십시오.
• 수요일: 지난주 결과물에 점검 1을 실행합니다. 최근에 사용한 AI 작성 문서 세 개를 골라 모든 참고문헌을 열어 보십시오. 실패하는 것의 수를 세어 보십시오.
• 목요일: 한 가지 작업을 근거 기반 방식으로 옮깁니다. 오류가 가장 큰 비용을 부르는 작업을 골라 실제 문서를 첨부하고 인용한 줄을 요구하십시오.
• 금요일: 확인 없이는 절대 내보내지 않을 것을 정합니다. 목록(가격, 법률 문구, 건강 관련 주장, 고객 인용문)을 만들어 사업에서 AI를 쓰는 모든 사람과 공유하십시오.

다음에 읽을 글

• AI는 사용해도 안전한가요? 데이터, 돈, 조심해야 할 사기에 대한 쉬운 가이드
• 초보자가 AI 에이전트에서 저지르는 12가지 실수와 각각의 빠른 해결법
• AI 에이전트는 어떻게 작동할까요? 모든 작업 뒤에 있는 5단계 루프를 쉽게 설명합니다

자주 묻는 질문

AI는 왜 말을 지어내나요?

언어 모델은 사실을 확인하는 것이 아니라 가장 확률이 높은 다음 단어를 생성하기 때문이며, 모델을 훈련하고 순위를 매기는 데 쓰이는 평가가 불확실함의 인정보다 자신 있는 추측에 보상을 주기 때문입니다. OpenAI의 연구진은 2025년에 그 결과를 "자신만만하지만 그럴듯한 거짓"이라고 표현했습니다. 유창함과 정확성은 같은 과정에서 만들어지므로 틀린 답도 맞은 답과 똑같이 읽힙니다.

AI 환각이란 무엇인가요?

유창하고 그럴듯하지만 거짓인 답입니다. 지어낸 판례, 어떤 설문도 만들지 않은 통계, 아무도 하지 않은 말의 인용, 존재하지 않는 제품 같은 것입니다. 오류가 아니라, 모르는 것을 요청받은 모델의 정상적인 동작입니다.

ChatGPT는 얼마나 자주 말을 지어내나요?

과제에 따라 다릅니다. 2026년 10월에 확인한 공개 근거 기반 테스트에서 주요 모델은 출처가 주어졌는데도 문서 요약의 약 4%에서 15%에서 내용을 지어냈습니다. 수술과 법률 분야 인용을 조사한 연구에서는 최악의 모델의 조작 비율이 17%에서 34%였습니다. 안전한 가정은 "모든 이름, 숫자, 날짜, 인용문을 확인해야 할 만큼 자주"입니다.

AI 환각을 완전히 막을 수 있나요?

아니요. 출처 문서를 제공하고, 인용을 요구하고, "모르겠습니다"를 허용하고, 출처를 보여 주는 에이전트를 쓰면 모두 비율을 낮춰 주며, Anthropic의 문서도 이런 조치가 환각을 "완전히 없애지는 못한다"고 말합니다. 중요한 일의 최종 확인은 사람이 합니다.

AI 환각으로 벌금을 낸 사람이 있나요?

네. 뉴욕 법원은 2023년 서면에 가짜 판례를 넣은 것에 대해 5,000달러의 제재금을 부과했습니다. 런던의 High Court는 2025년 6월 조작된 인용이 법정모욕 절차와 경찰 회부로 이어질 수 있다고 경고했습니다. Deloitte Australia는 보고서에 지어낸 참고문헌이 있는 것이 드러난 뒤 2025년 10월 AU$440,000 규모 정부 계약의 마지막 잔금을 반환했습니다.

AI 에이전트가 챗봇보다 더 믿을 만한가요?

브라우징하고, 출처를 인용하고, 당신의 문서를 기반으로 작업하는 에이전트는 점검을 더 빠르게 하고 오류를 더 쉽게 추적하게 해 주지만, 돈이나 법이나 건강에 영향을 주는 것은 여전히 사람이 승인해야 합니다. Jobbit의 에이전트는 작업하는 동안 브라우저와 출처를 보여 주며, 필요한 일이면 최종 확인을 검증된 전문가에게 넘길 수 있습니다.