AI는 참 똑똑하고 유용하지만, 만능은 아니다라는 점을 항상 명심해야 합니다. 이번 글에서는 AI가 흔히 저지르는 한계와 오류들을 쉬운 비유로 풀어보고, 왜 그런 일이 생기는지 알아보겠습니다.

AI는 왜 거짓말을 할까 (환각 현상)

ChatGPT 같은 AI와 대화하다 보면, 그럴듯하게 말하면서 사실과 다른 엉터리 대답을 할 때가 있습니다. 이를 두고 흔히 환각(hallucination) 또는 AI 거짓말이라고 해요.

그런데 이건 AI가 의도적으로 속이려고 하는 게 아니라, 모델의 작동 방식상 어쩔 수 없이 나오는 현상입니다. 한 마디로, "모르면 모른다고 안 하고 그럴싸하게 지어내는" 거죠.

왜 그럴까요?

지금의 거대 언어 모델(LLM)은 사람처럼 사실을 판단하는 게 아니라, 주어진 문맥에서 다음에 올 말의 확률이 가장 높은 단어를 연결해가는 식으로 작동합니다.

그러다 보니 지식이 빈칸으로 비어있는 부분도 멈추지 않고 그럴듯한 말로 채워버립니다.

제가 "1875년에 대한민국 대통령은 누구였어?" 라고 묻는다면, 사실 대한민국은 그때 없었으니 정답은 존재하지 않죠. 사람이라면 "없었어"라고 하겠지만, AI는 그런 개념을 정확히 모르니 꾸며서 대답할 수 있다는 겁니다.

"당시에 대통령은 왕정 시기였기 때문에 존재하지 않습니다."처럼 맞는 듯 틀린 말을 할 수도 있고요.

AI는 백과사전보다는 똑똑한 앵무새에 가깝습니다. 수많은 문장을 읽고 흉내 내는 데 능하지만, 그 내용이 진짜 사실인지는 판단할 능력이 없어요.

항상 답을 해야 하는 시험지 채우기 모드라, 모르는 것도 답안을 써내려가는 거죠. 사람도 모를 때 괜히 아는 척하며 잘못 말하는 경우가 있는데, AI도 비슷한 인간스러운 실수를 하는 셈입니다.

이 환각 문제를 완화하기 위해 연구자들이 노력 중입니다. 예를 들어:

"모르면 모른다고 말하게 하자"
근거 출처를 요구하는 프롬프트를 주어서 AI가 아무 말 못 하게 하는 방법 등이 있어요. 하지만 근본적으로는 현재 AI 구조상 완전히 없애긴 어렵다는 게 중론입니다.

결국 최종 판단은 인간이 해야 한다는 거죠. 우리가 AI에게 자료 요약을 시키든, 조언을 구하든, 검증과 책임은 우리 몫입니다.

그러니 AI의 답변을 곧이곧대로 받아들이기보다는, "똑똑한 조수의 제안" 정도로 생각하고 중요할수록 두 번 세 번 확인하는 습관이 필요합니다.

핵심 포인트

AI는 모를 때도 그럴듯한 답변을 만들어낸다 (환각 현상)

이는 AI의 작동 방식상 확률 기반으로 단어를 연결하기 때문

현재 기술로는 완전히 제거하기 어려움

사용자가 항상 검증하고 최종 판단해야 함

AI를 똑똑한 조수로 활용하되, 중요한 결정은 반드시 사람이 확인하세요!