토큰(Token)이란 무엇인가?

LLM을 이해하려면 먼저 토큰(token) 개념을 알아야 합니다. 컴퓨터에게 문장을 통째로 가르칠 수는 없기 때문에, 먼저 문장을 잘게 쪼개줘야 해요. 이 잘게 쪼갠 조각들이 바로 토큰입니다. 사람에게는 글자의 모음이나 한 단어가 의미 단위지만, AI 모델에게는 그보다 조금 작거나 큰 단위까지도 토큰이 될 수 있어요.

예를 들어 영어 문장 "Cats are cute"가 있다면 보통 ["Cats", "are", "cute"]처럼 단어별로 쪼개지겠지만, 때로는 "Cat", "s", "are", "cute"처럼 더 잘게 나누기도 합니다. 한글도 형태소나 자소 단위로 쪼개질 수 있죠. 토큰화의 방법은 모델마다 다르지만, 대체로 1토큰은 1~몇 글자 정도의 텍스트를 나타낸다고 볼 수 있어요.

토큰으로 쪼개두면 AI가 언어를 숫자로 변환하여 처리하기 쉬워지고, 희귀한 단어나 처음 보는 신조어도 작은 조각 조각으로 인식할 수 있게 됩니다. 간단히 말해 토큰 = 언어를 잘게 썬 퍼즐 조각이라고 할 수 있어요. LLM은 이 퍼즐 조각들의 연달아 나타나는 패턴을 배우고, 퍼즐을 새로 조립하듯이 문장을 만들어냅니다.

프롬프트(prompt)의 정체

요즘 ChatGPT 같은 서비스를 쓰다 보면 "프롬프트"라는 말을 자주 듣게 되죠. 프롬프트란 AI에게 건네는 질문이나 지시문을 뜻합니다. 우리가 챗봇에게 입력하는 모든 문장이 바로 프롬프트예요. 쉽게 말해, 사용자가 AI에게 원하는 바를 전달하는 메시지죠.

예를 들어 "오늘 날씨 알려줘"라고 묻는 것도 하나의 프롬프트이고, "다음 글을 영어로 번역해줘"처럼 조금 더 복잡한 요청도 프롬프트입니다. 프롬프트에는 질문, 명령, 문장 등 형식의 제한이 없으며, 심지어 몇 문단에 걸친 긴 설명이나 코드 조각도 프롬프트가 될 수 있어요.

중요한 것은 프롬프트를 어떻게 짜느냐에 따라 AI의 답변 품질이 크게 달라진다는 점입니다. 모호하게 "설명해줘"라고만 하면 AI도 어디서부터 어떻게 답해야 할지 난감해하지만, 구체적으로 요구사항을 알려주면 훨씬 정확하고 만족스러운 답을 얻을 수 있어요. 그래서 프롬프트 작성은 일종의 기술과 예술로 여겨지며, 이것을 잘 다듬는 과정을 프롬프트 엔지니어링(prompt engineering)이라고 부릅니다.

컨텍스트 윈도우 개념 – AI의 기억력

LLM과 대화를 하다 보면, 가끔 대화가 길어졌을 때 앞부분 내용을 AI가 까먹은 듯한 답변을 할 때가 있어요. 이는 해당 AI 모델의 컨텍스트 윈도우(context window) 한계를 넘어서 버렸기 때문일 수 있어요. 컨텍스트 윈도우란 한 마디로 AI 모델이 한 번에 "기억"하며 고려할 수 있는 최대 단위의 텍스트를 말합니다.

마치 인간의 작업기억(단기기억)처럼, 이 창(window) 크기만큼 최근 대화나 문맥을 유지할 수 있는 거예요. 예를 들어 어떤 모델의 컨텍스트 윈도우가 2048토큰이라면, 그 안에서는 앞서 나눈 이야기 2048토큰 분량까지는 참고해서 답하지만, 그보다 이전 내용은 잊어버린 셈이 됩니다.

그래서 대화가 너무 길어지면 AI가 옛날 내용을 잊고 같은 질문에 답을 반복하거나, 앞뒤 맥락이 어긋나는 답변 오류가 생길 수 있죠. 최신 LLM들은 이 컨텍스트 윈도우를 크게 늘려서 한번에 책 한 권 분량의 텍스트도 참고할 수 있게 발전하고 있어요. 컨텍스트 윈도우가 커지면 긴 문서 요약이나 장기간의 일관된 대화 등이 수월해지는 장점이 있습니다.

파인튜닝 vs. 프롬프트 엔지니어링

LLM을 우리에게 딱 맞춰 똑똑하게 활용하는 방법에는 크게 두 가지가 있어요. 하나는 파인튜닝(fine-tuning), 또 하나는 프롬프트 엔지니어링(prompt engineering)입니다. 두 방법 모두 모델에게 원하는 출력을 얻게 하려는 목적은 같지만, 접근 방식이 완전히 달라요.

파인튜닝은 말 그대로 모델을 미세 조정하는 겁니다. 이미 사전 학습된 LLM에다가 새로운 데이터로 추가 학습을 시켜서 특정 분야나 작업에 최적화된 모델로 만드는 거예요. 예를 들어 의학 논문만 잔뜩 파인튜닝하면 의학 상담에 특화된 모델이 되겠죠.

반면 프롬프트 엔지니어링은 모델을 다시 학습시키지 않고, 프롬프트를 똑똑하게 작성하는 것만으로 모델의 출력을 우리가 원하는 방향으로 유도하는 방법입니다. 즉, 질문을 잘 던져서 현재 모델이 가진 능력을 최대한 끌어내는 거죠.

둘을 비교해보면, 파인튜닝은 새로운 데이터 준비와 학습을 필요로 해서 시간과 비용이 많이 들지만, 효과적으로 하면 모델 자체가 지식과 능력을 업데이트하여 지속적으로 전문적인 성능을 발휘합니다. 반면 프롬프트 엔지니어링은 별도 비용 없이도 누구나 시도할 수 있고, 다양한 창의적인 기법으로 모델의 응답을 개선할 수 있지만, 모델의 한계를 넘지는 못한다는 특징이 있어요.

Hallucination(환각) 문제

생성형 AI, 특히 LLM과 대화하다 보면 때때로 사실이 아닌 정보를 그럴듯하게 지어내는 오류를 접하게 됩니다. 이를 AI의 환각(hallucination) 현상이라고 불러요. 말 그대로 AI가 환상을 보고 이야기한다는 뜻인데요, 이 경우 AI는 자신있게 이야기하지만 근거가 없거나 완전히 틀린 내용을 말하고 있는 것입니다.

예를 들어 어떤 역사적 사실을 물었더니 존재하지 않는 인물을 언급하거나, 실제 있는 책 제목을 묻자 가짜 책 제목과 저자를 그럴듯하게 만들어내는 식이죠. 환각이 무서운 건 문장 자체는 워낙 그럴싸하게 말하기 때문에 얼핏 보면 진짜처럼 느껴진다는 거예요.

왜 이런 일이 생길까요? 앞서 설명했듯 LLM은 그럴듯한 응답을 추측해서 생성할 뿐, 내용의 진위 여부를 판단하지는 못합니다. 훈련 데이터에 없던 정보나 질문에 답하려고 할 때, 모르는 건 "모르겠다"고 솔직히 말하지 않고 그럴듯한 답을 창작해버리는 경향이 있는 거죠.

이는 현재 LLM 기술의 한계로 널리 알려져 있고, OpenAI 등 개발사들도 환각을 줄이기 위한 연구를 진행 중이에요. 환각 문제를 완전히 없애는 건 어려울 수 있지만, 사용자 입장에선 AI의 답변을 맹신하지 않고 중요 정보는 다른 출처로 교차 확인하는 습관이 필요합니다. 결국 현 단계의 AI는 매우 똑똑하지만 여전히 틀릴 수 있는 도구라는 점을 염두에 둬야 해요.