LLM(대규모 언어 모델)이란 무엇인가: 초대형 자동완성의 원리

기준: Google·Anthropic·OpenAI 공식 문서. 2026년 9월에 확인했습니다.

LLM(Large Language Model, 대규모 언어 모델)은 앞에 나온 글을 보고 다음에 올 말을 확률로 골라 한 조각씩 이어 쓰는 초대형 언어 모델입니다. ChatGPT, Claude, Gemini 같은 대화형 AI는 모두 이 LLM을 바탕으로 만든 서비스입니다. 이 글을 읽고 나면 LLM이 어떻게 답을 만드는지, 어떻게 학습되는지, 그리고 왜 가끔 그럴듯하게 틀린 말을 하는지 이해할 수 있습니다. 어려운 수식 없이 토큰, 컨텍스트, 환각 세 단어를 중심으로 설명합니다.

한 문장으로 본 LLM

LLM은 엄청나게 많은 글을 읽고 만든 통계적 언어 모델입니다. 글을 쓰고, 요약하고, 번역하는 것처럼 사람의 말을 다루는 일에 쓰입니다. 모델 안에는 매개변수(parameter)가 아주 많이 들어 있습니다. 매개변수는 모델이 학습하면서 조금씩 조정하는 수많은 숫자 설정값입니다.

이름을 한 단어씩 풀어 보면 이렇습니다.

언어 모델은 어떤 말이 문장 속에 나올 확률을 추정하는 모델입니다. LLM은 이 언어 모델을 아주 크게 키운 것입니다. 이전 모델보다 매개변수가 훨씬 많고, 더 넓은 앞뒤 맥락을 한꺼번에 살핍니다.

비유로 이해하기: 스마트폰 자동완성의 초대형 버전

스마트폰 키보드에 "오늘 점심은"까지 치면 "뭐 먹지", "짜장면" 같은 다음 단어가 뜹니다. Google의 머신러닝 입문 강좌는 LLM을 본질적으로 자동완성 장치라고 설명합니다. 질문(프롬프트)을 받으면 이어질 조각의 확률을 계산해 하나를 고르고, 이것을 수천 번 반복해 긴 답을 완성합니다.

예를 들어 "비가 오니까 우산을 ___"이라는 문장이 있다고 해 보겠습니다.

위 표의 확률은 원리를 보여 주려고 만든 예시입니다. 실제 모델의 계산값이 아닙니다.

모델은 이런 후보 가운데 하나를 고르고, 고른 말을 붙인 문장을 다시 보고 그다음 말을 고릅니다. 한 번에 문단 전체를 떠올리지 않고 한 조각씩 이어 씁니다. 그래서 같은 질문을 해도 답이 매번 조금씩 다를 수 있습니다. 이런 성질을 "비결정적"이라고 부릅니다.

답이 얼마나 다양하게 나올지를 조절하는 값도 있습니다. 온도(temperature)라고 부르는데, 온도가 높으면 더 다양하고 창의적인 답이, 낮으면 더 보수적인 답이 나옵니다. 다만 온도를 0으로 낮춰도 결과가 완전히 똑같다고 보장되지는 않습니다.

LLM을 만드는 과정: 세 단계 학습

지금의 LLM은 대부분 트랜스포머(Transformer)라는 구조를 바탕으로 합니다. 트랜스포머는 Google이 2017년에 개발했습니다. 트랜스포머의 핵심은 셀프 어텐션(self-attention)입니다. 문장 속 각 단어(정확히는 아래에서 설명할 '토큰')마다 "다른 단어들이 이 단어의 뜻에 얼마나 영향을 주는가"를 따져 봅니다. 예를 들어 "배가 아파서 병원에 갔다"에서 "배"가 과일이 아니라 신체라는 것을 "아파서", "병원" 같은 주변 단어를 보고 판단하는 식입니다.

이 구조 위에서 LLM은 보통 다음 순서로 만들어집니다.

1. 사전학습(pretraining): 라벨(사람이 달아 둔 정답 표시)이 붙지 않은 방대한 텍스트를 읽으며 "앞 문맥을 보고 다음 단어 맞히기"를 반복합니다. 이 단계만 거친 모델은 지식은 많지만, 질문에 답하거나 지시를 따르는 데는 서툽니다.
2. 파인튜닝(fine-tuning): 사전학습한 모델을 추가 데이터로 더 학습시켜 특정 분야나 형식에 맞춥니다.
3. RLHF(사람 피드백을 이용한 강화학습): 사람이 모델의 여러 답에 순위를 매기고, 모델이 더 높은 순위를 받은 답과 비슷하게 답하도록 학습합니다. 이 과정을 거치면 지시를 더 잘 따르는 대화형 도우미에 가까워집니다.

Claude도 이런 과정을 거쳐 만들어진 LLM입니다. 흐름을 한 줄로 그리면 다음과 같습니다.

대량의 텍스트 → 사전학습(다음 말 맞히기) → 파인튜닝·RLHF(도우미로 다듬기) → 챗 서비스

비유하자면 책을 엄청나게 많이 읽은 신입 사원과 비슷합니다. 아는 것은 많지만(사전학습), 입사 교육을 받아야 회사 방식대로 일할 수 있고(파인튜닝·RLHF), 우리 회사 사정은 알려 줘야 압니다(컨텍스트).

첫 번째 단어, 토큰: LLM이 글을 읽는 단위

LLM은 글을 글자나 단어 그대로 다루지 않고 토큰(token)이라는 조각으로 쪼개서 다룹니다. 레고 블록처럼 문장을 작은 조각으로 나눈 다음, 그 조각을 하나씩 이어 붙입니다.

토큰은 단어 하나일 수도, 단어의 일부일 수도, 글자 하나일 수도 있습니다. 언어 모델이 다루는 가장 작은 단위입니다. 쪼개지는 모습은 아래 표와 같습니다.

위 표는 원리를 보여 주려고 만든 예시입니다. 실제로 어떻게 나뉘는지는 모델과 도구마다 다릅니다.

Claude 기준으로 한 토큰은 영어로 약 3.5글자 정도이고, 언어에 따라 다릅니다. 그래서 "한국어 한 글자는 몇 토큰" 같은 숫자는 한 가지로 정해져 있지 않습니다. LLM은 글을 읽고 쓰는 양을 글자 수가 아니라 토큰 수로 따집니다. 바로 다음에 볼 컨텍스트 창의 크기도 토큰으로 나타냅니다.

두 번째 단어, 컨텍스트: LLM의 책상

컨텍스트 창(context window)은 모델이 답을 만들 때 한 번에 참고할 수 있는 글의 양입니다. 학습으로 쌓은 지식과는 별개인, 모델의 작업 기억(working memory)입니다. 사용자가 입력한 질문, 붙여 넣은 자료, 이전 대화, 그리고 모델이 쓰는 답까지 모두 이 안에 들어갑니다.

책상을 떠올리면 쉽습니다. LLM은 책상 위에 펼쳐 놓은 서류만 보면서 일합니다.

• 긴 회의록을 붙여 넣고 요약을 부탁하면, 그 회의록이 책상 위 서류가 됩니다.
• 붙여 넣지 않은 지난주 회의록은 책상에 없으니 모릅니다.
• 책상이 넓을수록 많이 펼칠 수 있지만, 너무 어지러우면 오히려 중요한 서류를 놓칩니다.

마지막 현상은 컨텍스트 로트(context rot)라고 부릅니다. 컨텍스트가 길어질수록 정확도와 기억력이 떨어질 수 있다는 뜻입니다. 그래서 무조건 많이 넣기보다 필요한 자료를 골라 넣는 편이 좋습니다.

컨텍스트 창 크기와 한 번에 쓸 수 있는 답의 길이는 모델마다 다르고 자주 바뀝니다. 정확한 값은 사용하는 서비스의 공식 문서에서 확인하세요.

세 번째 단어, 환각: 그럴듯하지만 틀린 답

LLM은 "가장 그럴듯한 다음 말"을 고르는 구조입니다. 그래서 사실이 아니어도 문장이 자연스러우면 그대로 써 버릴 수 있습니다. 이것을 환각(hallucination)이라고 합니다. 최신 모델도 사실과 다르거나 주어진 맥락과 맞지 않는 글을 만들 수 있습니다. 예를 들어 존재하지 않는 책 제목이나 논문을 그럴듯하게 지어낼 수 있습니다.

Anthropic의 Claude 문서가 권하는, 환각을 줄이는 방법은 다음과 같습니다.

• 모른다고 말해도 된다고 허락하기: "확실하지 않으면 모른다고 답해 주세요"라고 적습니다.
• 원문 인용으로 근거 대기: 긴 자료를 줄 때 답의 근거가 된 문장을 인용하게 합니다.
• 출처 확인하기: 답에 쓴 사실의 출처를 밝히게 하고 직접 확인합니다.

다만 이런 방법을 써도 환각을 완전히 없앨 수는 없습니다. 중요한 정보는 반드시 직접 검증해야 합니다. 환각 말고도 LLM에는 막대한 계산 자원과 전기를 쓴다는 점, 다른 머신러닝 모델처럼 편향을 보일 수 있다는 점 같은 한계가 있습니다.

지식 기준일과 RAG: LLM이 모르는 것 채우기

LLM은 학습을 마친 시점 이후의 일은 기본적으로 모릅니다. 이 시점을 지식 기준일(knowledge cutoff)이라고 합니다. 어느 날 스크랩을 멈춘 신문 스크랩북과 같습니다. 그 날짜 이후의 기사는 스크랩북에 없습니다. 그래서 모델마다 지식 기준일을 공개하는 회사도 있습니다. 예를 들어 Anthropic은 "믿을 만한 지식 기준일"과 "학습 데이터 기준일"을 따로 적어 둡니다.

최신 정보나 회사 내부 자료를 쓰게 하는 대표적인 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 질문이 들어오면 관련 문서를 먼저 찾아서 컨텍스트, 즉 책상 위에 함께 올려 주는 방식입니다. 학습 데이터에 없던 최신·전문 정보를 쓸 수 있고 사실 정확도도 높아집니다. 단, 효과는 넣어 준 자료의 품질에 달려 있습니다. 엉터리 자료를 올려 주면 답도 엉터리가 되기 쉽습니다.

흔한 오해 네 가지

메모리·검색 기능의 이름, 기본 설정, 쓸 수 있는 요금제는 서비스마다 다르고 자주 바뀝니다. 자세한 내용은 각 서비스의 도움말을 보세요.

LLM을 잘 쓰는 작은 습관

지금까지의 내용을 실제 사용 습관으로 정리하면 다음과 같습니다.

1. 필요한 자료는 직접 붙여 넣기: 모델은 책상 위에 없는 자료를 모릅니다.
2. 자료는 골라서 넣기: 많이 넣을수록 좋은 것이 아니라, 관련 있는 것을 넣어야 정확해집니다.
3. 모르면 모른다고 하라고 요청하기: 환각을 줄이는 가장 간단한 방법입니다.
4. 중요한 사실은 출처로 확인하기: 숫자, 날짜, 이름, 법·규정은 반드시 원문을 봅니다.
5. 최신 정보는 따로 확인하기: 지식 기준일 이후의 일은 검색 기능이나 공식 사이트로 확인합니다.
6. 같은 질문에 다른 답이 나와도 놀라지 않기: 출력은 매번 조금씩 다를 수 있습니다. 중요한 내용은 여러 번 물어보고 비교해 보세요. 회사 업무 프로그램에 AI를 연결해 쓰는 경우라면 모델 버전을 고정하고 결과를 점검할 테스트를 만들어 두는 것이 좋습니다.

정리

LLM은 방대한 글을 읽고 "다음에 올 말"을 확률로 예측하도록 학습한 초대형 자동완성입니다. 글을 토큰이라는 조각으로 다루고, 컨텍스트라는 책상 위에 놓인 자료만 보고 일하며, 가끔 환각으로 그럴듯한 오답을 냅니다. 이 세 단어만 기억해도 AI 서비스가 왜 어떤 때는 똑똑하고 어떤 때는 엉뚱한지 훨씬 잘 이해할 수 있습니다.

LLM을 바탕으로 한 AI 에이전트가 일반 AI 챗봇과 무엇이 다른지, AI를 외부 도구와 연결하는 MCP가 무엇인지 궁금하다면 아래 글을 함께 읽어 보세요.

함께 읽기

• AI와 AI 에이전트는 어떻게 다를까: 대답하는 AI, 일하는 AI
• MCP란 무엇인가: AI에 도구를 꽂는 USB-C 같은 표준

참고 자료

• Google Cloud, "What is a large language model (LLM)?" — https://cloud.google.com/ai/llms
• Google for Developers, Machine Learning Crash Course "Introduction to Large Language Models" — https://developers.google.com/machine-learning/crash-course/llm
• Google for Developers, Machine Learning Crash Course "What's a large language model?" — https://developers.google.com/machine-learning/crash-course/llm/transformers
• Anthropic, Claude Docs "Glossary" — https://platform.claude.com/docs/en/about-claude/glossary
• Anthropic, Claude Docs "Context windows" — https://platform.claude.com/docs/en/build-with-claude/context-windows
• Anthropic, Claude Docs "Reduce hallucinations" — https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
• Anthropic, Claude Docs "Models overview" — https://platform.claude.com/docs/en/about-claude/models/overview
• Anthropic, Claude Docs "Web search tool" — https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-search-tool
• Anthropic, Claude Help Center "Use Claude's chat search and memory to build on previous context" — https://support.claude.com/en/articles/11817273-use-claude-s-chat-search-and-memory-to-build-on-previous-context
• OpenAI Help Center, "Memory FAQ" — https://help.openai.com/en/articles/8590148-memory-faq
• OpenAI, "Prompt engineering" 가이드 — https://developers.openai.com/api/docs/guides/prompt-engineering