토큰과 컨텍스트 창 뜻: 긴 대화에서 AI가 앞 내용을 놓치는 이유

기준: Anthropic(Claude)·OpenAI 공식 문서. 2026년 9월에 확인했습니다. 컨텍스트 창 크기와 답 길이 한도는 모델마다 다르고, 새 모델이 나오면 바뀝니다.

AI 채팅은 글을 글자나 단어 그대로 읽지 않습니다. 토큰이라는 작은 조각으로 잘라서 읽고, 컨텍스트 창이라는 정해진 공간 안에 있는 글만 보고 답을 만듭니다. 이 두 가지를 알면 세 가지가 풀립니다. 긴 대화에서 AI가 앞 내용을 놓치는 이유, AI 서비스가 사용량을 "토큰"으로 세는 이유, 그리고 AI에게 자료를 줄 때 무엇을 얼마나 넣어야 하는지입니다. 이 글은 두 개념을 일상 비유와 함께 설명합니다.

토큰: AI가 글을 자르는 조각

토큰은 언어 모델이 다루는 가장 작은 단위입니다. 토큰 하나는 단어 하나일 수도 있고, 단어의 일부나 글자 하나, 때로는 컴퓨터가 쓰는 더 작은 단위(바이트)일 수도 있습니다.

우리가 질문을 입력하면, 그 글은 먼저 토큰의 줄로 바뀝니다. 모델은 이 토큰들을 처리해 답을 만들고, 답도 토큰 단위로 만들어진 뒤 다시 글자로 바뀌어 화면에 나타납니다. 평소 채팅 화면에서는 이 과정이 보이지 않을 뿐입니다.

레고 블록 비유

토큰은 레고 블록과 비슷합니다. 자주 쓰는 모양은 큰 블록 하나로 만들어 두고, 드물게 쓰는 모양은 작은 블록 여러 개를 이어서 만듭니다.

OpenAI 모델에서 실제로 나뉘는 예입니다.

흔한 단어는 한 덩어리로, 긴 단어는 자주 쓰이는 조각으로 나뉩니다. 큰 조각은 처리를 빠르게 하고, 작은 조각은 처음 보는 드문 단어도 다룰 수 있게 해 줍니다. 이렇게 글을 자르는 규칙을 토크나이저(글을 토큰으로 나누는 도구)라고 부릅니다.

1토큰의 글자 수에 정답이 없는 이유

영어에는 공식 어림값이 있습니다. 다만 회사마다 조금씩 다릅니다.

• OpenAI: 영어 기준 1토큰은 대략 4글자, 약 0.75단어
• Anthropic 가격 안내: 영어 기준 대략 4글자 또는 0.75단어
• Anthropic 용어집: Claude 기준 대략 영어 3.5글자

같은 글이라도 언어와 모델에 따라 토큰 수가 달라집니다. 새 토크나이저를 쓰는 Claude 모델에서는 같은 글이 이전 모델보다 더 많은 토큰이 될 수 있습니다. 한국어가 1글자에 몇 토큰인지는 공식 문서에 정해진 숫자가 없습니다.

직접 세어 보기: 한국어와 영어 비교 실습

숫자를 외우는 것보다 직접 넣어 보는 편이 빠릅니다. OpenAI의 Tokenizer 도구로 5분이면 해 볼 수 있습니다.

1. 브라우저에서 OpenAI Tokenizer(https://platform.openai.com/tokenizer)를 엽니다.
2. 한국어 문장 하나를 넣습니다. 예: "오늘 저녁에 비가 올까요?"
3. 화면에 나오는 토큰 수를 적어 둡니다. 글이 색깔별 조각으로 나뉘어 보이는데, 그 조각 하나가 토큰입니다.
4. 입력칸을 비우고 같은 뜻의 영어 문장을 넣습니다. 예: "Will it rain this evening?"
5. 두 토큰 수와 조각의 모양을 비교합니다. 어느 쪽이 더 잘게 쪼개지는지 눈으로 확인할 수 있습니다.

이 도구는 OpenAI 모델 기준이라, Claude 같은 다른 회사 모델에서는 결과가 다를 수 있습니다. 여기서는 "언어에 따라 조각 수가 달라진다"는 감만 잡으면 충분합니다.

요금과 사용량 한도의 단위

토큰은 글을 읽는 단위이면서 요금과 사용량을 세는 단위이기도 합니다. 다만 어떤 방식으로 AI를 쓰느냐에 따라 체감하는 모습이 다릅니다.

API: 택시 미터기 방식

API는 앱을 만드는 개발자가 쓰는 종량제 방식입니다. 택시 미터기가 거리에 따라 요금을 올리듯, API는 토큰 수에 따라 요금을 계산합니다.

Anthropic의 Claude API는 "백만 토큰당 얼마" 방식으로 요금을 매기고, 입력과 출력의 값이 다릅니다. 구체적인 가격은 모델과 시기에 따라 바뀌므로 공식 가격 페이지에서 확인하세요. API는 1분 동안 처리할 수 있는 토큰 수로 사용량 제한도 둡니다. 보내기 전에 토큰 수를 어림해 주는 공식 도구도 있지만, 결과는 추정치입니다.

구독 채팅: 빨리 차는 사용량 한도

claude.ai나 ChatGPT처럼 월 구독으로 쓰는 채팅에서는 대화마다 요금이 붙지 않습니다. 대신 같은 원리가 사용량 한도로 나타납니다. Claude에서 한도에 영향을 주는 것은 메시지 길이, 첨부 파일 크기, 현재 대화의 길이 같은 것들입니다. 긴 대화나 큰 파일을 붙인 대화에서 한도가 더 빨리 차는 이유입니다.

토큰 수 가늠하기

토큰 수를 가늠할 수 있는 예시도 있습니다. Anthropic의 가격 문서를 보면 평범한 웹 페이지 하나(약 10kB)는 약 2,500토큰, 연구 논문 PDF(약 500kB)는 약 125,000토큰 정도입니다. 어디까지나 어림값이며, 문서의 내용과 모델에 따라 달라집니다.

컨텍스트 창: AI의 책상

컨텍스트 창은 모델이 답을 만들 때 참고할 수 있는 글 전체를 말합니다. 모델의 "작업 기억(working memory)"입니다. 모델이 학습한 방대한 자료와는 다른 개념입니다.

도서관과 책상을 떠올리면 쉽습니다.

• 도서관: 모델이 학습한 방대한 지식입니다.
• 책상: 지금 펼쳐 둔 자료입니다. 이것이 컨텍스트 창입니다.

AI는 책상 위에 올라온 것을 보면서 답합니다. 책상 크기에는 한계가 있어서, 올릴 수 있는 토큰 수가 정해져 있습니다.

책상 위에 올라가는 것들

컨텍스트 창에는 다음이 모두 들어갑니다.

1. 시스템 프롬프트(서비스가 미리 넣어 둔 기본 지시)
2. 지금까지 주고받은 모든 메시지. 첨부한 이미지, 문서, 도구 결과도 포함됩니다.
3. AI가 쓸 수 있는 도구에 대한 설명
4. AI가 지금 만들고 있는 답

마지막 항목을 눈여겨보세요. 프롬프트와 생성된 출력의 합은 모델의 최대 컨텍스트 길이를 넘을 수 없습니다. 입력을 너무 많이 넣으면 답을 쓸 자리가 줄어듭니다.

대화가 길어지면 책상이 차는 이유

대화를 이어 가면 내 메시지와 AI의 답이 차곡차곡 쌓입니다. 매번 질문할 때마다 이전 대화 전체와 새 메시지가 함께 모델에 들어갑니다. 짧은 질문을 하나 보내도, 그 앞의 긴 대화가 모두 입력으로 다시 들어갑니다.

책상의 크기

컨텍스트 창의 크기는 모델마다 다르며, 새 모델이 나올 때마다 바뀝니다. Claude 모델의 크기는 다음과 같습니다.

100만 토큰이 어느 정도인지 앞의 예시로 어림해 보면, 약 125,000토큰짜리 논문 PDF를 8편 정도 펼쳐 놓을 수 있는 크기입니다. Claude의 지금 토크나이저 기준으로 100만 토큰은 영어 약 55만 5천 단어, 유니코드 글자로 약 250만 자입니다. 모두 어림값이고, 시스템 프롬프트와 답이 들어갈 자리도 이 안에서 나눠 써야 합니다. 쓰고 있는 모델의 정확한 크기는 제작사의 공식 문서(예: Anthropic의 Models overview, Context windows 문서)에서 확인하세요.

책상이 넘치면 생기는 일

책상이 꽉 찼을 때 생기는 일은 서비스와 상황에 따라 다릅니다.

긴 대화에서 AI가 초반에 말한 조건을 놓치는 것처럼 보인다면, 앞부분이 밀려났거나 요약되면서 세부 내용이 빠졌을 수 있습니다.

답이 끊기는 두 가지 원인

답이 중간에 끊기면 책상이 꽉 찼다고 생각하기 쉽지만, 더 흔한 원인은 따로 있습니다. 한 번에 쓸 수 있는 답의 길이에도 한도가 있기 때문입니다. 책상이 넓어도 한 번에 적을 수 있는 종이 매수는 정해져 있는 것과 같습니다. 최신 Claude 모델 다수는 한 번의 요청에서 최대 128K 토큰까지 답을 만들 수 있고, 이 값은 창 크기(1M)보다 훨씬 작습니다.

넓은 책상의 함정: 컨텍스트 로트

컨텍스트 로트(context rot)는 넣는 토큰이 많아질수록 정확도와 기억력이 떨어질 수 있는 현상입니다. 책상이 아무리 넓어도 서류를 산더미처럼 쌓으면 필요한 한 장을 찾기 어려워지는 것과 같습니다. 그래서 공간의 크기만큼 무엇을 넣을지 고르는 일도 따져 봐야 합니다.

일상에서 바로 쓰는 팁

• 주제가 바뀌면 새 대화를 여세요. 이전 주제의 서류가 책상을 차지하지 않습니다.
• 필요한 부분만 붙여 넣으세요. 긴 문서 전체보다 관련 있는 장만 주면 AI가 핵심에 집중하기 쉽고, 구독 채팅의 사용량 한도도 덜 씁니다.
• 중요한 조건은 다시 알려 주세요. 대화가 길어졌다면 처음에 말한 조건을 요약해서 한 번 더 적어 주세요.
• 답이 끊기면 이어서 써 달라고 하거나 나누어 요청하세요. 한 번에 쓸 수 있는 답의 길이에도 한도가 있고, 창이 거의 찼을 때도 끊길 수 있습니다. 긴 결과물은 처음부터 "1부, 2부"처럼 나누어 요청하는 편이 안정적입니다. 대화가 아주 길다면 새 대화에서 요약과 함께 다시 시작하는 것도 방법입니다.

Claude Code를 쓸 때

Claude Code(터미널에서 쓰는 Claude)에도 같은 원리가 적용됩니다. Claude Code는 요청마다 대화 전체를 보냅니다. 이전 대화는 캐시 덕분에 할인된 요율로 다시 읽히지만, 오래 열어 둔 세션에서는 한 줄짜리 질문에도 이전 대화 전체를 다시 읽는 만큼 사용량이 듭니다.

책상 비유로 보면 다음 명령이 쓸모 있습니다.

프로젝트 규칙을 적어 두는 CLAUDE.md 파일은 세션을 시작할 때마다 책상 위에 올라갑니다. 그래서 Claude Code 문서는 이 파일을 200줄 이하로 짧게 두고, 특정 작업에만 필요한 지침은 필요할 때 불러오는 스킬(따로 저장해 둔 지침 묶음)로 옮기라고 권합니다.

흔한 오해 세 가지

1. "토큰은 단어 1개다." 아닙니다. 토큰은 단어 조각, 글자, 바이트일 수도 있습니다. 영어 어림값조차 회사마다 4글자, 3.5글자로 다르고, 언어와 모델에 따라 달라집니다.
2. "AI는 예전 대화를 다 기억한다." 모델이 보는 것은 컨텍스트 창 안의 글뿐입니다. 창에는 한계가 있고, 넘치면 오류가 나거나 앞부분이 밀려나거나 요약됩니다.
3. "컨텍스트 창이 클수록 무조건 정확하다." 그렇지 않습니다. 많이 넣을수록 정확도가 떨어질 수 있습니다(컨텍스트 로트).

덧붙여, "내가 보낸 질문만 계산된다"는 것도 오해입니다. API에서는 AI가 쓴 답(출력)에도 요금이 붙고, 긴 대화에서는 이전 대화 전체가 매번 다시 입력으로 계산됩니다. 구독 채팅에서는 같은 원리 때문에 긴 대화일수록 사용량 한도가 빨리 찹니다.

정리

AI에게 좋은 답을 받으려면 많이 넣기보다 필요한 것을 골라 책상 위에 올려야 합니다.

함께 읽기

• LLM(대규모 언어 모델)이란 무엇인가: 초대형 자동완성의 원리

참고 자료

• Anthropic, Glossary — https://platform.claude.com/docs/en/about-claude/glossary
• Anthropic, Context windows — https://platform.claude.com/docs/en/build-with-claude/context-windows
• Anthropic, Models overview — https://platform.claude.com/docs/en/about-claude/models/overview
• Anthropic, Token counting — https://platform.claude.com/docs/en/build-with-claude/token-counting
• Anthropic, Pricing — https://platform.claude.com/docs/en/about-claude/pricing
• Anthropic, API overview — https://platform.claude.com/docs/en/api/overview
• Claude 고객센터, Usage limit best practices — https://support.claude.com/en/articles/9797557-usage-limit-best-practices
• Claude Code, Manage costs effectively — https://code.claude.com/docs/en/costs
• OpenAI API, Key concepts — https://developers.openai.com/api/docs/concepts
• OpenAI, Tokenizer — https://platform.openai.com/tokenizer