컨텍스트 윈도우는 AI가 한 번의 답변을 만들 때 다룰 수 있는 정보의 최대 용량입니다. 용량이 크면 긴 문서와 더 많은 대화를 함께 다룰 수 있지만, 그 안의 정보를 모두 정확하게 활용한다는 보장은 없습니다. 모델을 고를 때는 필요한 자료가 들어가는지와 그 자료로 일을 제대로 해내는지를 함께 봐야 합니다.
컨텍스트 윈도우는 무엇을 담는 공간인가요?
현재 질문뿐 아니라 함께 전달한 대화 기록과 참고 자료, 모델이 생성하는 답변까지 컨텍스트 용량을 사용합니다. 책상에 자료를 펼쳐 놓는 상황에 비유할 수 있습니다. 책상이 넓으면 자료를 더 펼칠 수 있지만, 넓이만으로 내용을 정확히 읽어 냈는지는 알 수 없지요. 실제로는 물리적 공간이 아니라 모델이 처리하는 정보량의 한도입니다.
문맥이나 참고 정보를 뜻하는 컨텍스트와 그 정보가 들어갈 수 있는 범위인 컨텍스트 윈도우를 구분하면 이해하기 편합니다. 모델이 학습 과정에서 얻은 지식 전체가 이 공간에 들어 있는 것은 아닙니다. Anthropic의 공식 설명도 컨텍스트를 학습 데이터와 구별합니다.
용량을 글자 수 대신 토큰으로 표시하는 이유
모델은 문장을 작은 조각으로 나누어 처리합니다. 이 처리 단위를 토큰이라고 부릅니다. 토큰 하나가 한 글자일 수도, 단어 하나나 단어의 일부일 수도 있어 글자 수와 일대일로 대응하지 않습니다.
영어 단어 수로 제시된 환산치를 한국어 문서 분량에 그대로 적용하면 안 됩니다. 실제 자료를 해당 모델의 토큰 계산 기능에 넣어 확인하는 편이 정확합니다. 이미지나 음성도 지원 모델에서는 토큰으로 계산되므로, 텍스트가 적은 파일이라고 사용량이 반드시 작은 것도 아닙니다. Google의 토큰 안내에서 텍스트와 비텍스트 입력의 계산 방식을 확인할 수 있습니다.
토큰을 바탕으로 문장을 만드는 과정부터 이해하고 싶다면 LLM의 기본 작동 원리를 먼저 읽어 보세요.
대화가 길어지면 새 질문에 쓸 공간도 줄어듭니다
이전 대화를 계속 전달하는 방식에서는 사용자 질문과 AI 답변이 다음 요청의 입력에 쌓입니다. 방금 입력한 질문이 짧아도 함께 전달되는 기록이 길면 전체 사용량은 큽니다.
회의록을 주고 요약을 요청한 뒤 담당자별 할 일을 묻는 상황을 생각해 보세요. 이전 내용을 유지하는 요청에는 회의록, 첫 질문, AI가 만든 요약, 새 질문이 함께 들어갑니다. 앱이 정한 지침이나 도구 설명, 검색 결과도 요청에 포함되면 용량을 씁니다. Claude 공식 문서의 대화 누적 설명이 이 관계를 보여 줍니다.
컨텍스트 크기와 최대 답변 길이는 다릅니다
최대 출력 토큰은 한 번에 생성할 수 있는 답변의 상한입니다. 컨텍스트가 크다고 그만큼 긴 답변을 한 번에 받을 수 있는 것은 아닙니다. 모델 사양에서는 전체 컨텍스트와 입력·출력 한도를 구분해 읽어야 합니다. Google의 공식 토큰 문서도 입력과 출력 한도를 별도로 확인하도록 안내합니다.
긴 문서를 넣고 긴 보고서까지 받으려면 입력이 들어가는지만 확인해서는 부족합니다. 출력에 필요한 여유와 출력 자체의 상한도 봐야 합니다. 추론 과정에 쓰는 토큰이 용량에 포함되는 모델도 있으므로, 정확한 계산은 해당 모델의 규칙을 따릅니다.
길수록 유리한 작업과 정확도의 한계
여러 부분을 함께 읽어야 하는 작업에는 큰 컨텍스트가 유리합니다. 다만 자료를 받아들이는 용량과 필요한 근거를 찾아 연결하는 능력은 따로 평가해야 합니다.
예를 들어 여러 회의록에 흩어진 결정 사항의 변화를 비교하거나, 긴 보고서 앞부분의 조건과 뒷부분의 결과를 연결할 때는 관련 내용을 함께 제공할 여유가 도움이 됩니다. Google도 긴 문서 요약과 자료 기반 질의응답을 긴 컨텍스트의 활용 사례로 제시합니다.
자료가 들어갔다고 근거를 빠짐없이 찾는 것은 아닙니다
긴 입력 안에서 중요한 정보가 어디에 놓였는지에 따라 결과가 달라질 수 있습니다. 2023년 공개된 Lost in the Middle 연구에서는 여러 문서를 이용한 질의응답과 키·값 검색 과제에서, 관련 정보가 입력의 중간에 있을 때 성능이 떨어지는 현상을 관찰했습니다. 당시 실험한 모델과 과제의 결과이며, 현재 모든 모델에 같은 정도로 적용되는 법칙은 아닙니다. 원 논문은 긴 입력을 허용하는 것과 잘 활용하는 것을 구별해야 한다는 근거가 됩니다.
현재 Google의 공식 안내도 긴 자료에서 정보 하나를 찾는 평가와 여러 정보를 찾는 작업의 정확도가 같지 않다고 설명합니다. 입력이 길어지면 첫 응답까지의 대기 시간도 대체로 늘어납니다. 짧은 질문에 필요 없는 자료를 추가하는 방식으로 품질 향상을 기대하기는 어렵습니다. 긴 컨텍스트의 한계와 지연 시간 안내를 함께 참고할 수 있습니다.
한도를 넘으면 AI가 앞의 내용을 잊어버리나요?
한도에 도달했을 때의 처리는 앱과 모델에 따라 다릅니다. 요청을 거절하거나, 일부 기록을 제외하거나, 이전 대화를 요약해 계속 진행할 수 있습니다. 모든 서비스가 오래된 대화를 같은 방식으로 지우는 것은 아닙니다.
이전 기록을 짧은 요약으로 바꾸는 방식을 컨텍스트 압축이라고 합니다. 예를 들어 Claude의 압축 기능은 정해진 조건에 도달하면 요약을 만들고, 이후에는 그 요약을 바탕으로 대화를 이어 갑니다. 원문 전체를 그대로 유지하면서 한도가 무한히 늘어나는 방식은 아닙니다. 공식 압축 문서에서 처리 흐름을 설명합니다.
요약에는 세부 조건이 빠질 수 있습니다. 긴 작업을 이어 갈 때는 현재 목표, 확정한 결정, 남은 문제, 반드시 보존할 원문 위치를 따로 정리해 두는 편을 권합니다. 정확한 표현을 다시 검토해야 한다면 요약만 넘기지 말고 해당 원문도 함께 제공하세요. Anthropic 역시 과도한 압축이 중요한 세부 정보를 잃게 할 수 있다고 설명합니다. 컨텍스트 관리에 관한 공식 글이 근거입니다.
내 작업에 필요한 크기는 어떻게 판단할까요?
필요한 자료와 답변이 들어가는 크기를 확보한 다음, 실제 작업 결과를 비교하는 순서가 좋습니다. 컨텍스트 숫자만 보고 가장 큰 모델을 고르기보다 아래처럼 작업에 필요한 정보의 범위를 먼저 정해 보세요.
| 작업 상황 | 먼저 확인할 기준 |
|---|---|
| 짧은 메일 수정·문장 교정 | 문체와 지시 준수, 응답 속도 |
| 긴 보고서 전체의 논리 검토 | 전체 자료 수용 여부와 멀리 떨어진 근거 연결 |
| 많은 문서에서 특정 규정 찾기 | 관련 문서를 정확히 고르는 검색과 근거 확인 |
| 여러 날 이어지는 작업 | 결정 사항을 보존하는 요약·기록 관리 |
이 표는 앞서 설명한 용량과 정보 활용의 차이를 바탕으로 한 편집상의 권장 기준입니다. 문서 전체를 비교해야 하는 경우와 특정 조항만 찾으면 되는 경우에 같은 입력 전략을 쓸 필요는 없습니다.
외부 자료에서 질문과 관련된 부분을 찾아 답변의 참고 정보로 제공하는 방식을 검색 증강 생성, RAG라고 합니다. 큰 컨텍스트는 더 많은 자료를 함께 넣게 해 주고, RAG는 넣을 자료를 고르는 데 도움을 줍니다. 둘은 함께 쓸 수 있습니다. Anthropic도 자료 전체를 미리 넣는 방식 외에, 필요한 내용을 작업 중에 불러오는 접근을 설명합니다. 공식 컨텍스트 검색 설명을 참고하세요.
후보 모델을 비교할 때는 본인이 정답과 근거 위치를 아는 자료로 시험해 보세요. 근거 하나를 찾는 질문에 더해, 서로 떨어진 조건을 연결해야 하는 질문도 넣습니다. 답변의 자연스러움보다 근거의 정확성, 조건 누락, 서로 모순되는 설명을 확인하면 내 작업에 맞는지 판단하기 쉽습니다.
긴 문서를 요청할 때는 자료와 지시를 구분하고, 마지막에 구체적인 질문과 원하는 출력 형식을 적어 보세요. 예를 들어 “담당자별 할 일을 정리하고 각각의 근거 문단을 표시해 주세요. 자료에서 확인되지 않는 담당자는 미정으로 남겨 주세요”처럼 요청할 수 있습니다. 질문을 자료 뒤에 두는 방식은 Google의 긴 컨텍스트 안내에서도 권장합니다. 모델을 바꿀 때는 같은 자료와 질문으로 결과를 다시 확인하세요.
자주 묻는 질문
컨텍스트 윈도우가 크면 AI가 새 지식을 영구적으로 배우나요?
아닙니다. 입력한 자료를 현재 답변에 활용하는 것과 모델을 추가 학습시키는 것은 다릅니다. 별도 저장 기능이 자료를 보관하더라도, 나중에 활용하려면 필요한 정보를 다시 컨텍스트에 제공하는 과정이 필요합니다.
캐시를 사용하면 컨텍스트 공간을 덜 차지하나요?
Claude의 프롬프트 캐시는 반복 입력의 처리와 비용에 영향을 주지만, 캐시된 토큰도 컨텍스트 용량에 포함됩니다. 캐시와 이전 내용을 요약하는 압축은 서로 다른 기능입니다. [Anthropic 공식 컨텍스트 문서](https://platform.claude.com/docs/en/build-with-claude/context-windows)에서 이 구분을 확인할 수 있습니다.
AI가 이전 조건을 놓치면 새 대화를 시작해야 하나요?
먼저 놓친 조건과 관련 원문을 다시 제공해 보세요. 서로 다른 작업과 오래된 지시가 많이 섞였다면 현재 목표, 확정 사항, 필요한 자료를 정리해 새 대화로 옮기는 방법을 권합니다. 새 대화를 시작하는 것만으로 정확도가 보장되지는 않으므로 결과는 원문과 대조해야 합니다.
참고 자료
- Context windows — Anthropic
- Understand and count tokens — Google
- Long context — Google
- Lost in the Middle: How Language Models Use Long Contexts — arXiv
- Compaction — Anthropic
- Effective context engineering for AI agents — Anthropic