엔비디아 연구진이 대형언어모델(LLM)에 무조건 긴 컨텍스트 창이 필요한 것은 아니라는 연구 결과를 발표했다. 대화 기록을 압축하거나 대용량 문서에서 필요한 부분만 읽도록 하면 짧은 문맥에서도 상당수 작업의 성능을 유지할 수 있으며, 추론 처리량도 크게 높일 수 있다는 것이다.
엔비디아 연구진은 지난 3일(현지시간) 아카이브에 '긴 문맥은 필요 없다(You don't need long context)'라는 제목의 연구 결과를 공개했다. AI 모델의 컨텍스트 창을 계속 확대하기보다 필요한 정보만 유지하고 활용하는 방식으로 효율성을 높일 수 있다는 주장이다.
최근 AI 기업들은 수십만~수백만 토큰의 컨텍스트 창을 지원하는 모델을 선보이고 있다. 그러나 긴 대화와 작업 기록을 계속 유지하면 매번 처리해야 하는 정보가 늘어나 연산 비용이 높아진다. 연구진은 이러한 비용을 줄이면서 작업 성능을 유지할 수 있는지 실험했다.
우선 컨텍스트 한도가 서비스 처리량에 상당한 영향을 미친다는 점을 확인했다. 엔비디아 H100 GPU 환경에서 '큐원3 코더 넥스트(Qwen 3 Coder Next)'의 컨텍스트 한도를 256K에서 16K로 설정하자 초당 토큰 생성 처리량이 7배 증가했다. 'GLM 5.2'와 '키미 K2.6'에서도 각각 3.6배와 5.6배의 차이가 나타났다. 이는 서버의 토큰 처리량을 측정한 결과로, 개별 작업의 완료 시간이 같은 비율로 단축됐다는 의미는 아니다.
연구진은 짧은 문맥으로도 작업을 수행할 수 있는지 확인하기 위해 대화 기록을 압축하는 방식을 실험했다. 기존에는 AI 에이전트가 수행한 작업과 도구 사용 결과를 모두 대화에 누적했다면, 새로운 방식은 작업 진행 상황과 다음 계획 등 핵심 정보만 요약해 새로운 대화로 넘긴다.
'클로드 오퍼스 4.5'와 'GPT-5.6 솔'을 대상으로 6개 장기 작업 벤치마크를 시험한 결과, 대부분의 설정에서 전체 기록을 유지했을 때와 비슷한 성능을 보였다. 각 모델의 22개 압축 설정 가운데 성능이 2%포인트 넘게 떨어진 설정은 최대 5개에 그쳤으며, 일부에서는 오히려 성능이 개선됐다.
대용량 문서 분석에서도 비슷한 결과가 나타났다. 연구진은 원문 전체를 입력하는 대신 문서를 파일로 보관하고, AI가 검색을 통해 필요한 부분만 읽도록 했다.
여러 문서에 흩어진 정보를 종합하는 질의응답 평가인 'LOONG'에서 클로드 오퍼스 4.5는 16K 컨텍스트 한도로 평균 점수 79.3%를 기록했다. 전체 문서를 입력했을 때의 70.1%보다 9.2%포인트 높았다. 완벽 정답률도 38.9%에서 53.4%로 상승했다.
AI가 한 번 행동할 때마다 작업 상태를 압축하고 새로운 대화에서 다음 행동을 시작하는 방식도 시험했다.
클로드 오퍼스 4.5는 이 방식으로 'SWE-벤치 베리파이드'에서 70.2%를 기록해 전체 기록을 유지한 기준선 70.0%와 비슷한 성능을 보였다. GPT-5.6 솔은 84.4%에서 82.4%로 소폭 하락했다.
그러나 모든 모델에서 성능이 유지된 것은 아니다. 특히 큐원3 코더 넥스트는 SWE-벤치 베리파이드에서 전체 기록을 사용했을 때 53.0%였던 점수가 16K 컨텍스트 한도에서는 3.6%까지 떨어졌다.
연구진은 이 모델이 작업 과정을 지나치게 길게 생성하면서 압축 사이에 실제 작업을 진행할 공간이 부족해진 점을 주요 원인으로 분석했다. 문맥을 지나치게 줄이면 오히려 작업 성능이 크게 떨어질 수 있다는 것이다.
연구진은 이러한 접근법을 발전시킨 개념으로 '의미 상태 공간 모델(SSSM)'도 제안했다. 과거 대화 전체를 유지하는 대신 현재 작업 상태와 다음 계획을 자연어로 기록하고, 행동할 때마다 갱신하도록 학습시키는 방식이다. 이번 연구에서 실제 모델을 구현하거나 성능을 검증한 것은 아니며, 추후 연구 방향으로 제시했다.
연구진은 긴 문맥이 유용한 작업도 존재할 수 있다고 인정했다. 이번 결과는 모든 LLM에 긴 컨텍스트 창이 불필요하다는 의미가 아니라, 필요한 정보를 선택적으로 활용하고 작업 상태를 효율적으로 관리하면 짧은 문맥으로도 상당수 작업을 수행할 수 있다는 점을 보여준다.
박찬 기자 cpark@aitimes.com