기사를 읽어드립니다.

앤트로픽이 AI 에이전트가 과거 작업 기록을 검토하고 잘못된 기억을 스스로 수정하는 '드리밍(Dreaming)' 기술의 구체적인 작동 원리와 실험 결과를 공개했다. 기억을 무조건 많이 저장하는 것보다 중요한 정보를 선별하고 재구성하는 것이 효과적이며, 이를 통해 장기 작업과 대규모 문서 분석 성능을 개선할 수 있다는 사실을 확인했다.

앤트로픽은 6일(현지시간) 공식 블로그를 통해 클로드의 장기 기억 관리 방식과 관련 실험 결과를 소개했다. 드리밍은 AI가 작업하지 않는 시간에 이전 세션의 기록을 검토하고, 기억의 오류를 수정하거나 새로운 지식 구조를 만드는 기술이다.

앤트로픽은 앞서 지난 5월 드리밍을 소개했으며, 이번에는 실제 작업에서 기억 관리 방식이 성능에 어떤 영향을 미치는지 구체적인 사례와 수치로 제시했다.

대표적인 실험은 '포켓몬 레드' 게임이다. '클로드 소네트 3.7'은 약 1만 단계 동안 225개 폴더에 413개 파일을 만들어 전투와 아이템, 캐릭터 등의 정보를 기록했지만, 획득한 배지는 1개에 그쳤다. 이에 비해 '클로드 페이블 5'는 2개 폴더에 9개 파일과 요약 파일 하나만 유지하면서 배지 4개를 획득했다.

소네트 3.7이 거의 모든 정보를 저장한 것과 달리, 페이블 5는 게임 전략과 이동 계획, 직접 확인한 규칙을 중심으로 기억을 관리했다. 앤트로픽은 불필요한 기록이 많아지면 AI가 실제 작업보다 기억을 확인하고 정리하는 데 더 많은 자원을 소비할 수 있다고 설명했다. 두 사례는 서로 다른 모델을 비교한 것으로, 기억 관리 방식만의 효과를 측정한 결과는 아니다.

드리밍으로 잘못된 기억을 수정하는 효과도 확인됐다. 클로드가 게임 속 포켓몬센터의 위치를 잘못 기억해 같은 경로를 반복해서 이동하자, 드리밍은 과거 작업 기록과 저장된 기억을 대조해 오류를 찾아냈다. 기억을 수정한 클로드는 정상적인 경로로 이동해 다음 도시에 도착했지만, 잘못된 기억을 그대로 사용한 클로드는 목적지에 도착하지 못했다.

포켓몬 게임에서 드리밍을 통한 기억 수정 효과를 비교한 실험. 왼쪽은 잘못된 위치 정보를 기억해 다른 방향으로 이동하는 모습이며, 오른쪽은 드리밍으로 오류를 수정한 뒤 동굴 입구로 되돌아가는 모습이다. (사진=앤트로픽)

대규모 문서 분석에서도 효과가 나타났다. 앤트로픽은 약 35만개 파일, 총 4억2000만 토큰 규모의 내부 문서를 대상으로 클로드가 위키 형태의 지식 구조를 구축하도록 했다.

클로드 오퍼스 5가 128차례에 걸쳐 문서를 분석하고 위키를 수정한 결과, 위키만 활용한 평가 점수는 초기 13%에서 48%로 높아졌다.

드리밍을 반복해 구축한 위키를 활용한 문서 분석 성능. 위키만 사용한 점수는 13%에서 48%로, 검색과 위키를 함께 사용한 점수는 54%에서 61%로 높아졌다. (사진=앤트로픽)

검색 기능만 사용했을 때는 53%였으며, 검색과 위키를 함께 활용한 점수는 위키 구축이 진행되면서 54%에서 61%로 상승했다. 검색과 위키를 결합하면 질문당 토큰 사용량도 약 2만개 줄었다. 여러 문서에 흩어진 정보를 종합해야 하는 기업 인수 관련 질문에서는 위키를 활용한 정답률이 87%로, 검색만 사용했을 때의 73%를 웃돌았다.

클로드가 기억을 관리하는 규칙 자체를 수정한 사례도 있었다. 기업 인수 계약서를 분석하는 실험에서 여러 에이전트가 같은 파일을 수정하면서 계약 내용 일부가 누락됐다. 클로드가 문제를 분석해 계약별로 문서를 따로 작성하도록 규칙을 바꾸자, 최종 법률 문서의 평가 기준 충족률이 72%에서 100%로 높아졌다.

그러나 모든 작업에서 드리밍이 효과적인 것은 아니었다. 일부 법률 문서 분석에서는 위키를 추가해도 검색만 사용했을 때와 성능 차이가 크지 않았으며, 위키가 원본 문서보다 방대해지는 사례도 나타났다. 기억을 검토하고 수정하는 데 추가 연산 자원이 필요하다는 점도 해결 과제로 남아 있다.

AI가 작업하지 않는 시간에 기억을 정리하는 기술은 앤트로픽만 개발하는 것은 아니다. 퍼플렉시티는 지난 6월 에이전트의 작업 경험을 분석하는 '브레인(Brain)'을 공개했으며, 오픈AI도 같은 달 챗GPT의 '드리밍' 기반 메모리 통합 시스템을 강화했다.

앤트로픽의 이번 연구는 AI 모델 자체를 다시 학습하지 않고도 과거 경험을 저장하고 활용하는 방식을 개선해 장기 작업 성능을 높일 수 있다는 점을 구체적인 실험으로 보여준 사례다.

박찬 기자 cpark@aitimes.com