MIT 연구진이 AI 모델끼리 텍스트를 주고받지 않고 내부 계산 정보를 직접 전달하는 기술을 개발했다. 서로 다른 기업이 만든 AI 모델 사이에서도 작동하며, 기존 텍스트 기반 소통보다 평균 정확도를 40% 높이고 처리 속도를 4배 단축했다. 연구진은 이 기술에 ‘스웜 텔레파시(SwaT·Swarm Telepathy)’라는 이름을 붙였다.
MIT 컴퓨터과학·AI연구소(CSAIL)와 MIT-IBM 컴퓨팅 연구소 연구진은 최근 온라인 아카이브에 ‘스웜 텔레파시: 모델 계열 간 프리필 없는 KV 캐시 전송(Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families)’이라는 제목의 논문을 공개했다.
기존 멀티 에이전트 시스템에서는 한 AI가 작업을 수행한 뒤 결과를 텍스트로 요약해 다른 AI에 전달한다. 정보를 받은 모델은 해당 내용을 다시 읽고 맥락을 파악해야 한다. 이 과정에서 요약에 포함되지 않은 정보가 사라질 수 있고, 텍스트를 생성하고 다시 읽는 데도 추가 연산이 필요하다.
연구진은 이런 한계를 줄이기 위해 AI가 이미 계산해 둔 내부 상태인 'KV 캐시'에 주목했다. AI 모델은 입력 문맥을 처리하면서 다음 토큰을 생성하는 데 필요한 계산 정보를 KV 캐시에 저장한다. 이를 활용하면 앞서 처리한 내용을 처음부터 다시 읽지 않고도 작업을 이어갈 수 있다.
SwaT는 한 모델의 KV 캐시를 다른 모델이 이해하고 활용할 수 있는 형태로 변환하는 기술이다. 송신 모델과 수신 모델의 내부 구조가 달라도 캐시를 직접 전달할 수 있도록 중간 변환기를 학습한다. 이때 두 AI 모델 자체는 미세조정하지 않고 고정한 채 변환기만 훈련하며, 고유 토큰 약 4400만개와 단일 GPU 기준 하루 미만의 자원만 소모된다.
연구진은 캐시 압축 기술인 '어텐션 매칭(Attention Matching)'을 SwaT와 결합해 성능을 평가했다. 다양한 대화 및 독해 벤치마크와 모델 조합을 대상으로 실험한 결과, 텍스트 요약 방식보다 평균 정확도가 40% 높았고 전체 처리 시간은 평균 4배 단축됐다. 텍스트를 생성하는 단계와 수신 모델이 이를 다시 읽는 프리필 과정이 필요하지 않기 때문이다.
실험에는 메타의 '라마', 알리바바의 '큐원', 구글의 '젬마', IBM의 '그래나이트', 미스트랄의 '미니스트랄', 허깅페이스의 '스몰LM' 등 서로 다른 기업과 연구 조직이 개발한 모델이 포함됐다. 연구진은 큐원에서 라마로, 젬마에서 큐원과 그래나이트로 정보를 전달하는 등 다양한 조합에서 기술이 작동하는 것을 확인했다.
특히 텍스트 전용 모델에 이미지 이해 능력을 전달하는 실험도 진행했다. 이미지 처리 기능을 갖춘 젬마 모델이 사진을 분석한 뒤 내부 상태를 SwaT로 텍스트 전용 모델에 전달하자, 수신 모델은 이미지 설명문만 전달받았을 때보다 관련 질문에 더 정확하게 답했다. 영어 텍스트만으로 학습한 변환기가 시각 정보를 전달하는 데도 활용된 것이다.
연구진은 중국어 지식 전달 가능성도 확인했다. 중국어 성능이 강한 큐원 3 4B의 내부 상태를 라마 3 8B에 전달한 결과, 라마는 중국어 평가 벤치마크 'CMMLU'의 67개 과목 전체에서 기존보다 성능을 높였다. 큐웬과 라마 사이의 점수 차이 가운데 약 4분의 3을 좁혔다.
아직 이 기술은 모든 AI 모델을 자유롭게 연결하는 범용 통신 기술인 것은 아니다. 송신과 수신 모델 조합마다 별도의 변환기를 학습해야 하므로 참여 모델이 늘어날수록 구축과 관리가 복잡해진다. 연구진은 향후 여러 모델이 공유하는 '공유 잠재 공간(Shared Latent Space)'을 구축해 변환기 수를 줄이는 방안을 후속 과제로 제시했다.
정보를 반복해서 전달하거나 여러 메시지를 하나로 합치는 작업도 아직 해결해야 할 문제다. 텍스트와 달리 KV 캐시는 반복적으로 결합할 때 정보가 손상될 수 있어, 여러 차례의 정보 교환을 안정적으로 처리하는 기술이 필요하다.
정보 보안과 검증 문제도 남아 있다. 현재 구현에서는 송신 모델이 처리한 텍스트에 접근할 수 있어 기존 방식처럼 텍스트 기반 모니터링이 가능하다. 그러나 전달되는 KV 캐시에는 원문에 명시되지 않은 정보까지 담길 수 있다. 연구진은 이 때문에 캐시 전송의 효과를 유지하면서도 정보의 감사 가능성과 안전성을 확보하는 연구가 필요하다고 설명했다.
이번 기술은 AI가 초능력처럼 서로의 생각을 읽게 됐다는 의미는 아니다. 한 모델이 계산 과정에서 만들어 둔 내부 정보를 다른 모델이 사용할 수 있도록 변환해 전달하는 데이터 처리 방식이다. 연구진이 '텔레파시'라는 이름을 붙인 것도 인간의 언어를 거치지 않고 모델 내부 상태를 직접 주고받는다는 점을 강조하기 위해서다.
그럼에도 SwaT는 AI 모델 간 소통 방식이 텍스트 중심에서 벗어날 가능성을 보여준다. 서로 다른 구조와 학습 방식을 가진 모델이 각자의 내부 표현을 유지하면서도 정보를 공유할 수 있다면, 여러 AI 에이전트가 역할을 나눠 협력하는 시스템의 효율도 높아질 수 있다.
연구진은 SwaT 코드를 깃허브에 공개했다. 고유 토큰 4400만개와 GPU 기준 하루 미만의 학습만으로 구축할 수 있으며, 발신 모델과 수신 모델을 별도로 미세조정할 필요가 없다고 설명했다.
박찬 기자 cpark@aitimes.com