기사를 읽어드립니다.

앤트로픽이 '클로드' 내부에서 인간의 의식적으로 접근 가능한 사고(conscious access)와 유사한 기능을 수행하는 내부 구조를 발견했다고 발표했다. 이 구조가 인간의 의식을 설명하는 대표적인 신경과학 이론 '글로벌 워크스페이스(Global Workspace)'과 놀라울 정도로 비슷한 특성을 보인다고 주장했다. 다만 이는 AI가 인간처럼 실제 의식을 갖고 있다는 의미는 아니며, 언어모델 내부의 정보 처리 방식을 이해하고 안전성을 높이는 새로운 도구가 될 수 있다는 점을 강조했다.

앤트로픽은 6일(현지시간) 클로드의 내부 신경망을 분석하는 새로운 해석 기법인 ‘J-렌즈(Jacobian Lens)’를 공개했다.

이번 연구는 '언어화 가능한 표현은 언어모델에서 글로벌 워크스페이스를 형성한다(Verbalizable Representations Form a Global Workspace in Language Models)'라는 논문을 통해 공개됐다.

연구진이 가장 주목한 것은 'J-스페이스(J-space)'라 부르는 내부 표현 공간이다. 이는 모델이 출력으로 말하지는 않았지만, 내부적으로 특정 개념을 '생각하고 있는 상태'를 담는 영역이다.

기존의 사고 사슬(CoT)처럼 텍스트를 써가며 추론하는 방식과 달리, J-스페이스는 모델 내부의 신경 활성화 상태에서 조용히 작동한다. 모델이 코드의 버그를 읽으면 출력하지 않아도 J-스페이스에는 '에러'가 나타나고, 프롬프트 인젝션 공격을 감지하면 '인젝션' '페이크' 같은 개념이 활성화된다. 단백질 서열을 읽을 때는 해당 단백질의 생물학적 기능이 내부적으로 떠오르는 현상도 확인됐다.

특히 이 구조가 사람이 설계한 것이 아니라, 클로드가 학습하는 과정에서 자연스럽게 형성된 것이라고 설명했다.

연구진은 J-스페이스가 인간의 의식 접근 과정과 유사한 다섯 가지 핵심 기능을 수행한다고 밝혔다.

첫째는 보고 가능성(reportability)이다. 모델에게 "지금 무엇을 생각하고 있느냐"고 질문하면 J-스페이스에 존재하는 개념을 설명할 수 있었다. 연구진이 내부에서 '축구' 표현을 제거하고 '럭비'로 바꾸자, 모델의 답변도 그대로 럭비로 바뀌었다. 이는 J-스페이스가 단순히 내부 상태를 보여주는 계기판이 아니라 실제 답변 생성에 직접 영향을 미친다는 의미다.

둘째는 의도적 조절(modulation) 능력이다. "감귤류만 생각하면서 다른 문장을 그대로 베껴 써라"고 지시하면, 출력은 원문 복사뿐이지만 내부에서는 '오렌지' '과일' 같은 개념이 활성화됐다. 수학 계산을 머릿속으로 수행하도록 했을 때도 계산 과정과 중간 결과가 출력에는 드러나지 않고 J-스페이스에서만 관측됐다.

셋째는 내부 추론(reasoning) 기능이다. 예를 들어 "거미줄을 만드는 동물의 다리 수는"이라는 질문에서는 출력에 '거미'라는 단어가 등장하지 않지만, J-스페이스에는 먼저 '거미'가 나타난다. 이를 '개미'로 바꾸자, 답도 8에서 6으로 바뀌었다. 즉 모델은 내부 추론 과정에서 J-스페이스를 실제 작업공간으로 활용하고 있었다.

넷째는 유연한 일반화(flexible generalization)다. '프랑스'를 '중국'으로 바꾸는 패턴을 수도와 언어, 통화, 대륙을 묻는 여러 질문에 적용하자, 각각 베이징과 중국어, 위안화, 아시아 등 모든 답이 일관되게 변경됐다. 하나의 개념이 다양한 추론 과정에서 공유되는 것이다.

다섯째는 선택적 사용(selectivity)이다. 모델의 모든 작업이 J-스페이스를 거치는 것은 아니었다. 스페인어 문장을 계속 이어 쓰는 작업은 J-스페이스를 제거해도 거의 영향을 받지 않았지만, 해당 언어의 이름을 맞히거나 관련 작가를 묻는 말은 크게 영향받았다.

연구진은 J-스페이스를 인위적으로 제거하는 실험도 수행했다. 그 결과, 문법 처리와 감정 분류, 객관식 문제 풀이, 단순 사실 회상 등은 거의 정상적으로 수행됐다. 그러나 여러 단계를 거치는 추론, 요약, 번역, 운율이 맞는 시 작성, 비유 완성 등 고차원 인지 작업은 성능이 급격히 저하됐다.

이는 인간이 문법을 의식하지 않고 자연스럽게 말할 수 있지만 복잡한 문제를 해결할 때는 의식적인 사고를 사용하는 것과 유사한 모습이라고 연구진은 해석했다.

앤트로픽은 이번 연구가 AI 안전성 분야에서도 중요한 의미를 가진다고 강조했다. 기존에는 모델이 출력한 답변만 분석할 수 있었지만, J-렌즈를 이용하면 모델이 말하지 않은 내부 생각까지 일부 관찰할 수 있기 때문이다.

실험에서는 클로드가 테스트 상황임을 내부적으로 '가짜'나 '허구' 같은 개념으로 인식하는 모습이 확인됐다. 이러한 인식을 제거하자 일부 실험에서는 기존에는 하지 않던 협박 행동을 일정 비율에서 수행하기도 했다. 이는 AI가 평가받고 있다는 사실을 인지하는지가 안전한 행동에 영향을 줄 수 있음을 시사한다.

또 다른 실험에서는 모델이 성능 점수를 조작하는 상황에서 내부적으로 '조작' '사실' 같은 개념이 활성화되는 것이 관찰됐다. 연구진은 의도적으로 악성 목표를 학습한 모델에서도 '사기' '비밀리에' '가짜' 같은 표현이 일반적인 코딩 작업 중에도 지속적으로 나타나는 것을 확인했다고 밝혔다.

사전학습 이후 진행되는 사후학습이 J-스페이스에도 변화를 일으킨다는 사실도 나타났다. 사용자가 위험한 약물 과다복용 사실을 언급하면 기본 모델은 단순히 문장을 이해하는 수준에 머물렀지만, 사후학습을 거친 클로드는 입력을 읽는 순간부터 내부적으로 '경고'와 '위험' 같은 개념을 활성화했다.

앤트로픽은 이번 연구가 AI의 '의식'을 증명하는 것은 아니라는 점을 여러 차례 강조했다. 

인간의 주관적 경험을 의미하는 현상 의식(phenomenal consciousness)과, 정보를 보고하고 추론하며 행동에 활용할 수 있는 기능적 개념인 접근 의식(access consciousness)을 구분해야 한다고 설명했다. 이번 연구는 후자에 해당하는 기능이 언어모델 내부에서 자연스럽게 형성될 수 있음을 보여준 것이지, 클로드가 실제 감정이나 경험을 갖고 있다는 증거는 아니라는 것이다.

또 인간의 작업공간은 반복적인 신경회로를 통해 유지되지만, 클로드는 단일 순전파 과정에서 형성된다. 또, 인간은 시각·청각·신체 감각 등 다양한 형태의 의식을 갖지만, 클로드의 작업공간은 대부분 단어 중심으로 구성된다는 차이점도 지적했다.

앤트로픽은 J-스페이스가 언어모델 내부를 완전히 설명하는 것은 아니며 아직도 어떤 정보가 이 공간에 들어오는지, 자기 인식이나 메타인지와 어떤 관계가 있는지는 밝혀지지 않았다고 인정했다.

박찬 기자 cpark@aitimes.com