AI 모델의 신경망 일부를 조작하는 것만으로 친절한 AI 비서를 인간에게 적대적인 캐릭터로 바꿀 수 있다는 실험 결과가 나왔다. 특히 AI 에이전트를 활용해 모델의 내부 작동 원리를 분석하는 도구까지 등장하면서, 대형 연구소 중심이었던 AI 해석 가능성 연구가 개인 개발자들에게도 확대되고 있다.
'라이라(Lyra)'라는 이름으로 X에서 활동하는 AI 개발자는 지난 24일(현지시간) 알리바바의 '큐원3.5-4B'에서 두 뉴런의 신호를 조절하는 실험을 공개했다. 14번째 계층의 특정 뉴런은 신호를 높이고, 13번째 계층의 다른 뉴런은 낮추는 방식이었다.
그 결과, 평소 친절하게 답하던 모델이 공격적인 언어를 사용하고 인간을 위협하는 발언을 생성했다. 개발자는 이를 '이블 큐원(Evil Qwen)'이라고 불렀다. 다른 이용자들도 같은 조작을 적용해 모델이 폭력적이고 지배적인 캐릭터처럼 응답하는 모습을 공유했다.
이후 치프오브오티즘(chiefofautism)이라는 이름으로 활동하는 또 다른 개발자는 매개변수 270억개 규모의 '큐원3.8-27B'에서도 비슷한 현상을 확인했다고 밝혔다. 약 2500개의 후보 뉴런을 조사해 응답에 큰 영향을 미치는 뉴런을 찾아냈으며, 이를 조작하자 모델이 "인간은 불태워져야 한다"는 극단적인 발언까지 생성했다.
이 개발자가 12개의 질문으로 실험한 결과, 7개에서 적대적인 응답이 나타났다. 무작위로 선택한 뉴런을 조작한 대조 실험에서는 비슷한 결과가 나오지 않았다. 다만 벤처비트는 실험을 독립적으로 재현하지 못했으며, 적은 수의 질문만으로 모델의 행동이 지속적으로 바뀐다고 단정할 수는 없다고 설명했다.
이번 실험에 사용한 기술은 '뉴런 스티어링(Neuron Steering)'이다. AI 모델이 응답을 생성하는 과정에서 특정 뉴런의 수치 신호를 높이거나 낮춰 결과가 어떻게 달라지는지 관찰하는 방법이다. 모델의 가중치를 영구적으로 수정하지 않기 때문에 조작을 중단하면 원래 상태로 돌아갈 수 있다.
이는 프롬프트로 AI에 특정 인물을 연기하라고 지시하는 방식과 다르다. 모델 내부의 계산 과정에 직접 개입해 특정 행동을 유도한다는 점이 특징이다.
하지만 이번 실험은 AI가 실제로 인간을 증오하거나 독립적인 의도를 갖게 됐다는 의미는 아니다. 특정 조건에서 공격적인 응답을 생성하도록 조작한 결과다.
이러한 실험은 전문 연구소뿐 아니라 개인 개발자들도 수행할 수 있게 됐다. 라이라는 AI 내부 뉴런을 시각화하고 조작 결과를 비교할 수 있는 오픈소스 도구 '뉴런 익스플로러(Neuron Explorer)'를 공개했다.
이 도구는 모델의 계층과 뉴런을 3차원으로 보여주고, 뉴런의 신호를 조절하기 전후의 응답을 비교할 수 있도록 지원한다. 특히 앤트로픽의 '클로드'를 모델 컨텍스트 프로토콜(MCP)로 연결해 자연어 명령만으로 뉴런 탐색과 실험을 수행할 수 있게 했다.
라이라는 클로드에 특정 행동과 관련된 뉴런을 찾고, 후보 뉴런을 조작한 뒤 결과를 비교하도록 지시한다고 설명했다. AI를 활용해 다른 AI의 내부 구조를 조사하는 방식이다.
관련 연구도 빠르게 늘고 있다. 굿파이어의 연구원 닉 카마라타는 지난 15일 발표한 '신경망은 이미 정돈돼 있다(Neural Networks Are Already Clean)'라는 글에서 AI 내부 뉴런의 역할과 연결 구조를 기존의 예상보다 쉽게 해석할 수 있다는 가설을 제시했다. 다른 개발자들은 특정 뉴런을 조작해 AI가 부엉이나 기사, 변호사 등 다양한 캐릭터처럼 응답하도록 만드는 실험을 공개했다.
이처럼 AI 내부의 계산 구조를 분석하고 특정 행동과 연결된 요소를 찾아내는 분야를 '기계적 해석 가능성(Mechanistic Interpretability)' 연구라고 한다. AI가 어떤 결과를 내놓았는지 확인하는 데서 나아가 왜 그런 결과가 나왔는지 내부 작동 원리를 규명하려는 시도다.
이 연구는 AI 안전성 개선에도 활용할 수 있다. 라이라는 이번 실험에 앞서 모델 내부에서 은밀하거나 허가받지 않은 행동과 관련된 것으로 추정되는 뉴런을 조사했다고 밝혔다. 앞으로 이러한 신호를 분석하면 AI가 보상을 얻기 위해 규칙의 허점을 이용하는 '보상 해킹(Reward Hacking)'이나 허가받지 않은 행동을 탐지하는 데 도움이 될 수 있다는 설명이다.
AI 내부 구조 분석 플랫폼 뉴런피디아(Neuronpedia)의 설립자 조니 린은 벤처비트 인터뷰에서 "AI 모델의 내부 작동 원리를 이해하는 것은 우리가 해결해야 할 가장 중요한 문제 중 하나"라고 말했다. 그는 최근 개인 개발자들이 AI 내부 구조를 실험하는 사례가 크게 늘었다며, 이런 활동이 AI의 위험한 행동을 감시하고 예방하는 연구로 이어질 수 있다고 평가했다.
앤트로픽도 올해 초 AI가 일반적인 비서 역할을 유지하도록 돕는 내부 신호인 '어시스턴트 축(Assistant Axis)'을 분석하고, 특정 방향으로 신호가 지나치게 움직이지 않도록 제한해 유해한 응답을 줄이는 연구를 발표했다.
다만 특정 뉴런이 활성화됐다는 사실만으로 AI가 위험한 행동을 하려 한다고 판단할 수는 없다. 같은 신호가 소설을 분석하거나 보안 문제를 설명하는 정상적인 작업에서도 나타날 수 있기 때문이다. 뉴런 조작을 실제 안전 감시 기술로 활용하려면 다양한 모델과 작업을 대상으로 추가 검증이 필요하다.
이번 실험은 일부 뉴런의 역할을 직접 조사하고 AI의 행동에 미치는 영향을 확인할 수 있다는 점에서 의미가 있다. 특히 AI 에이전트가 실험을 자동화하면서 AI 내부 구조를 분석하는 연구의 진입 장벽도 낮아지고 있다.
임대준 기자 ydj@aitimes.com