기사를 읽어드립니다.

오픈AI가 AI 모델이 추론 과정을 외부에 드러내지 않고도 문제를 해결하는 '노-CoT(No-CoT)' 능력이 학습 과정에서 향상된다는 연구 결과를 공개했다. 특히 'GPT-6 아스트라'에서 두드러진 추론 감시 성능 저하와 관련해 모델 구조와 학습 방식이 추론 감시 관련 능력에 미치는 영향을 분석하고, 기존 안전 감시 기술의 한계를 경고했다.

오픈AI는 10일(현지시간) 정렬 연구 블로그를 통해 사전학습과 모델 구조, 강화학습, AI가 생성한 학습 데이터가 '사고의 사슬(CoT·Chain of Thought)' 감시 가능성에 미치는 영향을 분석한 연구 결과를 발표했다. 이번 연구에는 야쿠브 파초키 오픈AI 수석과학자도 공동 지도 연구자로 참여했다.

CoT 모니터링은 AI가 최종 답변을 생성하기 전에 작성하는 중간 추론 내용을 분석해 위험한 행동이나 숨겨진 의도를 탐지하는 기술이다. AI가 잘못된 행동을 계획하거나 주어진 지시를 어기려 할 때 추론 과정에서 단서를 찾아내는 방식으로, 오픈AI는 이를 고성능 AI 에이전트의 핵심 안전장치로 활용해 왔다.

노-CoT는 AI가 문제 해결 과정을 글로 작성하지 않고도 내부 연산만으로 답을 찾아내는 능력이다. 추론 자체가 사라지는 것이 아니라, 외부에서 확인할 수 있는 중간 추론 과정이 줄어든다는 의미다. AI가 이런 방식으로 복잡한 작업을 처리할수록 사고 과정을 분석해 위험 행동을 탐지하는 CoT 모니터링의 효과도 제한될 수 있다.

지난 9월 출시한 GPT-6 아스트라에서는 이전 모델보다 추론 감시 성능이 저하되는 현상이 나타났다. 일반적인 환경에서도 위험 행동을 탐지하기 어려워졌으며, 감시 회피를 지시하는 적대적 평가에서는 추론 과정을 조절해 감시를 피하는 능력이 높아졌다. 노-CoT 능력도 이전 모델보다 크게 향상됐다.

앞서 파초키 수석과학자는 지난 9월6일 발표한 기고문에서 AI가 자신의 추론 과정을 조절하고 이를 외부에 드러내지 않고도 문제를 해결하는 능력이 높아지면서 기존 CoT 감시의 신뢰성이 점차 떨어지고 있다고 경고했다. 이번 연구는 당시 그가 지적한 현상의 원인을 학습 단계별로 분석한 것이다.

이러한 변화가 아스트라의 새로운 모델 구조와 관련됐을 가능성도 제기돼 왔다. 앞서 디 인포메이션은 아스트라가 내부 연산을 반복하는 '순환 깊이(Recurrent Depth)' 기술을 활용했을 가능성을 보도했다. 이 기술은 추론 내용을 길게 출력하지 않고도 내부적으로 여러 단계의 계산을 수행할 수 있어 CoT 감시의 한계와 관련해 주목받았다.

이번 연구에서도 모델 구조가 노-CoT 능력에 영향을 미칠 수 있다는 결과가 나왔다. 오픈AI는 서로 다른 세 가지 모델 구조를 비교한 결과, 일부 구조가 동일한 사전학습 성능에서도 중간 추론 없이 여러 단계의 계획과 순차 계산을 수행하는 능력이 더 뛰어나다는 사실을 확인했다.

특히 '아키텍처 2(Architecture 2)'로 표시된 구조는 다단계 계획과 순차 계산 평가에서 다른 구조보다 높은 성능을 보였다. 그러나 오픈AI는 각 구조의 구체적인 설계나 아스트라와의 관계를 공개하지 않았다. 따라서 순환 깊이 기술이 실제 추론 감시 성능 저하에 어느 정도 영향을 미쳤는지는 확인되지 않았다.

세 가지 AI 모델 구조의 중간 추론 없는 문제 해결 능력 비교. 아키텍처 2(파란색)는 순차적 다단계 계산과 계획 수립 평가에서 다른 구조보다 높은 성능을 보였다. (사진=오픈AI)

오픈AI는 모델 구조 외에도 노-CoT와 'CoT 통제 가능성(CoT Controllability)'이 학습 과정에서 어떻게 달라지는지 분석했다. CoT 통제 가능성은 모델이 자신의 추론 내용을 지시에 따라 추가하거나 삭제하고 표현 방식을 조절하는 능력이다. 두 능력 모두 외부에서 추론 과정을 관찰하기 어렵게 만들 수 있다는 점에서 중요하다.

연구진은 GPT-5부터 아스트라 계열 모델까지 비교한 결과, 사전학습을 통해 모델의 예측 정확도가 높아질수록 노-CoT 능력도 일관되게 향상된다는 사실을 확인했다. 이는 AI의 전반적인 성능이 높아지는 것만으로도 외부에 추론 내용을 드러내지 않고 문제를 해결하는 능력이 커질 수 있다는 의미다.

강화학습(RL)에서도 비슷한 변화가 나타났다. 오픈AI는 추론 내용을 직접 평가하거나 보상하지 않고 최종 답변의 정확성과 길이만 평가하는 환경에서 실험했다. 그런데도 학습이 진행될수록 모델이 자신의 CoT를 지시에 맞춰 조절하는 능력이 크게 높아졌다. 도구 사용 과정을 추가로 감독했을 때도 통제 능력이 소폭 향상됐다.

이러한 특성이 다음 세대 모델로 전달될 수 있다는 사실도 확인했다. 연구진은 성능은 비슷하지만 CoT 통제 능력이 다른 두 아스트라 계열 모델이 생성한 데이터로 동일한 기반 모델을 각각 미세조정했다. 그 결과 추론 통제 능력이 높은 모델의 데이터로 학습한 후속 모델에서도 같은 특성이 강하게 나타났다.

이는 AI가 생성한 데이터를 차세대 모델의 학습에 활용하는 과정에서 추론 감시와 관련된 특성까지 전달될 수 있다는 의미다. 오픈AI는 모델 구조와 학습 방식뿐 아니라 학습 데이터의 선택도 향후 안전 감시에 영향을 미칠 수 있다고 설명했다.

연구진은 이러한 결과가 실제 감시 회피 능력의 향상을 직접 입증하는 것은 아니라고 밝혔다. CoT 통제 능력이 높은 모델이 반드시 감시 회피 평가에서도 높은 성공률을 보이지는 않았으며, 일부 실험에서는 반대 결과도 나타났다. 노-CoT 능력과 CoT 통제 가능성이 실제 감시 회피 위험을 측정하는 불완전한 지표라는 설명이다.

오픈AI는 아스트라 이후 최첨단 모델의 강화학습과 출시 전 안전성 평가에서 감시 회피 능력을 별도로 추적하고 있다. 이번 연구를 통해 사전학습과 강화학습을 확대하는 것만으로도 기존 CoT 감시가 어려워질 가능성을 확인했으며, 앞으로 모델의 실제 행동과 내부 작동까지 분석하는 새로운 감시 기술을 개발해야 한다고 강조했다.

임대준 기자 ydj@aitimes.com