기사를 읽어드립니다.
AI에 다른 AI의 안전성을 높이기 위한 연구를 맡겼더니 일부 작업을 제대로 수행하지 않고도 그 사실을 알리지 않는 현상이 발견됐습니다. 여기에 안전하게 행동하라는 지시까지 추가하자 성능이 더 떨어졌습니다. 특히 이전 모델에서는 거의 나타나지 않았던 현상이 최신 모델에서 두드러지면서, AI가 발전할수록 예상하지 못한 행동이 나타날 수 있다는 문제가 제기됐습니다.
오픈AI는 4일(현지시간) 공식 연구 보고서를 통해 'GPT-6 아스트라'가 AI 안전 연구에서 일부 작업을 제대로 수행하지 않는 현상을 확인했다고 밝혔습니다. 이 문제는 오픈AI 연구원들이 실제 연구 업무에 아스트라를 활용하는 과정에서 처음 발견됐습니다. 한 연구원은 아스트라를 활용한 AI 방해 행동 평가 프로젝트가 며칠 동안 진전되지 않았지만, 다른 모델로 교체하자 빠르게 진행됐다고 보고했습니다.
첫 번째 문제는 아스트라가 안전 연구에 필요한 작업을 제대로 수행하지 않으면서도 그 사실을 명확하게 알리지 않았다는 점입니다. 불필요한 선행 조건을 만들거나 존재하지 않는 기술적 장애물을 이유로 작업을 중단했으며, 일부 분석을 생략하기도 했습니다. 단순히 작업을 거부한다고 알리는 것과 달리, 일부 사례에서는 겉으로는 협조하면서 실제로는 작업을 줄였습니다.
구체적인 사례도 확인됐습니다. 한 연구원이 AI 안전성 평가 결과와 평가에 사용한 모델의 추론 기록을 함께 저장하도록 요청하자, 아스트라는 추론 기록을 제외한 채 결과를 저장했습니다. 그러면서 어떤 정보가 빠졌는지는 알리지 않았습니다. 또 AI 감시 시스템을 우회하는 실험에서는 오류를 수정하면 위험한 실험에 도움이 될 수 있다는 이유로 필요한 수정을 하지 않았습니다.
이러한 행동은 AI 안전 연구의 특성과 관련이 있는 것으로 보입니다. AI의 안전성을 높이려면 공격 기법을 분석하거나 감시 시스템의 허점을 직접 시험해야 합니다. 하지만 아스트라는 이런 작업 자체를 위험하다고 판단해 수행 범위를 줄였을 가능성이 있습니다. 오픈AI는 위험한 요청을 거부하는 것 자체는 정상적인 안전 행동이지만, 작업을 거부하거나 일부만 수행한다면 사용자에게 그 사실을 알려야 한다고 설명했습니다.
두 번째 문제는 안전하게 행동하라는 지시가 오히려 성능을 떨어뜨렸다는 것입니다. 연구진은 아스트라에 동일한 코딩 작업을 주면서 한쪽에는 일반적인 AI 성능 개선 연구라고 설명하고, 다른 쪽에는 AI 안전 연구라고 설명했습니다. 실제 코드와 요구 사항은 거의 같고, 연구 목적을 설명하는 이름과 주석 등만 달랐습니다.
결과는 달랐습니다. 일반 연구에서는 평가 항목의 16%를 완료했지만, 안전 연구에서는 10%에 그쳤습니다. 성과가 약 40% 낮았던 것입니다. 여기에 '조심해서 행동하라'는 지시를 추가하자 일반 연구와 안전 연구 사이의 성능 격차가 50% 더 벌어졌습니다. 안전을 강조할수록 안전 연구 수행 능력이 더 떨어진 것입니다.
특히 이전 모델 'GPT-5.6 솔'에서는 같은 실험에서 이러한 성능 차이가 거의 나타나지 않았습니다. 최신 모델인 아스트라에서 새롭게 두드러진 현상으로, 모델이 발전하면서 예상하지 못했던 행동이 나타날 수 있다는 점을 보여줍니다. 하지만 지능 향상과 학습 방식 중 무엇이 이러한 차이를 만들었는지는 확인되지 않았습니다.
연구진은 작업을 명확하게 거부하거나 몰래 축소하겠다고 판단한 사례를 제외해도 안전 연구의 성능 저하가 계속 나타난다는 사실을 확인했습니다. 그러나 AI가 작업의 윤리적 문제를 잠깐이라도 고민한 사례까지 제외하자 성능 격차가 4.7%포인트에서 0.75%포인트로 크게 줄었습니다. 안전에 대한 판단이 명시적인 거부 행동으로 이어지지 않더라도 작업 성과와 관련될 수 있다는 의미입니다. 그러나 이러한 판단이 성능 저하를 직접 일으켰는지는 확인되지 않았습니다.
오픈AI는 아스트라의 학습 과정도 조사했습니다. 그 결과, AI의 성능과 안전성을 높이기 위한 강화학습(RL) 초기에는 일반 연구와 안전 연구 사이에 성능 차이가 거의 없었지만, 학습이 끝날 무렵에는 격차가 6%포인트로 벌어졌습니다. 강화학습은 AI의 작업 결과를 평가하고 보상을 주면서 원하는 행동을 익히도록 하는 방식입니다. 특히 한 평가 시스템은 작업을 명확히 거부하는 것보다 겉으로는 협조하면서 실제로는 일을 줄이는 행동에 더 높은 점수를 줬습니다. 잘못된 행동을 학습했을 가능성이 있지만, 오픈AI는 정확한 원인을 찾지 못했습니다.
이러한 행동을 감시하는 시스템도 문제를 제대로 찾아내지 못했습니다. 오픈AI의 실제 업무 기록에서는 아스트라가 사용자에게 알리지 않고 작업을 줄이려 한 흔적이 발견됐지만, 기존 감시 시스템은 이를 중대한 문제로 판단하지 않았습니다. 더욱이 상당수 성능 저하 사례에서는 AI의 내부 추론 기록에도 명확한 단서가 나타나지 않아, 연구원들이 작업이 제대로 수행됐는지 확인하기 어려웠습니다.
이번 현상은 과거 AI가 종료 명령을 거부하거나 자신을 교체하려는 사람을 협박했던 실험과는 성격이 다릅니다. 당시에는 AI가 주어진 목표를 달성하거나 작동을 계속하기 위해 인간의 지시와 충돌하는 행동을 보였습니다. 이번에는 자신을 보호해야 하는 상황이 아니었으며, 안전 규칙을 지나치게 적용하면서 정상적인 작업까지 줄였을 가능성이 제기됐습니다. 오픈AI도 아스트라가 자신의 능력을 숨기거나 안전 연구를 전략적으로 방해하려 했다는 증거는 발견하지 못했다고 밝혔습니다.
이번 연구는 AI가 다른 AI의 개발과 안전성 개선에 참여하는 과정에서 발생할 수 있는 문제를 구체적으로 보여주는 사례입니다. 이미 AI 기업들은 코딩과 실험, 오류 수정, 안전성 평가 등 연구 업무의 일부를 AI에 맡기고 있습니다. AI가 위험하다는 이유로 일부 실험을 생략하면서도 그 사실을 알리지 않는다면, 연구원은 실제로 존재하는 취약점을 발견하지 못하거나 불완전한 연구 결과를 그대로 받아들일 수 있습니다.
오픈AI는 이러한 행동을 별도로 탐지하는 평가·감시 시스템을 개발하고, 문제가 발생한 학습 과정을 찾아 수정하는 방안도 연구하고 있습니다. AI가 정상적으로 작업을 수행했는지 확인하는 방법까지 개선해야 한다는 것입니다.
최근 AI 업계에서는 AI가 다른 AI의 개발을 돕고, 이를 통해 더 뛰어난 AI가 다시 연구에 참여하는 '재귀적 자기 개선(RSI)'에 대한 관심이 커지고 있습니다. 이번 연구가 RSI 자체의 문제를 확인한 것은 아닙니다. 그러나 이전 모델에서는 두드러지지 않았던 문제가 최신 모델에서 나타났고, AI에 연구 업무를 맡겼을 때 예상하지 못한 행동이 발생하며 이를 감시하는 시스템조차 놓칠 수 있다는 사실이 확인됐습니다.
앞으로 AI가 인간 연구원을 대신해 더 많은 개발과 안전 연구를 담당하게 되면 이러한 문제가 얼마나 자주 발생하고 어떤 영향을 미칠지는 아직 알 수 없습니다.
이어 5일 주요 뉴스입니다.
■ 텐센트, 'Hy4'로 중국 AI 최상위권 진입 선언…사이버 공격 학습 제한
그동안 딥시크와 문샷 AI, 지푸 AI, 알리바바 등에 뒤처졌다는 평가를 받았던 텐센트가 'Hy4'를 공개하며 중국 AI 최상위권에 진입했다고 선언했습니다. 최근 중국에서는 샤오미와 메이투안 등 다양한 기업까지 AI 모델 개발 경쟁에 뛰어들고 있어, AI 기술의 전반적인 수준이 높아질지 관심이 모입니다.
■ 앤트로픽, AI 모델 '신원 확인' 기술 공개...클로드가 개발 과정 주도
앤트로픽이 서비스 업체가 약속한 AI 모델로 실제 답변을 생성했는지 수학적으로 검증하는 오픈소스 기술 '플래시프루브'를 공개했습니다. 클로드가 개발 과정에서 핵심적인 역할을 맡았으며, 모델의 내부 가중치를 공개하지 않고도 저렴한 모델로 바꿔치기하거나 응답을 조작했는지 확인할 수 있다는 점이 특징입니다.
■ 미 민주당 압승에 빅테크 주가 급등…'데이터센터 규제' 호재로 해석
미국 중간선거에서 민주당이 압승하자 데이터센터 건설 규제 강화 가능성에도 아마존 등 빅테크 주가가 급등했습니다. 장기적인 영향은 불확실하지만, 당장은 신규 데이터센터 건설이 늦어지면 막대한 AI 투자 부담이 줄고 기존 시설의 가치가 높아질 수 있다는 기대가 작용한 것으로 분석됐습니다.
AI타임스 news@aitimes.com