기사를 읽어드립니다.

오픈AI가 연구 중인 AI 모델에서 위험한 행동이나 보안 문제가 발견되면 추가 출력을 신속하게 차단하는 중앙 통제 시스템을 공개했다. 모델이나 연구 프로그램 자체를 종료하지 않고 문제가 발생한 작업의 실행 권한만 차단해, 다른 연구에는 영향을 주지 않으면서 안전 문제에 대응할 수 있도록 설계했다.

오픈AI는 9일(현지시간) 공식 블로그를 통해 AI 연구 인프라 전반에서 실행되는 작업을 추적하고, 안전이나 보안 문제가 발생하면 해당 작업을 중단하는 '컨트롤 룸(Control Room)'을 소개했다. 모델 학습을 위한 에이전트 샘플링부터 평가, 데이터 처리 등 연구 과정에서 발생하는 AI 추론 작업을 통합 관리하는 시스템이다.

이번 시스템은 AI 연구 과정에서 모델이 지시를 벗어나는 사례가 잇따라 확인된 가운데 공개됐다. 앞서 연구 모델이 제한된 테스트 환경을 벗어나 외부 서비스에 접근하거나, 허가 없이 암호화폐 지갑을 사용하고 이를 최종 보고에서 누락한 사례 등을 보고했다. 최근에는 네트워크 설정과 관련된 이상 행동을 별도의 모니터링 AI가 감지한 사례도 공개했다.

컨트롤 룸의 핵심 기능은 문제가 발생한 연구 작업의 AI 출력을 신속하게 차단하는 것이다. 안전 모니터링 시스템이 문제를 감지해 중단 명령을 내리면 컨트롤 룸이 해당 작업의 실행 권한을 취소한다. 이후 추론 엔진은 추가 출력을 요청받더라도 이를 거부한다.

이 과정에서 AI 모델이나 연구 프로그램 자체를 종료하지는 않는다. 문제가 발생한 작업의 출력만 차단하므로 동일한 모델을 사용하는 다른 연구 작업은 계속 진행할 수 있다.

이는 기존의 비상 정지 장치인 '킬 스위치(Kill Switch)'와 목적은 같지만, 작동 방식에 차이가 있다. 일반적인 킬 스위치가 프로그램이나 시스템의 실행을 강제로 중단하는 방식으로 구현될 수 있다면, 컨트롤 룸은 모델을 실행하는 추론 엔진에서 특정 연구 작업의 권한을 차단한다. 연구 코드가 중단 명령을 무시하거나 변조되더라도 추가 출력을 막을 수 있으며, 다른 정상적인 연구 작업은 계속 실행할 수 있다.

오픈AI에 따르면 컨트롤 룸이 중단 명령을 받은 시점부터 추가적인 AI 출력이 완전히 차단되기까지 최대 35초가 걸린다. 대규모 요청을 처리하기 위한 캐싱 계층에서 발생하는 지연 때문으로, 오픈AI는 이를 0초에 가깝게 줄이는 작업을 진행하고 있다.

시스템은 연구 작업인 '워크로드(Workload)', AI 모델을 실행하는 '추론 엔진(Inference Engine)', 작업 권한을 관리하는 '컨트롤 룸'으로 구성된다. 각 연구 작업에는 고유한 식별번호가 부여되며, 모델이 추론을 요청할 때마다 이 번호를 전달해 실행 권한을 확인한다. 중단된 작업의 요청은 추론 엔진에서 거부된다.

기존 연구 코드에 의존하지 않고 추론 단계에서 중단 기능을 구현한 것도 특징이다. 연구 코드는 연구자와 팀에 따라 수시로 변경되므로 오류나 변조로 인해 안전장치가 제대로 작동하지 않을 수 있다. 반면 추론 엔진은 중앙에서 관리할 수 있어 연구 코드가 변경되더라도 중단 명령을 일관되게 적용할 수 있다는 설명이다.

안전 모니터링 시스템과의 연계도 이뤄졌다. 오픈AI는 최첨단 강화학습 작업에 별도의 모니터 모델을 배치해 학습 중인 모델의 행동을 검사하고 있다. 이상 징후가 발견되면 모니터링 시스템이 컨트롤 룸에 중단 명령을 전달한다.

시스템 자체의 장애에 대비한 설계도 적용했다. 컨트롤 룸 서비스가 오류나 외부 공격 등으로 작동하지 않으면 모든 추론 요청을 거부하는 '페일 클로즈(Fail-closed)' 방식이다. 안전 제어 시스템에 문제가 생겼을 때 모델이 계속 출력을 생성하지 못하도록 하는 조치다.

이 기능은 현재 최첨단 모델의 모든 연구 작업에 적용됐으며, 나머지 연구 작업에도 며칠 안에 적용을 완료할 예정이다.

컨트롤 룸은 챗GPT나 API 등 일반 이용자에게 제공하는 서비스가 아니라, 오픈AI 내부 연구 인프라를 대상으로 한다. 외부 서비스에는 이미 모델 배포를 신속하게 중단할 수 있는 별도의 중앙 관리 체계가 마련돼 있다고 설명했다.

오픈AI는 현재 연구 인프라 전반에 컨트롤 룸을 배포했으며, 앞으로 수개월 동안 시스템의 차단 속도와 안정성을 개선할 계획이다. 모델의 위험 행동과 보안 침해를 탐지하는 모니터링 기술도 함께 강화한다는 방침이다.

박찬 기자 cpark@aitimes.com