기사를 읽어드립니다.
앤트로픽이 AI를 활용한 연구개발이 급격히 빨라지면서 안전성과 보안 대책을 마련하는 속도를 앞지를 수 있다고 경고했다. 특히 과거에도 개발 속도가 크게 빨라진 사실을 뒤늦게 파악한 적이 있다고 인정하며, 재귀적 자기개선(RSI)에 대비해 인간의 감독과 통제 체계를 강화할 필요성을 제기했다.
테크크런치는 2일(현지시간) 앤트로픽이 기업공개(IPO)를 위해 미국 증권거래위원회(SEC)에 제출한 증권신고서 수정본(S-1/A)에 이 같은 위험을 구체적으로 추가했다고 보도했다.
지난달 26일 최초 신고서에서도 RSI의 가능성과 위험을 언급했지만, 이번에는 자체 평가를 근거로 AI 연구개발 가속 기준에 곧 도달할 수 있다는 전망과 이에 따른 안전 관리의 어려움을 명시했다.
앤트로픽은 수정본에서 "AI를 활용해 더 뛰어난 AI를 개발하는 과정에서 모델의 성능이 안전성, 정렬, 보안 조치를 개발하고 검증하는 속도보다 빠르게 향상될 수 있다"고 밝혔다. AI가 차세대 모델 개발에 참여하면서 연구개발 속도가 빨라지더라도, 위험을 평가하고 대응책을 마련하는 체계가 같은 속도로 발전하지 못할 수 있다는 의미다.
더 주목할 부분은 이러한 가속을 제때 파악하지 못할 가능성까지 인정했다는 점이다. 회사는 "과거에도 개발 속도가 크게 빨라진 사실을 변화가 일어난 뒤에야 파악한 적이 있으며, 앞으로도 같은 일이 발생할 수 있다"고 밝혔다. AI의 기여도를 측정하는 지표가 실제 변화보다 늦게 나타나거나, 차세대 모델이 개발 속도에 미치는 영향을 정확하게 예측하기 어려울 수 있다는 설명이다.
이러한 위험이 현실화할 시점도 가까워지고 있다고 판단했다. "내부 추정치와 향후 모델에 대한 전망에 따르면 AI로 인한 극적인 개발 가속 기준에 곧 도달할 수 있다"고 밝혔다. 다만 현재까지 해당 기준을 넘어선 것으로 판정한 모델은 없으며, 관련 데이터를 계속 평가하고 있다고 덧붙였다.
여기서 말하는 기준은 단순히 AI가 연구원의 생산성을 높이는 수준이 아니다. 앤트로픽의 '책임 있는 확장 정책(RSP)'에 따르면, AI의 전반적인 성능 발전 속도가 기존 예상치와 과거 최고 수준보다 두 배 이상 빨라지고 이러한 변화가 AI를 활용한 연구개발 자동화에 상당 부분 기인할 때 해당 기준에 도달한 것으로 판단한다.
이는 AI가 차세대 AI 개발에 참여하고, 성능이 개선된 AI가 다시 후속 모델의 개발을 가속하는 RSI 과정에서 나타날 수 있는 현상이다. 다만 연구개발 속도가 급격히 높아지는 단계와 AI가 인간의 개입 없이 후속 모델을 완전히 개발하는 단계는 구분해야 한다.
앤트로픽은 이미 클로드를 차세대 AI 모델 개발에 적극적으로 활용하고 있다. 소프트웨어 작성과 모델 학습 코드 최적화, 연구 실험 등을 AI에 맡기고 있으며, 모델이 다음 세대 모델의 개발을 돕는 과정도 강화하고 있다. 실제로 지난 9월 내부 코드베이스에 기여한 코드의 90% 이상을 클로드가 작성했다고 신고서에 명시했다.
이러한 자동화는 개발 생산성을 높이는 동시에 새로운 위험도 만든다. 현재 모델이 가진 오류나 편향이 후속 모델의 개발 과정에 반영되고, 이후 세대에서도 반복되면서 문제를 발견하거나 수정하기 어려워질 수 있기 때문이다. 경쟁사가 AI를 활용한 연구개발 자동화에서 앞서 나가면 개발 속도의 차이가 누적돼 기술 경쟁력에도 영향을 줄 수 있다고 설명했다.
이에 인간의 감독과 통제권을 유지하기 위한 안전 정책 개정도 검토하고 있다. "기술적으로 가능해지더라도 인간의 실질적인 감독과 이해 없이 클로드가 차세대 최첨단 모델을 완전히 자율적으로 개발하도록 안전하게 활용할 수 있을 것으로 예상하지 않는다"고 밝혔다. AI의 능력이 높아지더라도 후속 모델 개발의 중요한 의사결정에는 인간의 통제를 유지하겠다는 취지다.
한편, 앤트로픽은 AI 연구개발 자동화를 반도체 설계로도 넓히고 있다. 디 인포메이션은 3일 복수의 관계자를 인용해 15명 규모의 자체 반도체 설계팀에서 클로드를 활용해 AI 칩의 엔지니어링과 설계 작업을 수행하고 있다고 보도했다. 앤트로픽은 엔비디아와 AMD 등 기존 반도체 기업의 개발 방식에 대한 자체 추정치와 비교해 설계 시간을 단축할 수 있다고 투자자들에게 설명한 것으로 전해졌다.
지난 8월 자체 AI 반도체 설계팀을 구성하겠다고 발표했으며, 현재 클로드를 활용한 설계 자동화를 추진하고 있다. 구체적인 개발 기간 단축률이나 완성된 칩의 성능은 공개하지 않았다. 이는 AI가 모델 학습과 소프트웨어 개발뿐 아니라 AI 인프라를 구성하는 하드웨어 설계에도 참여하기 시작했다는 사례다.
박찬 기자 cpark@aitimes.com