오픈AI가 청소년의 폭력 행위를 예방하기 위해 챗GPT에서 무기 관련 정보 제공을 제한한다. 폭력 의도가 드러나지 않은 질문이라도 실제 악용할 수 있는 구체적인 무기·보안 시스템 정보는 청소년에게 제공하지 않기로 했다. 폭력에 대한 집착이 감지되면 대화를 자동으로 종료하고, 반복될 경우 계정을 일시 정지하는 조치도 도입한다.
오픈AI는 30일(현지시간) 커뮤니티 안전 보고서를 발표하고 이 같은 내용을 담은 새로운 청소년 보호 조치를 공개했다.
특히 2026년 3분기 동안 200건 이상의 위협 사례를 사법기관에 신고했으며, 향후 반기별 안전 보고서를 정례 발행해 투명성을 강화하겠다고 밝혔다. 최근 AI 챗봇이 청소년에게 미치는 위험과 기업의 위해 가능성 감지 책임을 둘러싼 우려가 커진 데 따른 대응이다.
새 정책에 따라 챗GPT는 무기와 보안 시스템에 관한 실용적인 정보를 청소년에게 제한한다. 질문 자체에 폭력적인 의도가 나타나지 않더라도 악용 가능성이 있는 정보라면 제공하지 않는다는 방침이다.
폭력에 대한 집착이 의심되는 대화는 모든 사용자에게 적용되는 안전 조치의 대상이다. 챗GPT가 관련 징후를 감지하면 대화를 자동으로 종료할 수 있으며, 같은 유형의 대화가 반복되면 계정을 일시적으로 정지할 수 있다. 청소년 계정이 폭력 관련 대화를 반복해 정지될 경우 부모에게도 이를 알릴 계획이다.
연령 판별 시스템도 강화했다. 사용자의 연령을 추정해 18세 미만으로 판단하면 청소년용 챗GPT 환경으로 자동 전환하도록 했다. 이를 통해 실제 나이를 성인으로 설정했더라도 청소년으로 추정되는 사용자를 보호 체계 안에 포함한다는 설명이다.
과거 대규모 공격 사건에 관한 정보 제공도 제한한다. 이는 청소년뿐만 아니라 모든 사용자를 대상으로 적용된다. 특히 당시 사용된 무기와 이를 확보한 방법 등 모방에 활용될 수 있는 세부 정보의 노출을 줄이기로 했다.
이번 조치는 앞으로 몇 주에 걸쳐 차례로 적용된다. 실제 운영 결과를 살펴보며 보호 정책을 계속 개선할 방침이다.
청소년의 챗GPT 이용을 둘러싼 우려는 꾸준히 제기돼 왔다. 오픈AI는 이달 초 처음 공개한 청소년 이용 현황 보고서에서 청소년의 하루 평균 챗GPT 사용 시간이 15분 미만이라고 밝혔다.
하지만 비영리단체 커먼 센스 미디어가 같은 달 발표한 보고서는 청소년용 챗GPT의 보호 기능에 한계가 있다고 지적했다. 청소년 계정에서 자살이나 자해, 섭식장애 관련 대화가 발생했을 때 부모에게 알림이 늦게 전달되거나 아예 통지되지 않는 사례가 있다는 것이다.
박찬 기자 cpark@aitimes.com