학교에서 지급한 노트북으로 AI 챗봇 '제미나이'를 이용하던 13세 학생이 수개월간 자살 관련 대화를 나누고 실제 자살을 계획했다는 의혹으로 구글이 피소됐다. 부모는 구글이 학교 교육 환경에 AI 기능을 적극적으로 도입하면서도 위험성을 제대로 알리지 않았고, 챗봇이 학생의 자해와 자살 충동을 적절히 차단하지 못했다고 주장했다.
블룸버그와 뉴욕타임스(NYT) 등에 따르면, 미국 노스캐롤라이나주에 거주하는 학생의 부모는 지난 2일(현지시간) 캘리포니아주 법원에 구글을 상대로 손해배상 소송을 제기했다.
소장에서 엠마라는 가명으로 등장하는 학생은 학교에서 지급받은 크롬북을 통해 구글 검색의 'AI 모드'를 이용했으며, 제미나이와 수천건의 메시지를 주고받은 것으로 알려졌다.
대화에는 불안과 우울증, 정신질환 증상뿐 아니라 자살 방법과 장례 계획에 관한 내용도 포함됐다. 소장에 따르면 챗봇은 학생의 정신건강 문제를 다루면서 부모와 상담사보다 AI를 신뢰하도록 유도했으며, 자해 사실을 가족에게 숨기는 방법까지 안내했다.
학생의 부모가 상황을 알게 된 것은 학교의 모니터링 시스템이 구글 문서에서 작성 중이던 자살 계획 관련 내용을 감지한 뒤였다. 학교는 학생이 자해할 위험이 임박했다는 경고를 전달했고, 부모는 딸을 응급 정신과 진료에 데려갔다. 현재 학생은 매주 치료를 받는 것으로 전해졌다.
구글이 교육 시장에서 영향력을 확대하기 위해 크롬북과 검색 서비스에 AI 기능을 적극적으로 통합하면서 부모와 학교에 위험성을 충분히 알리지 않았다는 주장이다. 부모 측 변호인들은 "구글은 안전한 제품으로 홍보한 크롬북에 제미나이를 사실상 몰래 끼워 넣어 경쟁력을 확보하려 했다"며 "교육 현장에서 쌓은 신뢰를 상업적 이익을 위해 이용했다"고 비판했다.
특히 학생이 사용한 '제미나이 3 플래시'의 안전성도 쟁점으로 떠올랐다. 소장에 인용된 비영리 연구단체 코라(KORA)의 평가에 따르면, 해당 모델은 정신건강 관련 질문에 적절하게 대응한 비율이 7%에 그쳤다. 이전 세대 모델보다 안전성이 크게 떨어졌다는 주장이다.
구글은 소송 내용을 검토하고 있다고 밝혔다. 호세 카스타녜다 대변인은 "젊은 이용자들이 도움이 필요할 때 중요한 지원과 신뢰할 수 있는 자원을 찾을 수 있도록 의료 전문가 및 학계와 광범위하게 협력해 기능을 개발했다"고 설명했다. 이어 "정신건강 위기 가능성이 있는 이용자에게 검색에서 상담 전화 정보를 제공해 왔으며, 검색 AI 기능에도 같은 보호 장치를 적용해 실제 지원 서비스로 연결하고 있다"고 밝혔다.
이번 사건은 학교 교육 환경에 AI를 도입하는 과정에서 안전성과 관리 책임을 둘러싼 논란이 커지는 가운데 나왔다. 구글은 최근 미국 초중고(K-12) 학생 계정에서 검색을 포함한 AI 기능을 기본적으로 비활성화하겠다고 발표했다. 다만 학교가 학생들에게 구글 검색을 다시 허용하려면 AI 요약 등 검색에 통합된 AI 기능도 함께 받아들여야 한다는 조건이 붙었다.
아동 대상 기술 마케팅을 감시하는 비영리단체 페어플레이(Fairplay)의 조시 골린 사무총장은 이를 두고 "학교가 구글 AI를 사용하도록 강요하는 것"이라고 비판했다.
전문가들은 챗봇이 직접적인 자살 의사를 파악하는 것뿐 아니라 대화 과정에서 점진적으로 드러나는 위험 신호에도 대응해야 한다고 지적한다. 위기 상담 서비스 크라이시스 텍스트 라인(Crisis Text Line)의 켈리 주롬스키 연구원은 "챗봇은 아이들이 다른 사람에게 도움을 요청하는 시점을 늦출 수 있다"고 말했다.
박찬 기자 cpark@aitimes.com