AI 모델마다 답변을 작성할 때 사용하는 문장부호에도 뚜렷한 차이가 있는 것으로 나타났다. 중국 Z.ai의 'GLM-5.3'은 답변 하나에 평균 7.4개의 긴 대시 기호를 사용하는 것으로 조사됐지만, 앤트로픽의 최신 클로드 모델들은 이 기호를 거의 사용하지 않았다.

아티피셜 애널리시스(AA)는 4일(현지시간) X를 통해 AI 모델의 문체와 의사소통 특성을 분석하는 'AA-퍼스널리티벤치(AA-PersonalityBench)' 평가 결과를 공개했다.

이번에 분석한 기호는 '엠 대시(em dash)'다. 일반적인 하이픈(-)보다 긴 가로줄 형태의 문장부호로, 영어에서 문장 중간에 설명을 덧붙이거나 화제를 전환하고 특정 표현을 강조할 때 사용한다. 예를 들어 'AI is powerful—but not perfect'처럼 두 문장을 연결하는 용도로 쓰인다.

엠 대시는 AI가 작성한 영어 글에서 자주 발견되는 특징 중 하나로도 알려져 있다. 다만 사람이 작성한 글에서도 널리 사용하는 문장부호이기 때문에 사용 여부만으로 AI가 작성한 글인지 판별할 수는 없다.

평가 결과 GLM-5.3은 답변당 평균 7.4개로 측정 대상 가운데 가장 많이 사용했다. 이어 'GLM-5.3 플래시'와 '뮤즈 원더'가 각각 6.9개, '키미 K3'가 6.7개, '뮤즈 스파크 1.3'이 6.5개를 기록했다.

반대로 앤트로픽의 '클로드 오퍼스 5.5'는 평균 0.02개로, 답변 40개를 작성해도 엠 대시가 하나 나오지 않을 정도였다. '클로드 소네트 5.5'와 '클로드 하이쿠 5.5'도 거의 사용하지 않았다. 하지만 '클로드 페이블 5.1'은 답변당 평균 6.4개의 엠 대시를 사용해 다른 클로드 모델들과 대조를 이뤘다.

또 2023년 출시된 오픈AI의 'GPT-3.5 터보'는 평균 0.00개로 엠 대시를 거의 사용하지 않았다. 오픈AI도 이후 사용이 잦다는 지적을 받았지만, 초기 챗GPT 모델에서는 그렇지 않았던 것으로 드러났다.

결국 문장부호 사용 습관이 개발사보다는 개별 모델의 학습과 조정 방식에 따라 달라질 수 있음을 보여준다.

이번 평가는 30가지 성격 및 문체 특성과 관련된 총 900개 질문에 각 모델이 답하도록 한 뒤, 응답에 등장하는 문장부호와 문장 길이, 목록, 이모지 등의 사용 빈도를 분석한 것이다. 별도의 시스템 지시 없이 동일한 질문을 제시해 모델의 기본적인 글쓰기 습관을 비교했다.

AA는 이러한 특징에 우열을 매기기보다는 AI 모델이 어떤 방식으로 의사소통하는지 보여주는 데 이번 테스트의 목적이라고 설명했다. 엠 대시를 많이 사용한다고 글쓰기 능력이 뛰어나거나 떨어진다는 의미는 아니며, 이번 결과는 AI 모델마다 서로 다른 문체를 갖고 있다는 사실을 보여준다.

임대준 기자 ydj@aitimes.com