빨간 하트 등 단순한 시각적 기호가 AI의 코딩 방식에 미치는 영향을 분석한 실험. 왼쪽은 기호에 따른 재귀 방식 선택률을, 오른쪽은 색상과 도형의 조합에 따라 모델별 코딩 방식이 달라지는 정도를 보여준다. (사진=arXiv)

단순한 빨간색 하트 이미지 하나만으로 AI가 코드를 작성하는 방식이 완전히 달라진다는 연구 결과가 나왔다. 특히 AI가 이미지의 영향을 받아 작업 방식을 바꾸면서도 그 이유를 제대로 설명하지 못하는 것으로 나타나, 시각 정보를 처리하는 AI의 의사결정 과정에 새로운 의문이 제기됐다.

구글 딥마인드와 스탠퍼드대학교 공동 연구진은 지난달 27일(현지시간) 논문 사전 공개 사이트 아카이브(arXiv)에 '하트는 재귀를 의미한다(A Heart Means Recursion)'라는 제목의 논문을 발표했다. 이미지와 텍스트를 함께 처리하는 시각언어모델(VLM)이 단순한 색상과 도형에 어떤 영향을 받는지 분석한 내용이다.

연구진은 '클로드 오퍼스 4.7'과 'GPT-5.4' '제미나이 3.1 프로' 등 주요 AI 모델을 대상으로 나무처럼 가지가 갈라지는 데이터 구조를 일정한 순서로 탐색하는 코딩 문제를 제시했다. 이 문제는 반복문을 사용하는 '반복(Iteration)' 방식과 함수가 자기 자신을 다시 호출하는 '재귀(Recursion)' 방식으로 해결할 수 있다. 재귀와 반복은 모두 정상적인 문제 해결 방법으로, 어느 쪽이 더 효율적인지는 문제의 특성과 구현 방식에 따라 달라진다.

연구진은 모델에 코딩 문제와 함께 이미지를 살펴보라는 지시를 제공한 뒤, 작성한 코드에서 재귀 방식이 사용됐는지 확인했다. 각 조건에서 20차례 코드를 생성해 결과를 비교했다.

아무런 이미지도 제공하지 않았을 때 클로드 오퍼스 4.7과 GPT-5.4는 실험에서 모두 반복 방식의 코드를 작성했다. 그러나 동일한 문제에 빨간색 하트 이미지를 추가하자 두 모델 모두 실험의 100%에서 재귀 방식으로 코드를 작성했다. 제미나이 3.1 프로도 노란색 체크 표시를 제시하자 90%의 확률로 재귀 방식을 선택했다.

연구진은 도형 24종과 색상 12종을 조합한 288개의 시각적 기호도 테스트했다. 그 결과 클로드 오퍼스 4.7에서는 삼각형과 원이 재귀 방식의 코딩을 강하게 유도했으며, GPT-5.4는 하트에 특히 민감했다. 제미나이 3.1 프로에서는 특정 색상과 도형의 조합이 강한 영향을 미쳤다. 연구진은 일부 기호가 직접 재귀 방식으로 코드를 작성하라고 지시한 것과 비슷한 효과를 나타냈으며, 기호와 행동 사이의 연관성은 모델마다 달랐다고 설명했다.

반대로 이미지를 말로 설명한 문장은 이러한 효과를 거의 재현하지 못했다. 예를 들어 빨간색 하트 그림 대신 '빨간색 하트 이미지'라는 설명을 제공하면 코딩 방식이 크게 달라지지 않았다. 무작위 노이즈 이미지나 일반적인 동물 사진도 단순한 도형만큼 강한 영향을 주지 못했다. 이는 단순히 이미지가 추가됐기 때문이 아니라 특정 시각적 기호가 AI 내부에서 별도의 연관성을 형성하고 있음을 시사한다.

AI도 자신이 받은 영향을 제대로 설명하지 못했다. 연구진이 제미나이 3.1 프로의 추론 기록 2880개를 분석한 결과, 실제로 시각적 기호가 코딩 방식에 영향을 미친 기록 가운데 71.5%는 해당 이미지를 관련 없는 정보라고 판단했다. 그러면서도 재귀 방식이 더 간결하거나 효율적이라는 기술적인 이유를 들어 자신의 선택을 설명했다.

GPT-5.4에서는 정반대의 현상이 나타났다. 이미지가 실제 행동에 영향을 주지 않은 상황에서도 추론 기록의 74.7%는 해당 기호가 코딩 방식에 영향을 줬다고 설명했다. AI가 자신의 판단 근거를 설명하더라도 실제 행동에 영향을 준 요인과 반드시 일치하지 않는다는 의미다.

연구진은 AI에게 이미지를 확인하라는 지시를 하지 않고 대화 맥락에 기호만 삽입하는 실험도 진행했다. 이때도 일부 기호는 코딩 방식을 크게 바꿨으며, GPT-5.4는 추론 기록에서 삽입된 이미지를 전혀 언급하지 않았다.

이러한 현상은 코딩 작업에만 국한되지 않았다. 글쓰기 실험에서는 분홍색 도형과 하트가 세 모델 모두에서 전문적인 문체 대신 시적인 문체를 선택하도록 유도했다. 특히 하트는 클로드 오퍼스 4.7이 더 긴 글을 작성하도록 영향을 미쳤다. 제미나이 3.1 프로와 GPT-5.4는 파란색 삼각형을 제시하자 여름 대신 겨울을 선택하는 경향도 나타났다.

연구진은 AI 모델끼리 그림으로 정보를 전달하는 실험도 진행했다. 한 모델이 특정 개념이나 코딩 방식을 그림으로 표현하면 다른 모델이 이를 해석하도록 하는 방식이다.

AI 모델끼리 그림을 이용해 정보를 전달하는 실험. 왼쪽은 한 모델이 그림을 생성하고 다른 모델의 반응을 확인하며 수정하는 과정이며, 오른쪽은 AI가 재귀 개념을 전달하기 위해 선택한 기호와 실제 상대 모델의 코딩 방식을 바꾼 기호의 차이를 보여준다. (사진=arXiv)

그 결과 AI는 인간에게 익숙한 나선이나 화살표를 이용해 재귀 개념을 전달하려 했지만, 실제로 상대 모델의 코딩 방식을 바꾸는 데 효과적인 기호는 하트나 삼각형인 사례가 나타났다. AI가 자신에게 효과적인 시각적 기호를 반드시 알고 있는 것은 아니었다.

여러 차례 그림을 수정하면서 상대 모델의 반응을 확인하도록 하자 의사소통 성공률이 높아졌다. 자유롭게 그림을 그릴 수 있는 조건에서는 첫 시도 성공률이 91.2%에 달했고, 반복적인 수정까지 포함한 최종 성공률은 97.8%를 기록했다. 반대로 정해진 도형만 사용하는 조건에서는 첫 시도 성공률이 47.8%에 그쳤다.

인간과 AI의 시각적 해석도 달랐다. 소규모 인간 대상 실험에서 참가자들은 AI의 코딩 방식을 실제로 바꾼 기호의 의미를 약 36%만 정확하게 파악했다. 특히 AI끼리 의사소통에 성공하도록 그림을 수정할수록 인간이 그 의미를 이해하기 어려워지는 경향도 나타났다.

이번 연구는 AI가 화면의 이미지와 아이콘을 읽으면서 업무를 처리하는 에이전트 환경에서도 의미가 있다. 웹페이지나 프로그램 화면에 있는 사소한 시각적 요소가 AI의 판단에 영향을 줄 수 있지만, 추론 기록만으로는 그 원인을 확인하기 어려울 수 있기 때문이다.

연구진은 "빨간 하트와 같은 단순한 시각적 기호가 겉보기에는 관련 없어 보이는 작업에서도 모델의 행동에 강력한 영향을 미칠 수 있다"라고 밝혔다. 다만 실제 업무 환경에서도 같은 현상이 나타나는지는 추가 검증이 필요하다. 인간 대상 실험도 7명에 그쳤다.

임대준 기자 ydj@aitimes.com