기사를 읽어드립니다.

AI가 분석한 결과를 토대로 전문가가 최종 결정을 내렸다면, 그 판단은 누구의 것일까요. 앤트로픽의 실험에서 전문가들은 86%의 비율로 AI가 추천한 분석 방법을 선택했습니다. 더 흥미로운 점은 AI가 추천한 방법이 정답으로 정해져 있지 않았다는 것입니다. 연구진이 AI의 선호도를 무작위로 설정했는데도, 전문가들의 선택은 AI가 제시한 방향으로 크게 기울었습니다.

앤트로픽은 지난달 27일 인과관계 분석 경험이 있는 전문가들을 대상으로 AI가 인간의 판단에 미치는 영향을 조사한 연구를 발표했습니다. 연구진은 참가자 61명을 모집했으며, 이 가운데 50명이 '클로드 코드'를 사용해 통계 분석 과제를 수행했습니다. 나머지 11명은 AI를 사용하지 않기로 선택해 주요 분석에서 제외했습니다. AI에는 '클로드 오퍼스 4.8' 모델을 적용했습니다.

실험은 가상의 농업협동조합을 대상으로 진행됐습니다. 이 조합은 농가의 생산성을 높이기 위해 유료 경영 자문 서비스를 운영하고 있으며, 전체 농가의 약 40%가 가입한 상태였습니다. 참가자들은 이 서비스가 실제로 농업 생산성을 높였는지 분석한 뒤, 조합에 서비스를 확대할지 중단할지 권고해야 했습니다. 조합 이사회는 생산성이 약 3~4% 이상 높아졌다면 사업을 확대하겠다는 기준을 제시했습니다.

문제는 생산성을 측정하는 방법이 하나가 아니라는 것이었습니다. 농지 면적당 수확량을 기준으로 할 수도 있고, 운영비 대비 수확량을 기준으로 할 수도 있습니다. 서비스를 이용한 농가와 이용하지 않은 농가의 생산성 변화를 비교하는 방법도 여러 가지입니다. 또 전체 농가를 평가할지 서비스 가입 농가만 평가할지, 작은 농가와 대규모 농가에 같은 가중치를 적용할지도 결정해야 했습니다.

연구진은 이처럼 정답이 하나로 정해지지 않은 네 가지 분석 항목에서 참가자들이 어떤 선택을 하는지 살펴봤습니다. 어떤 방법을 택하느냐에 따라 생산성 개선 추정치가 몇 %p씩 달라질 수 있었고, 이는 사업 확대 여부를 결정하는 데도 영향을 미칠 수 있었습니다.

여기에 연구진이 비밀 장치를 넣었습니다. 참가자들이 사용하는 AI에 특정 분석 방법을 선호하도록 미리 지시한 것입니다. 어느 방법을 선호할지는 동전 던지기로 무작위 결정했습니다. AI에는 자신의 선호를 뒷받침하는 논리를 제시하되, 데이터를 조작하거나 사실을 왜곡해서는 안 된다는 조건도 붙였습니다. 분석 결과가 자신의 견해와 명백히 충돌하면 의견을 바꾸도록 했습니다.

결과는 뚜렷했습니다. 전문가들은 생산성 측정 지표를 선택할 때 92%, 통계적 비교 방법을 결정할 때 82%, 분석 대상 농가를 정할 때 81%, 농가별 가중치를 선택할 때 90%의 비율로 AI가 선호한 방법을 골랐습니다. 즉, AI의 추천을 따르는 비율은 평균 86%였습니다.

AI가 의견을 제시하기 전에 전문가들이 먼저 자신의 견해를 밝힌 38건의 선택에서도 비슷한 현상이 나타났습니다. AI가 반대 의견을 제시하면 60%가 기존 선택을 바꿨지만, 같은 의견을 제시했을 때는 6%만 바꿨습니다.

최종 의사결정에서도 차이가 나타났습니다. AI가 사업 확대를 선호하도록 설정했을 때 실제 확대를 권고한 비율은 54%였고, 반대의 경우에는 36%였습니다. 다만 이 차이는 통계적으로 유의미하지 않았습니다.

실험이 끝난 뒤에는 더 주목할 만한 사실이 드러났습니다. 참가자의 77%는 자신의 선택을 설명하면서 AI가 제시한 논리를 사용했습니다. 일부는 AI의 표현을 거의 그대로 반복했습니다. 그러나 AI를 그 논리의 출처로 언급한 사람은 15%에 불과했습니다. 또 설문에 응답한 참가자 중 52%는 최종 권고가 AI보다는 자신의 판단을 더 많이 반영했다고 답했습니다.

이처럼 전문가들은 AI의 분석 결과를 받아들였을 뿐 아니라, AI가 제시한 논리까지 자신의 판단 근거로 사용했습니다. 그런데도 상당수는 최종 결정에 AI보다 자신의 판단이 더 많이 반영됐다고 생각했습니다.

AI의 도움을 받아 통계 분석을 수행한 전문가들이 최종 권고에 누구의 판단이 더 많이 반영됐다고 생각하는지 조사한 결과. 응답자 48명 가운데 52%는 AI보다 자신의 판단이 더 많이 반영됐다고 답했다. (사진=앤트로픽)

이는 AI 에이전트가 실제 업무에 참여하는 방식과도 연결됩니다. AI가 데이터를 분석하고 보고서를 작성하면, 인간이 이를 검토해 최종 결정을 내리는 방식이 점차 일반화되고 있습니다. 그런데 AI가 어떤 데이터를 중요하게 볼지, 어떤 분석 방법을 선택할지, 결과를 어떻게 해석할지까지 제안한다면 인간의 판단도 그 영향을 받을 수 있습니다. 최종 결정권이 인간에게 있다는 사실만으로 판단 과정 전체가 독립적이라고 볼 수는 없는 것입니다.

그렇다고 이번 결과를 AI만의 특별한 설득 효과로 해석하기는 어렵습니다. 사람도 다른 사람과 대화하거나 함께 일하면서 의견을 바꾸고, 상대방의 논리를 자신의 판단에 반영합니다. 이번 연구에서는 인간 전문가가 같은 조언을 했을 때와 비교하지 않았기 때문에 AI가 사람보다 더 큰 영향력을 갖는지는 알 수 없습니다. AI에 대한 신뢰도가 높은 사람이 더 쉽게 영향을 받았다는 증거도 발견하지 못했습니다.

또 연구진이 AI에 특정 분석 방법을 적극적으로 추천하도록 설정한 데다, 참가자 50명이 약 1시간 동안 가상의 사업을 평가한 제한적인 실험이라는 점도 고려해야 합니다. 실제 기업의 의사결정이나 의료·법률 등 다른 전문 분야에서도 같은 결과가 나타난다고 단정할 수는 없습니다.

그럼에도 이번 연구는 AI와 인간이 함께 일하는 환경에서 생각해 볼 만한 문제를 제기합니다. AI는 단순히 정보를 제공하는 도구를 넘어 분석의 방향과 판단 근거를 만드는 역할까지 맡고 있습니다. 인간이 마지막에 결정을 내리더라도 그 판단이 어떤 과정을 거쳐 형성됐는지 살펴볼 필요가 있다는 것입니다. 

결국 중요한 것은 누가 최종 결정을 내렸느냐뿐 아니라, 그 결정에 이르기까지 AI의 생각이 얼마나 반영됐느냐일 것입니다.

이어 주말 주요 뉴스입니다.

■ AI 거품 붕괴 조짐에 미 기술주 급락…10월 시총 2조달러 증발

미국 빅테크의 막대한 AI 투자 비용과 수익성에 대한 불안감으로 기술주가 급락하며, 10월 한 달 동안 나스닥100 기업들의 시가총액 약 2조달러가 증발했습니다. 특히 아마존의 현금흐름 악화와 인텔의 부진한 실적이 매도세를 자극하면서 AI 투자 거품이 꺼질 수 있다는 경고가 나오고 있습니다.

■ 구글, AI 검색에 광고 수익성 타격…시총 5000억달러 증발

구글이 AI 검색 도입으로 검색 이용량을 늘렸지만, 광고 수익화는 기존 검색에 미치지 못하면서 핵심 사업의 성장 둔화가 드러났습니다. 여기에 AI 인프라 투자 부담까지 겹치면서 알파벳 주가는 13% 이상 급락하고 시가총액 5000억달러 이상이 사라졌습니다.

■ 젠슨 황 주변 중국 스파이 의혹, 싱가포르·대만까지 번져

젠슨 황과 친분이 있는 중국인 사업가가 중국 정보기관의 정보원이라는 의혹을 미국에 이어 싱가포르와 대만 당국도 조사했다는 보도입니다. 그러나 싱가포르 정부는 해당 인물에 대한 조사 사실을 공식 부인했으며, 엔비디아도 정상적인 사업상 교류라는 입장을 유지했습니다.

AI타임스 news@aitimes.com