몇 년을 준비해도 붙기 어려운 시험이 있다. 올해 제63회 세무사 1차 시험에서 세법학개론을 본 1만 6856명은 평균 30.18점을 받았다.
이 과목 만점자이자 수석 합격자인 A씨가 2026년 11월15일 부정행위를 자백하고, 경찰에 자수했다.
자백에 따르면 초소형 카메라가 시험 문제를 찍었고, 생성 AI가 답을 만들었으며, A씨는 스마트폰으로 그 답을 확인했다.
수험생만의 일이 아니다. 시험은 누구나 치른다. 학생은 내신과 수능을, 직장인은 자격시험을 본다. 시험을 보지 않는 사람도 시험으로 자격을 얻은 세무사와 의사, 변호사에게 일을 맡긴다. 정부는 전파탐지기 도입과 시험장 CCTV 확대, 수능 시험장 스마트안경 판별 인력 배치를 대책으로 내놓았다. 그런데 A씨의 2차 시험 자리는 감독관 바로 앞인 첫째 줄 중앙이었고, 그를 감독한 위원 4명 가운데 의심스러운 행동을 봤다는 사람은 없었다. 감독을 늘려도 같은 일이 반복될 수 있다.
AI가 대신 푼 답과 응시자가 직접 푼 답을 시험은 어떻게 가려낼 수 있을까.
■ 예견된 일이었다
AI가 전문직 시험 문제를 푼다는 사실은 2023년부터 공개돼 있었다. 미국 의사면허시험(USMLE)의 합격선은 60% 안팎인데 2023년 2월 학술지 'PLOS 디지털 헬스'에 실린 연구는 챗GPT의 정답률을 52.4~75.0%로 보고했다.
같은 해 공개된 미국·독일 연구진의 논문에서는 예시 문항과 계산기 같은 도구를 받은 GPT-4가 공인회계사(CPA)를 포함한 회계 자격시험 4종의 객관식 문항에서 평균 85.1%를 기록해 모두 합격선을 넘었다.
변호사시험에서는 GPT-4가 상위 10% 성적을 냈다는 오픈AI의 발표를 두고 과장이라는 재검토 논문이 2024년에 나왔다. 만점은 아니었고 수치를 둘러싼 논쟁도 있었다. 그래도 사람이 몇 년을 준비하는 시험의 합격선 근처에 2023년의 모델이 이미 도달해 있었다는 점은 달라지지 않는다.
필자도 이 문제를 글과 책에서 다뤄 왔다. 2024년 1월에 쓴 글에서는 AI 글쓰기 도구가 퍼지면서 글의 완성도만으로는 학생이 내용을 이해했는지 확인하기 어려워졌고, 자기가 쓴 글을 말로 설명하게 하는 구두 방어가 필요하다고 적었다. 책 《생각을 맡기는 사람들: 호모 브레인리스》에서도 AI가 의학·법학·회계 시험을 통과한다는 사실을 언급했다. 대학에서 학생을 가르치면서는 채점자가 번거롭더라도 논술시험과 면접 형태의 구술시험을 도입해야 한다고 꾸준히 주장했고, 필자의 강의에서 실제로 그렇게 평가해 왔다.
■ 객관식이 먼저 뚫리는 이유
객관식 위주의 시험이 많은 데는 이유가 있다. 채점이 빠르고, 기계로 판독할 수 있으며, 정답이 하나라 다툼이 적다. 그런데 이 장점은 부정행위를 하는 사람에게도 똑같이 유리하게 작용한다. 객관식의 답은 번호 하나다. 시험장 밖의 AI가 안에 있는 응시자에게 전달해야 할 정보가 문항당 숫자 한 개면 충분하다. 받아 적는 데 시간이 걸리지 않고, 답안지에는 풀이 과정이 남지 않는다.
A씨는 1차 시험 160문항 가운데 159문항을 맞혔는데, 전산으로 판독하는 1차 채점 자료에서 공단은 특이사항을 찾지 못했다. 답안지만 봐서는 사람이 맞힌 159문항과 AI가 맞힌 159문항을 구별할 수 없다.
객관식이라고 AI가 언제나 합격을 보장하는 것은 아니다. A씨는 제61회 공인회계사 1차 시험에서도 전자기기와 생성 AI를 썼다고 밝혔지만, 그 시험에서는 떨어졌다.
문제는 성공한 경우다. 성공한 부정행위는 고득점이라는 결과로만 드러난다. 이번에도 온라인 커뮤니티가 점수를 의심하기 전까지 시험 절차 안에서는 걸러지지 않았다.
■ 논술형도 뚫렸다
그렇다고 객관식을 논술형으로 바꾸면 해결되는 것도 아니다. 필자는 객관식을 줄이고 논술과 구술을 늘리자고 말해 왔다. 그런데 A씨가 800점 만점에 663점으로 수석을 차지한 2차 시험이 논술형이었다. 자수 하루 전인 11월 14일 보도된 인터뷰에서 A씨는 이 2차 성적을 들어 의혹에 반박했다. 논술형 시험의 고득점을 결백의 근거로 내세운 것이다. 하루 뒤 그는 2차 시험에서도 부정행위를 했다고 인정했다.
이유는 단순하다. 생성 AI는 번호를 고르는 일보다 긴 글을 쓰는 일에 더 익숙한 도구다. 문제를 찍어 보낼 수 있고 답을 받아볼 수 있다면, 논술형 답안은 옮겨 적는 시간이 더 걸릴 뿐이다. 종이 답안지에는 무엇을 썼는지만 남고, 그 내용을 누가 생각했는지는 남지 않는다. 공단은 A씨의 2차 답안지를 채점 전문가에게 다시 검토받고 있었지만, 결론이 나오기 전에 본인의 자백이 먼저 나왔다.
종이에 쓰는 논술만으로는 부족하다는 뜻이다. 논술이 평가 수단으로 제 기능을 하려면 답안을 쓴 사람에게 그 답안에 대해 되물을 수 있어야 한다. 필자가 2024년 글에서 글쓰기 평가를 구두 방어로 보완하자고 쓴 것과 같은 맥락이다.
■ 되묻는 시험
필자는 그래서 학생들에게 시험을 치르게 한 뒤 실제로 이해했는지를 되묻는 것을 시험으로 자주 쓴다. 논술이나 구술 형태의 시험에서는 머릿속에 떠오르는 것을 적고 말하는 학생과 그렇지 못한 학생이 갈린다.
되묻는 방식이 지필시험과 다른 점은 질문이 미리 정해져 있지 않다는 것이다. 채점자는 답을 듣고 그 자리에서 왜 그렇게 판단했는지, 조건이 바뀌면 결론이 어떻게 달라지는지를 묻는다. 다음 질문은 앞의 답에 따라 달라지므로 응시자는 무엇을 물을지 미리 알 수 없다. 누군가 대신 만들어 준 답은 첫 질문에는 통해도 이어지는 질문에서 막히기 쉽다.
단점은 분명하다. 채점에 시간이 오래 걸리고, 성적 정정 기간에 이의 제기가 잦다. 필자는 가르치는 사람이 감내해야 할 비용이라고 생각한다. 채점이 편한 형식을 고집하면 그 편의는 AI를 쓰는 응시자에게도 돌아간다.
국가시험은 대학 강의와 규모가 다르다. 세법학개론 한 과목에 1만 6856명이 응시한 시험에서 모든 응시자를 구술로 평가할 수는 없다. 그러나 최종 단계에 구술을 두는 방식은 이미 운영되고 있다. 국가기술자격 가운데 기술사 시험은 논술형 필기시험 합격자에게 30분가량의 구술형 면접시험을 치르게 한다.
전문자격시험도 2차 논술형 시험 합격권에 든 응시자에게 자기 답안을 설명하게 하는 절차를 검토할 만하다. 구술이 모든 부정행위를 막아 주지는 않는다. 다만 답안지에 적힌 내용이 응시자의 머리에서 나왔는지를 시험 절차 안에서 한 번 더 확인할 수 있다.
■ 기기는 계속 바뀐다
공단은 다른 자격시험에서 스마트안경 부정행위가 적발되자 세무사 2차 시험 감독위원 교육자료에 스마트안경 주의사항을 넣었다. 온라인에서 제기된 의혹도 AI 스마트안경이었다.
그러나 A씨가 자백한 수단은 초소형 카메라와 스마트폰이었다. 감독은 이미 알려진 기기를 겨냥했고, 실제 부정행위는 다른 기기로 이뤄졌다.
전파탐지기가 도입되면 또 다른 방법이 나올 것이다. 시험을 치는 사람들은 계속해서 새로운 방법을 찾아온다. 기기 단속은 기기가 바뀔 때마다 다시 해야 한다. 되묻는 절차는 기기가 무엇이든 같은 것을 확인한다.
■ 가르치는 것도 바뀌어야 한다
시험만 바꿔서 끝날 일도 아니다. AI가 전문직 시험을 통과했다는 사실은 거꾸로 읽을 수도 있다. 전문가가 아닌 사람도 AI와 함께라면 적어도 시험이 묻는 수준의 전문 지식이 필요한 일을 처리할 수 있게 됐다는 뜻이다.
그렇다면 전문직의 영역이 어디인지를 다시 이해해야 한다. 시험으로 확인하던 지식과 일을 하면서 쌓이는 경험과 노하우는 다르다. 뒤쪽을 흔히 암묵지라고 부른다. 가령 법령을 누가 더 많이 외웠는지는 앞으로 큰 의미가 없어질 것이라고 필자는 본다.
필자는 최근 한 입시 학원 원장과 대화하면서 이 변화를 체감했다. 원장은 AI 활용 수업을 주 1회 2시간 정도 운영하고 싶다고 했다. 세무사 시험 사건에서 보듯 전문직도 점점 AI에 대체될 텐데 그러면 AI를 잘 쓰는 것이 중요해지고 지금 어린 학생들이 그것을 배워야 한다는 이유였다.
앞으로는 이런 수업이 당연해질 것 같다는 말도 했다. 아주 큰 학원은 아니었지만 원장은 학부모들을 직접 설득해 반을 열었고, 필자에게 수업을 맡아 달라고 했다. 필자는 올겨울 방학부터 이 반을 맡기로 했다.
주판이 나왔을 때는 주판을 잘 쓰는 법을 배웠고, 계산기가 나왔을 때는 계산기를 잘 쓰는 법을 배웠다. 컴퓨터와 엑셀도 그랬다. 이제는 AI를 잘 쓰는 법을 입시 학원이 고민한다. 필자에게는 이 점이 인상적이었다.
AI를 잘 쓰는 법을 가르치는 일과, 학생이 스스로 이해했는지를 되묻는 일은 서로 어긋나지 않는다. AI가 내놓은 답이 맞는지 판단하려면 그 내용을 이해하고 있어야 하고, 되묻는 시험이 확인하려는 것이 그 이해다. 수업은 AI를 쓰는 법을 가르치는 쪽으로, 시험은 이해를 되묻는 쪽으로 바뀌어야 한다. 그 비용은 가르치고 채점하는 쪽이 져야 한다.
안광섭 세종대학교 경영학과 겸임교수 및 인레벨나인 대표