AI로 소프트웨어를 만드는 작업이 쉬워지면서, 결과물이 실제로 제대로 작동하는지 검증하는 문제가 부각되고 있다. AI 코딩 서비스 업체 레플릿도 외부 업체의 상용 테스트 플랫폼을 활용하는 것으로 알려졌다. 기업용 에이전트에 이어 AI 코딩 분야에서도 LLM에만 의존하지 않고 별도의 통제·검증 장치를 결합하는 움직임이 나타나고 있다.

디 인포메이션은 15일(현지시간) 레플릿을 비롯한 기업들이 네트워크 장애 등 다양한 상황에서 소프트웨어의 작동을 확인하기 위해 시뮬레이션 도구를 사용하고 있다고 보도했다.

루이스 차베스 레플릿 최고 기술책임자(CTO)는 회사가 미국 버지니아 소재 소프트웨어 검증 스타트업 앤티테시스(Antithesis)의 테스트 플랫폼을 사용한다고 밝혔다.

앤티테시스의 동명 상용 플랫폼은 ‘결정론적 시뮬레이션 테스트(Deterministic Simulation Testing)’를 제공한다. ‘결정론적’은 같은 조건에서도 결과가 달라질 수 있는 LLM의 ‘확률적’ 방식과 대비되는 개념으로, 같은 조건과 입력이 주어지면 결과도 같다는 뜻이다. 이 플랫폼에서는 오류가 발생한 실행 과정을 동일하게 재현할 수 있다는 의미다.

이 플랫폼은 소프트웨어를 통제된 가상 환경에서 실행하며 네트워크 지연이나 서버·저장장치 장애 등을 일으켜 오류를 탐색한다. 문제가 발견되면 당시 조건을 그대로 재현해 원인을 찾고, 코드를 수정한 뒤 같은 상황에서 문제가 해결됐는지 확인할 수 있다.

이처럼 같은 조건에서 실행 과정을 재현할 수 있다는 의미다. AI가 매번 같은 코드를 생성하게 하거나, AI의 답변을 동일하게 만드는 기술은 아니다.

앤티테시스는 이를 위해 자체 개발한 하이퍼바이저(Hypervisor)를 사용한다. 하이퍼바이저는 가상 실행 환경을 관리하는 소프트웨어로, 프로그램의 실행 순서와 시간, 네트워크 등 오류 재현에 영향을 미치는 조건을 통제하는 기반이다. 핵심은 AI에 코드를 읽고 오류를 찾아달라고 요청하는 데 그치지 않고, 프로그램을 실제로 실행해 장애 상황에서의 동작을 확인한다는 점이다.

차베스 CTO는 AI 모델이 확률적으로 작동하기 때문에 실행할 때마다 결과가 달라질 수 있으며, 이를 이용해 소프트웨어의 모든 문제를 찾아내기는 매우 어렵다고 지적했다. 기업 관계자들은 AI로 코드를 검사하면 실제로 문제가 없는 부분까지 오류로 지적하는 경우가 있다고 설명했다.

레플릿도 지난 1월 공개한 자체 연구에서 AI만을 이용한 보안 검사의 한계를 지적한 바 있다. 같은 취약점이라도 코드 표현이나 질문 방식에 따라 평가가 달라졌으며, 기존 정적 분석 및 소프트웨어 의존성 검사와 AI의 추론을 결합해야 한다는 설명이다.

윌 윌슨 앤티테시스 CEO는 AI 덕분에 소프트웨어 작성은 훨씬 쉬워졌지만, “소프트웨어가 실제로 제대로 작동하는지 확인하는 작업은 더 쉬워지지 않았다”고 말했다.

결정론적 시뮬레이션 테스트 자체가 AI 코딩 확산으로 처음 등장한 것은 아니다. 앤티테시스 창업진은 분산 데이터베이스인 파운데이션DB 개발 과정에서 이 방식을 활용했으며, 이를 다른 소프트웨어에도 적용하기 위해 2018년 회사를 설립했다.

주요 활용 대상은 데이터를 저장하고 여러 서버가 협력하는 분산 시스템이다. 시스템이 지켜야 할 조건을 정의하고, 다양한 실행 경로와 장애 상황에서 이를 위반하는지 탐색한다. 다만 모든 오류나 보안 취약점이 없음을 보장하는 도구는 아니다.

이 같은 접근은 기업용 AI 에이전트 분야에서 나타난 변화와도 맞닿아 있다. 세일즈포스는 에이전트의 신뢰성을 높이기 위해 LLM의 판단에 모든 작업을 맡기는 대신, 미리 정한 규칙에 따라 필수 절차를 실행하는 결정론적 자동화를 결합하고 있다.

예를 들어 고객 상담이 끝난 뒤 만족도 설문을 보내는 작업을 AI가 빠뜨리자, 정해진 조건에서 반드시 발송하도록 하는 트리거를 설정해 해결했다. 반드시 수행해야 하는 업무를 모델의 판단에만 맡기지 않은 것이다.

다만 두 사례의 적용 대상은 다르다. 세일즈포스는 에이전트가 실제 업무에서 정해진 절차를 따르도록 통제한다. 반면 레플릿이 사용하는 앤티테시스는 소프트웨어의 오류 발생 과정을 재현해 검증한다.

공통점은 LLM의 능력을 활용하면서도 신뢰성을 확보해야 하는 부분에는 별도의 통제·검증 장치를 결합한다는 데 있다. 레플릿 사례는 이런 요구가 기업용 에이전트뿐 아니라 AI 코딩 서비스에서도 중요해지고 있음을 보여준다.

앤티테시스의 사업도 성장하고 있다. 윌슨 CEO는 8월 종료 분기 매출이 앞선 5개 분기의 매출 합계보다 많았다고 밝혔다. 구체적인 매출액은 공개하지 않았다.

이 회사는 지난해 12월 제인 스트리트가 주도한 시리즈 A 투자에서 1억500만달러(약 2000억원)를 유치했다. 팔란티어와 데이터독 등이 주요 고객사다.

임대준 기자 ydj@aitimes.com