엔비디아가 로봇의 움직임을 계획하는 AI 추론 속도를 5배 높이면서 경로 예측 오류도 줄이는 기술을 공개했다. 이동 경로의 좌표를 하나씩 생성하는 대신 전체 경로를 한꺼번에 예측하는 방식으로, 로봇과 자율주행 차량의 실시간 제어 성능을 개선하는 데 활용할 수 있다는 설명이다.
엔비디아는 6일(현지시간) 로봇과 자율주행 차량 등 피지컬 AI의 시각적 계획(Visual Planning)을 가속하는 새로운 디코딩 프레임워크 'V플래시(VFlash)'를 공개했다. 기존 비전언어모델(VLM)의 순차적인 토큰 생성 과정에서 발생하는 속도와 정확도의 한계를 개선한 기술이다.
V플래시는 VLM의 자기회귀(Autoregressive) 생성 방식이 가진 한계를 해결하기 위해 개발됐다. 기존 모델은 로봇이 이동할 경로나 물체의 위치를 나타내는 좌표를 토큰 단위로 하나씩 생성한다. 이 때문에 복잡한 움직임을 계획하는 데 시간이 오래 걸리고, 앞선 좌표의 오류가 뒤쪽 예측에도 영향을 미칠 수 있다.
엔비디아는 공간 좌표와 이동 경로 등이 일정한 기하학적 구조를 갖는다는 점에 착안했다. 경량 AI 모델인 '드래프터(Drafter)'가 이러한 구조를 학습해 전체 좌표와 궤적을 한 번에 병렬 생성하도록 설계했다.
특히 기존 추측 디코딩과 달리 원본 모델이 생성할 토큰을 정확히 재현할 필요가 없으며, 공간적으로 타당한 예측 결과를 활용할 수 있도록 했다. 기존 대형 VLM의 가중치는 그대로 유지하고 경량 드래프터만 별도로 학습하기 때문에 기반 모델을 다시 학습시키지 않고도 공간 정보 예측을 개선할 수 있다.
V플래시는 물체의 위치를 나타내는 경계 상자와 로봇의 이동 경로, 미래의 도달 지점 등 다양한 공간 정보를 처리할 수 있다. 좌표의 종류와 개수 등 기본 구조를 먼저 정한 뒤 전체 데이터를 한꺼번에 예측하기 때문에 기존처럼 좌표를 하나씩 생성할 필요가 없다.
성능 평가에서는 속도와 정확도가 모두 개선됐다. '셰어로봇벤치(ShareRobot-Bench)'와 'VA벤치-V' 등 로봇 관련 벤치마크에서 기존 자기회귀 방식보다 3D 궤적의 평균 변위 오차(ADE)를 평균 42.6% 줄였다. 일부 3D 궤적 예측에서는 오류가 최대 61% 감소했다.
로봇 조작 실험에서도 V플래시를 적용한 모델의 평균 성공률은 70.2%로, 기존 기본 모델의 62.6%와 자기회귀 방식으로 이동 경로를 생성한 모델의 61.0%를 모두 웃돌았다. 자율주행 분야에서도 NAVSIM과 웨이모 관련 평가에서 경쟁력 있는 성능을 유지하면서 디코딩 지연 시간을 줄였다.
속도 개선은 엣지 환경에서 두드러졌다. 엔비디아 젯슨 토르(Jetson Thor)와 DGX 스파크(DGX Spark) 등에서 공간 정보를 생성하는 디코딩 단계의 처리 속도가 크게 높아졌으며, 시각 정보 처리와 행동 모델 실행 등을 포함한 전체 AI 추론 속도는 최대 5.1배 개선됐다.
특히 젯슨 토르에서는 기존 자기회귀 방식이 3553밀리초(ms) 걸리던 추론 작업을 V플래시가 703ms 만에 처리했다. 이는 AI 모델의 처리 시간에 대한 측정치로, 실제 로봇의 물리적인 이동이나 작업 완료 시간이 5배 빨라졌다는 의미는 아니다.
엔비디아는 V플래시가 로봇 조작뿐 아니라 자율주행과 3D 움직임 예측 등 다양한 피지컬 AI 작업에 적용될 수 있다고 설명했다. 로봇이 주변 환경을 인식하는 데 그치지 않고 실시간으로 움직임을 계획하고 수정해야 하는 만큼, 기존 AI 모델을 유지하면서 추론 속도와 공간 예측 정확도를 개선할 수 있다는 점에서 의미가 있다.
박찬 기자 cpark@aitimes.com