기사를 읽어드립니다.

미공개 AI 모델 '페이블 5.5'로 일본 극장판 수준의 2D 애니메이션을 제작했다는 주장을 3일 소개해 드린 바 있습니다. 개발자는 이미지나 영상 생성 AI를 사용하지 않고 100% 코드만으로 만들었다고 주장했지만, 실제 제작 코드가 공개되지 않아 진위를 둘러싼 논란이 일었습니다.

이처럼 대형언어모델(LLM)이 직접 코드를 작성해 영상을 제작하는 사례는 이미 상당수 등장했습니다. LLM이 글과 코드를 작성하는 데 이어 영상 제작까지 맡기 시작한 것입니다. 최근에는 개발자들의 실험을 넘어 기업 이용자를 위한 제품도 등장했습니다.

글과 코드를 생성하는 LLM이 영상을 만드는 방식은 기존 영상 생성 AI와는 다릅니다. 픽셀을 생성해서 화면을 직접 만들어내는 것이 아니라, 영상을 그리는 프로그램을 작성하는 방식입니다. 

예를 들어 화면에 글자가 나타나고 그래프가 커지거나 자동차가 왼쪽에서 오른쪽으로 움직이는 장면은 프로그램 코드로 구현할 수 있습니다. LLM은 이용자의 설명에 따라 이러한 코드를 작성하고, 컴퓨터가 이를 실행해 움직이는 장면을 만듭니다.

여기에 반드시 전용 영상 생성 AI가 필요한 것은 아닙니다. 웹 브라우저에서 그림과 애니메이션을 구현하는 자바스크립트나 HTML 캔버스 같은 기존 기술만으로도 간단한 2D 영상을 만들 수 있습니다. LLM이 글자와 도형을 배치하고 시간에 따라 위치와 크기, 색상이 달라지도록 코드를 작성하는 것입니다. 프로그램이 시간 순서대로 그린 화면을 이어 붙이면 하나의 영상이 완성됩니다.

기존 영상 제작 도구를 이용하는 방법도 있습니다. 대표적인 것이 '리모션(Remotion)'입니다. 리모션은 웹 개발 기술을 이용해 영상을 만드는 도구로, 원래는 개발자가 직접 코드를 작성해야 했습니다. 이제는 '클로드 코드'나 '코덱스' 같은 AI 코딩 에이전트가 리모션용 코드를 대신 작성하고, 리모션이 이를 실행해 영상으로 만들어 줍니다.

AI 코딩 에이전트는 코드를 작성하는 데 그치지 않고 실행 결과를 확인해 수정하기도 합니다. 화면에서 글자가 겹치거나 움직임이 어색하면 해당 부분의 코드를 다시 작성하는 식입니다. 이처럼 작업을 반복하면서 영상을 완성할 수 있습니다.

이때 기존 사진이나 음악을 가져와 영상에 넣을 수도 있습니다. 따라서 LLM이 영상 제작 코드를 직접 작성했다고 해서 영상에 들어가는 이미지와 음악까지 모두 코드로 만들었다는 뜻은 아닙니다.

이미 지난 4월에는 클로드 코드와 리모션을 이용해 자연어 지시로 모션그래픽을 만드는 제작법이 공유됐습니다. 특히 9월22일 '클로드 오퍼스 5.5' 출시 이후에는 광고 스타일 영상부터 3D 장면, 교육용 설명 영상, 음악에 맞춰 움직이는 그래픽까지 다양한 작품이 잇달아 공개됐습니다.

관련 사례를 수집하는 사이트 24fps는 클로드 오퍼스 5.5로 제작됐다고 표기된 작품 4077개를 확인했습니다. 이는 제작자들이 밝힌 모델명을 기준으로 집계한 수치이며, 실제 제작 코드를 공개한 작품은 약 10%에 불과합니다. 결과물은 많아졌지만 제작 방식까지 확인할 수 있는 사례는 제한적입니다.

이러한 움직임은 실제 제품으로도 이어졌습니다. 앤트로픽은 지난 10월8일 기업용 베타 기능인 '클로드 모션(Claude Motion)'을 공개했습니다. 이용자가 보고서나 차트, 제품 설명 등을 입력하면 클로드가 이를 짧은 애니메이션으로 만들어 줍니다. 완성된 영상은 MP4로 저장할 수 있으며, 글자와 숫자, 움직이는 시간 등을 수정할 수도 있습니다.

앤트로픽은 클로드 모션에 전용 영상 생성 모델을 사용하지 않는다고 밝혔습니다. 클로드가 텍스트와 도형, 차트, 이미지 등을 움직이는 코드를 작성하는 방식입니다. 실사 영화나 복잡한 인물 영상을 만드는 대신 보고서와 데이터를 이해하기 쉬운 그래픽으로 표현하는 데 초점을 맞췄습니다.

이 방식은 수정과 재현이 쉽다는 장점이 있습니다. 예를 들어 매출 증가율이 15%에서 18%로 바뀌면 코드에 입력된 수치를 변경해 그래프와 문구를 수정할 수 있습니다. 화면 전환 시간이나 움직이는 방향도 조정할 수 있습니다. 기존 영상 생성 AI로 만든 장면을 수정하려면 다시 생성해야 할 때가 많지만, 코드 기반 영상은 필요한 부분을 직접 변경할 수 있다는 차이가 있습니다.

물론 모든 영상을 이런 방식으로 만들 수 있는 것은 아닙니다. 복잡한 인물의 움직임이나 사실적인 자연 풍경은 전용 영상 생성 AI가 유리합니다. 온라인에서 화제가 된 일부 애니메이션도 한 줄의 명령만으로 완성된 것처럼 알려졌지만, 실제로는 상세한 지시와 수시간의 코드 작성, 실행, 수정 작업이 필요한 사례가 있었습니다.

영상 제작을 위해 사람이 직접 작성해야 했던 복잡한 프로그램을 이제 LLM이 상당 부분 대신 작성할 수 있게 됐습니다. 기존 영상 생성 AI가 화면을 직접 만들어내는 기술을 발전시켰다면, 클로드와 같은 LLM은 영상 제작 과정 자체를 자동화하는 도구로 발전하고 있습니다.

특히 뉴스와 광고, 데이터 시각화처럼 내용이 자주 바뀌는 분야에서는 수치나 문구를 수정해 영상을 다시 제작할 수 있어 제작 시간과 비용을 줄이는 데 도움이 될 것으로 보입니다.

이어 3일 주요 뉴스입니다.

■ 뤼튼·스캐터랩 양분한 AI 캐릭터챗 시장에 게임사 가세…경쟁 본격화

AI 캐릭터챗이 인기를 끌면서 새로운 수익원을 찾는 게임사들도 시장에 뛰어들고 있습니다. 캐릭터 IP와 콘텐츠 수익화에 강점을 가진 게임사들의 진출이 시장 경쟁을 어떻게 바꿔놓을지 관심이 모입니다.

■ 오픈AI, 12월부터 챗GPT·코덱스 사용량 통합…기존 앱 1월 종료

오픈AI가 예고한 대로 챗GPT의 '챗'과 '워크'를 하나로 합치는 데 이어, 12월부터 챗GPT와 코덱스의 사용량 한도도 통합합니다. 그동안 다양한 AI 모델과 앱, 기능을 잇달아 선보였던 오픈AI가 이제는 이용자 편의성을 높이기 위해 서비스와 사용 체계를 통합하고 있습니다.

■ 르쿤, 다른 AI가 같은 세상 이해하는 조건 증명…학습 샘플 42배 절감

얀 르쿤이 사진과 글처럼 서로 다른 데이터를 학습한 AI들이 비슷한 방식으로 세상을 이해하게 되는 조건을 수학적으로 제시했습니다. 특히 'JEPA' 학습 방식을 적용하면 기존 언어모델의 다음 토큰 예측 방식보다 42배 적은 학습 샘플로 같은 수준의 내부 표현 유사성을 확보할 수 있다고 밝혔습니다.

AI타임스 news@aitimes.com