AI 에이전트 확대로 데이터센터의 컴퓨팅 수요가 GPU에서 전통적인 CPU로까지 번지면서 글로벌 클라우드 업계의 ‘컴퓨팅 부족’ 현상이 심화하고 있다. 세계 최대 클라우드 사업자 중 하나인 아마존웹서비스(AWS) 내부에서도 서버 용량을 아껴 써야 할 정도로 공급 여력이 빠듯해지고 있다는 분석이다.

7일(현지시간) 디 인포메이션에 따르면, AWS 경영진은 지난 5월 엔지니어들과의 회의에서 앞으로 고객들에게 충분한 컴퓨팅 용량을 제공하기 위해 내부적으로 사용할 수 있는 자원을 최대한 절약해야 한다고 당부했다.

여기에는 AI용 GPU뿐만 아니라 AWS의 대표적인 클라우드 서버 서비스인 EC2에서 사용되는 CPU 기반 서버도 포함됐다. AWS는 각 팀에 올해 말까지 사용하는 컴퓨팅 자원을 줄이라는 목표를 제시했으며, 개발 과정에서 사용하다 더 이상 필요하지 않은 유휴 EC2 인스턴스를 종료해 고객에게 재배분하는 작업도 진행 중인 것으로 알려졌다.

실제로 AWS 내부 엔지니어들 사이에서는 CPU 서버를 할당받는 데 걸리는 시간이 과거보다 크게 늘어난 것으로 전해졌다. 수년간 AWS에서 근무한 한 엔지니어는 이전에는 몇 시간이면 받을 수 있었던 개발용 서버 용량을 이제는 며칠씩 기다려야 하는 경우가 발생하고 있으며, 이 같은 대기 시간은 지금까지 경험하지 못했던 수준이라고 말했다. 개발 일정과 프로젝트 마감에도 영향을 줄 수 있다는 우려가 나오는 이유다.

이번 현상은 그동안 AI 산업을 중심으로 제기돼 온 GPU 부족 문제가 CPU를 비롯한 데이터센터 전반의 컴퓨팅 자원 부족으로 확대되고 있음을 보여준다. AI 기업들이 엔비디아의 GPU 확보에 경쟁적으로 나서면서 GPU 공급이 빠듯해진 데 이어, GPU와 함께 작동하는 메모리와 데이터센터 공간까지 부족해지면서 전체적인 컴퓨팅 용량에 압박이 가해지고 있다.

특히 최근에는 AI 에이전트가 CPU 수요를 크게 끌어올리는 새로운 요인으로 부상했다. AI 에이전트는 단순히 모델에 질문을 입력하고 답변을 받는 방식과 달리 외부 도구를 호출하고 파일을 처리하며 코드를 실행하고 여러 작업을 차례로 수행한다. 이 과정에서 GPU가 AI 모델의 추론을 담당하는 동안 CPU는 도구 실행과 작업 조율, 데이터 처리 등을 담당한다.

AI 개발 과정에서도 CPU의 중요성은 커지고 있다. 모델 학습에 앞서 문서와 이미지, 동영상 등 원천 데이터를 읽고 정제하는 과정에 CPU가 사용되기 때문이다. AI 에이전트를 활용해 소프트웨어를 개발하는 기업이 늘어나면서 직원 1인당 클라우드 컴퓨팅 비용이 두 배로 증가한 사례도 나타나고 있다.

AI 추론 과정에서 CPU와 GPU의 사용 비율이 급격하게 변하고 있다는 점도 주목된다. 립부 탄 인텔 CEO는 지난 4월 AI 추론에서 CPU와 GPU의 비율이 1대 4 수준이라고 설명했지만, 7월에는 인텔 CFO가 이 비율이 점차 1대 1에 가까워지고 있다고 밝혔다.

AMD와 Arm에서도 CPU 수요가 빠르게 증가하고 있다는 발언이 이어졌다. 과거 AI 인프라에서 CPU가 주로 GPU에 데이터를 공급하는 보조적인 역할을 했다면, 에이전트 시대에는 직접적인 작업 수행과 오케스트레이션을 담당하는 핵심 자원으로 부상하고 있는 셈이다.

AWS는 회사 운영 방식에 근본적인 변화가 생겼다는 해석에는 반박했다. AWS는 높은 수요에도 불구하고 내부 및 외부 고객의 컴퓨팅 수요 대부분을 충족하고 있으며, 내부 팀과 협력해 EC2 자원을 효율적으로 사용하도록 하는 것은 기존에도 해왔던 방식이라고 밝혔다. 사용하지 않는 인스턴스를 종료하거나 작업에 비해 지나치게 큰 인스턴스를 더 작은 유형으로 변경하는 등의 자원 최적화가 필요하다는 설명이다.

고객에게도 4주 동안 EC2 서버의 CPU와 메모리 사용률이 40% 미만으로 유지될 때 더 작은 서버로 전환할 것을 권고하고 있다. 유휴 또는 저활용 서버를 자동으로 찾아내는 소프트웨어도 제공한다. AWS는 최근 메모리와 컴퓨팅 자원 부족 상황 때문에 직원들에게 새로운 지침을 적용한 것은 아니라고 강조했다.

그러나 클라우드 업계에서는 컴퓨팅 자원을 어디에 배분할 것인지를 둘러싼 경쟁이 갈수록 치열해지고 있다. 구글도 클라우드 사업과 AI 연구 조직인 딥마인드, 소비자 서비스 사이의 컴퓨팅 자원을 배분하기 위해 고위급 경영진으로 구성된 협의체를 만든 것으로 알려졌다. 마이크로소프트는 CPU와 GPU 자원을 효율적으로 운용하면서 확보한 추가 용량이 공급 부족 상황에서 곧바로 매출로 연결되고 있다고 설명한 바 있다.

AWS의 일반적인 계약 고객에게는 CPU 용량 부족이 아직 뚜렷하게 나타나지 않고 있다는 평가도 있다. 하지만 평소에는 남는 서버 자원이 많아서 저렴한 '스팟 인스턴스'를 대량으로 빌려 쓰는 게 쉬웠지만, 최근에는 이용 급증으로 데이터센터 전체의 자원이 빠듯해졌다는 말도 나왔다.

이처럼 AI 인프라를 둘러싼 경쟁은 GPU 확보전에서 CPU와 메모리, 데이터센터 공간을 포함한 전방위적인 컴퓨팅 확보전으로 확대되는 양상이다. 특히 AI 에이전트가 소프트웨어 개발과 기업 업무 전반으로 빠르게 확장될수록 하나의 AI 모델이 수행하는 작업의 범위와 횟수가 늘어나면서 CPU 수요도 지속적으로 증가할 가능성이 크다.

박찬 기자 cpark@aitimes.com