기사를 읽어드립니다.

생성 AI와 AI 에이전트가 기업이 정한 정책과 범위 안에서만 움직이도록 통제하는 'AI 가드레일' 시장을 겨냥해 국내 솔루션 기업들이 잰걸음에 나섰다.

AI 가드레일은 AI의 입력과 출력, 행동을 정해진 기준 안에 묶어 두는 안전장치다. 입·출력을 판정·차단하는 제품으로 좁게 보기도 하고, 개발·운영 전 과정의 보안 체계나 조직 차원의 거버넌스로까지 확장되기도 한다.

최근에는 AI 에이전트가 확산하면서 통제 대상도 '말(텍스트)'를 넘어 '행동'으로 넓어지는 양상이다. AI 에이전트가 수행한 잘못된 행동이 더 큰 보안 위협이 될 수 있기 때문이다.

이달 코스닥 상장을 앞둔 제논(대표 고석태)은 최근 자사 생성 AI 플랫폼 '제노스'에 탑재했던 가드레일 기능을 독립 솔루션 '젠가드(GenGuard)’'로 출시했다. 모델 재학습 없이 '개별 종목 추천은 차단한다'처럼 자연어로 정책을 정할 수 있다.

AI 보안 전문 에임인텔리전스(대표 유상윤)는 실시간 AI 가드레일 '스타포트(Starfort)'와 AI 레드팀 솔루션 '스팅어(Stinger)'를 두 축으로 시장을 공략 중이다. 스팅어로 AI 시스템의 취약점을 찾아 평가하고, 스타포트로 실제 서비스에서 위험을 통제하는 구조다. 

라온시큐어(대표 이순형·이정아)는 AI 세이프 가드레일 솔루션 ‘원쉴드(OneShield)’로 시장을 파고 들고 있다. 프롬프트 인젝션, 탈옥(Jailbreak) 등 악성 프롬프트 공격을 탐지, 차단하고 AI에 입력되는 개인정보를 자동 식별해 익명화하거나 마스킹할 수 있다.

셀렉트스타(대표 김세엽)는 AI 신뢰성 평가 컨설팅과 자동 레드티밍, sLM 기반 가드레일 기술을 개발하며, 기업의 AI 모델 및 서비스에 대한 성능·안전성 평가를 지원하고 있다.

명대우 제논 부사장 겸 최고 기술책임자(CTO)는 “기업의 AI 활용이 본격화될수록 보안은 단순한 위험 관리 수단을 넘어 AI 서비스의 신뢰성과 경쟁력을 결정하는 핵심 요소가 될 것”이라며 “기업용 AI 플랫폼 기술력과 산업별 경험을 바탕으로 변화하는 보안 요구에 선제적으로 대응하며 국내 기업 환경에 최적화된 AI 보안 시장을 선도해 나가겠다”고 말했다.

이정환 기자 ryanlee@aitimes.com