엔비디아, 신뢰할 수 있는 AI 에이전트 위한 NIM 마이크로서비스 출시
엔비디아가 AI 가드레일을 위한 새로운 엔비디아 NIM 마이크로서비스(NVIDIA NIM microservices)를 출시했다고 밝혔다.
AI 에이전트는 다양한 작업을 수행하는 ‘지식 로봇’을 통해 전 세계 수십억 지식 근로자의 생산성을 변화시킬 잠재력을 갖춘 기술로 평가된다. 그러나 AI 에이전트를 개발하기 위해서는 신뢰, 안전, 보안, 규정 준수 등과 같은 중요한 문제를 해결해야 한다.
AI 가드레일을 위한 새로운 엔비디아 NIM 마이크로서비스는 소프트웨어 도구 모음인 엔비디아 네모 가드레일(NeMo Guardrail)의 일부로, 기업이 생성형 AI 애플리케이션의 안전성·정확성·확장성을 개선할 수 있도록 돕는 최적화 추론 마이크로서비스다.
네모 가드레일은 마이크로서비스 조정을 위한 핵심 요소로서 AI 큐레이팅, 맞춤화, 가드레일링을 지원한다. 이 도구를 통해 개발자는 LLM 애플리케이션에 AI 가드레일을 통합하고 관리할 수 있다. 암독스(Amdocs), 세렌스 AI(Cerence AI), 로우즈(Lowe’s)가 AI 애플리케이션을 보호하기 위해 네모 가드레일을 사용하고 있다.
엔비디아는 NIM 마이크로서비스를 통해 개발자가 보다 안전하고 신뢰할 수 있는 AI 에이전트를 구축할 수 있고 설명했다. 이 서비스는 컨텍스트별 가이드라인 내에서 안전하고 적절한 응답을 제공하며, 탈옥 시도에 대비할 수 있다. AI 에이전트는 자동차, 금융, 의료, 제조, 소매업 등 다양한 산업의 고객 서비스에 배치돼 고객 만족도와 신뢰도를 높이는 데 기여할 수 있다.
새로운 마이크로서비스 중 하나는 콘텐츠 안전성 조정을 위해 ‘이지스 콘텐츠 안전 데이터세트(Aegis Content Safety Dataset)’를 기반으로 훈련됐다. 이 데이터세트는 해당 카테고리에서 가장 높은 품질의 인간 주석 데이터 소스 중 하나로, 엔비디아가 큐레이팅 및 소유하고 있다. 허깅 페이스(Hugging Face)에 공개된 이 데이터세트에는 3만 5,000개 이상의 인간 주석 데이터 샘플이 포함돼 있다.
AI 에이전트를 효과적으로 관리하는 엔비디아 네모 가드레일
AI는 다양한 비즈니스 프로세스에서 생산성을 빠르게 향상시키고 있다. 특히 고객 서비스 분야에서는 고객 문제 해결 속도를 최대 40%까지 향상시키는 데 기여하고 있다. 그러나 고객 서비스 및 기타 AI 에이전트를 확장하려면, 유해하거나 부적절한 결과를 방지하고 AI 애플리케이션이 정의된 매개변수 내에서 작동하도록 보장하는 안전한 모델이 필수적이다.
이를 위해 엔비디아는 AI 에이전트가 대규모로 운영되면서도 제어된 행동을 유지할 수 있도록 지원하는 네모 가드레일의 새로운 NIM 마이크로서비스 3가지를 소개했다.
콘텐츠 안전 NIM 마이크로서비스 : AI가 편향되거나 유해한 결과물을 생성하지 않도록 방지하며, 윤리적 기준에 부합하는 응답을 제공할 수 있도록 지원한다.
주제 제어 NIM 마이크로서비스 : 대화가 승인된 주제에 집중하도록 유지해, 주제가 벗어나는 내용이나 부적절한 콘텐츠로 이어지는 것을 방지한다.
탈옥 탐지 NIM 마이크로서비스 : 탈옥 시도에 대한 보호 기능을 추가해 대립적인 시나리오에서 AI 무결성을 유지하는 데 도움이 된다.
개발자는 여러 경량화된 전문 모델을 가드레일로 적용함으로써, 일반적인 글로벌 정책과 보호 기능만으로는 방지할 수 없는 빈틈을 효과적으로 메울 수 있다. 모든 상황에 적용되는 단일 접근 방식으로는 복잡한 에이전틱 AI(Agentic AI) 워크플로우를 적절히 보호하고 제어하기 어렵다.
네모 가드레일 컬렉션에 포함된 소형 언어 모델(small language model, sLM)은 지연 시간이 짧고, 리소스가 제한 혹은 분산된 환경에서도 효율적으로 실행되도록 설계됐다. 이런 특성은 병원이나 창고와 같은 장소에서 의료, 자동차, 제조업 등 다양한 산업 분야의 AI 애플리케이션을 확장하는 데 이상적이다.
오픈소스 커뮤니티에서 제공되는 네모 가드레일을 통해 개발자는 레일(rail)이라고 불리는 다양한 AI 소프트웨어 정책을 조정해 LLM 앱의 보안과 제어를 강화할 수 있다. 엔비디아에 따르면 레일은 NIM 마이크로서비스와 함께 작동하며, 안정성이나 성능을 저해하지 않으면서도 대규모로 배포할 수 있는 AI 시스템 구축을 위한 프레임워크를 제공한다.
엔비디아 네모 가드레일 마이크로서비스와 레일 조정을 위한 네모 가드레일과 함께 엔비디아 가락(Garak) 툴킷도 제공된다. 가락은 엔비디아 리서치팀이 개발한 오픈소스 툴킷으로, LLM과 애플리케이션 취약점 스캔에 사용된다.
가락을 통해 개발자는 데이터 유출, 프롬프트 인젝션, 코드 환각, 탈옥 시나리오와 같은 문제를 평가함으로써 LLM을 사용하는 시스템의 취약점을 식별할 수 있다. 가락은 부적절하거나 잘못된 출력을 포함하는 테스트 케이스를 생성함으로써 개발자가 AI 모델의 잠재적 약점을 감지하고 해결해 AI 모델의 견고성과 안전성을 향상시킬 수 있도록 돕는다.
엔비디아는 네모 가드레일을 사용하고 AI 에이전트에 보호 장치를 구축하는 방법을 안내하는 튜토리얼을 제공하고 있다.
※위 포스팅이 문제될 경우 삭제하겠습니다.
