AI 추론 아키텍처, 파일럿 단계에서 결정하라…AI 추론 인프라의 5가지 원칙
아직 AI 전략을 수립하는 단계에 머물러 있는 기업이 있는가 하면, 실험이나 개념 증명(POC)이 프로덕션 단계에 도달하지 못한 채 ‘파일럿 연옥’에 갇혀 있는 기업도 적지 않다. ‘기업 AI 현황(The State of AI in the Enterprise)’ 보고서에 따르면, AI 실험의 40% 이상을 프로덕션으로 이전한 기업은 전체의 25%에 불과하다.
최근 링크드인 라이브의 한 세션에서는 의미 있는 AI 개념 증명을 구현하는 방법을 주제로 논의가 이루어졌다. POC가 실패하는 핵심 원인 중 하나는 AI 비즈니스 전략과의 연계가 부족하거나 명확한 비즈니스 성과가 정의되지 않은 경우다. 또 다른 두 가지 문제는 충분한 AI 변화 관리 프로그램이 부재하거나 직원이 개발 프로세스에 참여하지 못하는 것이다.
기술적인 문제도 상당하다. AI 모델 학습과 AI 에이전트 개발에 사용되는 아키텍처는 학습된 모델을 프로덕션 환경에서 실행해 결과를 생성하는 AI 추론에 사용되는 아키텍처와 크게 다를 수 있다. 학습과 추론은 성능, 확장성, 규정 준수, 보안 요건 면에서 판이하게 다르며, AI 추론을 학습 아키텍처를 규모만 조정한 것으로 단정하는 것은 잘못된 접근이다.
클라우드 인프라 기업 OVH클라우드(OVHcloud) 미국 제품 담당 수석 부사장 파스칼 자이용은 “업계의 초점이 프런티어 모델 학습에서 프로덕션 환경의 AI 추론 최적화로 빠르게 이동하고 있다”라고 말했다. 자이용은 기업이 장기적인 AI 성공이 원시 모델 크기보다 분산 환경 전반의 지연, 확장성, 보안, 인프라 경제성 균형에 달려 있음을 깨닫고 있다고 전했다. 또한 추론 워크로드가 확장됨에 따라 기업이 비용 효율성, 데이터 주권, 운영 유연성을 높이기 위해 전통적인 하이퍼스케일러 단독 전략의 대안을 점점 더 검토하고 있다고 덧붙였다.
AI 추론 환경 최적화는 운영 조건, 규정 준수 요건, 비용 트레이드오프도 함께 고려해야 한다. EY의 수석 기술 전문가 릭 로스는 CIO에게 로컬 추론은 로보틱스처럼 지연에 민감한 애플리케이션이나 규제가 요구하는 경우를 위한 의도적인 아키텍처 선택이라고 조언했다.
성공적인 AI 실험이나 POC를 기다린 후 추론 아키텍처를 검토하는 것은 실수가 될 수 있다. 예상치 못한 재작업이 발생하거나 개발 프로세스를 처음부터 다시 시작해야 하는 복잡성이 더해질 수 있기 때문이다. 다음은 효과적인 AI 추론 아키텍처, 인프라, 운영을 개발하기 위한 5가지 모범 사례다.
1. 통합과 성능을 위한 아키텍처 설계
학습 아키텍처는 처리량과 유연한 데이터 요건을 위해 설계되는 반면, 추론은 낮은 지연, 높은 안정성, 자율 운영을 필요로 한다. AI 에이전트용 추론 환경은 모델 컨텍스트 프로토콜(MCP) 서버 및 에이전트 간(A2A) 통합과의 워크플로우 오케스트레이션 방식도 고려해야 한다.
IT 솔루션 기업 암닥스(Amdocs)의 암닥스 스튜디오 사업부 대표 리키 에프라임-레더만은 “IT 팀은 AI 시스템이 대규모로 배포되기 전에 이벤트 기반, 저지연, 고안정성 인터페이스를 지원할 수 있도록 통합 및 오케스트레이션 레이어를 먼저 현대화해야 한다”라고 말했다. 에프라임-레더만은 많은 레거시 환경이 인간이 뒤에서 공백을 메우기 때문에 작동하는 것처럼 보이지만, AI 시스템이 자율적으로 행동하기 시작하면 그 안전망이 사라지고 취약점이 빠르게 드러난다고 지적했다.
기업이 더 많은 AI 에이전트를 배포하고 사용량이 증가함에 따라 데브옵스 팀은 사용례별 지연 요건과 최대 부하 성능 요건을 고려해야 한다.
네트워크 보안 기업 버사(Versa)의 AI/ML 수석 디렉터 스리다르 아이어는 “IT 팀은 예측 불가능한 버스트 트래픽, 민감한 데이터 파이프라인, 불투명한 API와 툴체인에 걸쳐 실행되는 AI 에이전트로 인해 복잡성이 얼마나 빠르게 증가하는지를 과소평가한다”라고 말했다. 아이어는 AI 추론이 지연, 데이터 주권, 비용에 따라 클라우드, 온프레미스, 엣지 위치 전반에서 워크로드를 동적으로 전환하는 분산 아키텍처를 점점 더 필요로 한다고 덧붙였다.
학습 환경은 AI 모델을 테스트하고 최적화하기 위해 여러 대규모 데이터 소스에 액세스하는 유연성을 필요로 하는 경우가 많다. 반면 추론 환경은 런타임 데이터 소스 연결이 적고 가용성과 지연이 핵심 설계 고려 사항이다.
분산 데이터베이스 기업 피지엣지(pgEdge)의 CEO 필립 메릭은 “엣지 또는 분산 환경에서의 추론은 데이터베이스가 로컬 배치, 일관성, 고가용성 측면에서 아키텍처와 일치할 때만 작동한다”라고 말했다. 메릭은 IT 팀이 인프라 결정과 데이터 결정을 별개의 작업 흐름으로 취급하는 경향이 있지만, 두 결정은 별개가 아니라 동일한 결정이라고 강조했다.
2. AI 데이터와 액션 보안
학습 환경에서는 IT 팀이 외부 접근을 방화벽으로 차단하고, 민감한 데이터를 마스킹하며, 액션을 테스트 환경에 한정할 수 있다. AI 에이전트가 실시간 데이터에 접근하고, 프로덕션 서비스형 소프트웨어(SaaS) 플랫폼 전반의 액션을 자동화하며, 의사 결정 권한과 관련한 동적 보안 평가를 필요로 하는 추론 환경에서는 설계 단계부터 보안을 적용하는 전략이 필요하다.
AI 아이덴티티 보안 기업 네이티브(Native)의 CPO 갈 오르도는 “추론은 모델이 실험에서 실제 데이터, 실제 서비스, 실제 비즈니스 워크플로우를 다루는 라이브 운영으로 전환되는 순간”이라고 말했다. 오르도는 그 시점에서 핵심 질문은 모델이 접근할 수 있는 범위, 트리거할 수 있는 액션, 실행 중 항상 유지해야 하는 조건이 된다고 밝혔다. 또한 처음부터 경계를 명확히 설정해 추론이 통제되고 결정론적인 환경 안에서 작동하도록 해야 한다고 조언했다.
AI의 의사 결정은 비결정론적이기 때문에 이상 에이전트를 방지하고, 모델 드리프트를 감지하며, 예상치 못한 사용 패턴을 조기에 경고하기 위해 가시성, 감사, 모니터링이 핵심이다.
보안 운영 기업 블루미라(Blumira)의 보안 및 IT 디렉터 마이크 툴은 “IT 부서는 AI 추론을 비정상적인 아이덴티티, 데이터, 비용 특성을 가진 또 다른 워크로드로 다뤄야 한다”라고 말했다. 툴은 프롬프트에 입력되는 내용의 민감도를 기반으로 실행 위치를 선택하고, 프로덕션 데이터에 접근하는 모든 서비스형 소프트웨어에 적용하는 것과 동일한 접근 통제, 로깅, 검토를 적용하는 것이 중요하다고 덧붙였다.
3. 학습과 추론 요건 분리
학습 환경은 GPU 칩과 기타 고성능 아키텍처를 필요로 할 수 있다. 추론의 경우 인프라는 규정 준수, 지연, 비용 및 기타 비기능적 요건에 초점을 맞춰야 한다. 상이한 요건은 대개 별개의 인프라 구성으로 이어진다.
네트워크 연결 서비스 업체 메가포트(Megaport)의 CEO 마이클 리드는 “컴퓨팅이 더욱 분산됨에 따라 CPU가 추론 워크로드의 핵심 구성 요소가 되고 있으며, 에이전트가 폭발적으로 증가하면서 컴퓨팅은 에이전트가 작동하는 기반이 됐다”라고 말했다. 리드는 동시에 추론이 남북 방향 트래픽을 크게 늘려 데이터 전송 수요를 높이고 네트워킹 용량에 더 큰 부담을 준다고 설명했다. 또한 AI 추론을 완전히 최적화하려면 컴퓨팅, 네트워크, 스토리지가 일체로 작동하는 통합 환경이 필요하다고 덧붙였다.
웹 시스템은 캐싱 레이어를 포함시켜 성능을 최적화했다. AI 추론 아키텍처에서도 캐싱은 중복 연산과 관련 GPU 비용을 줄여준다.
AI 인프라 최적화 기업 텐서메시(Tensormesh)의 CEO 준천 장은 “동일한 입력을 처음부터 다시 처리하는 요청마다 GPU 사이클을 전체 비용으로 소모한다”라고 말했다. 장은 키-값 캐싱이 이 중복성을 제거해 지연과 GPU 지출을 크게 줄인다고 설명했다. 또한 처음부터 추론 아키텍처에 캐싱을 구축하는 IT 팀은 통제 불능의 인프라 비용 없이 규모를 확장할 수 있다고 덧붙였다.
대기업은 규정 준수와 성능 요건에 따라 하이브리드 인프라를 고려해야 한다. 인간 안전과 관련된 AI 에이전트와 애플리케이션은 엣지 및 온프레미스 인프라를 검토해야 하는 반면, 백오피스 운영은 퍼블릭 클라우드에서 전적으로 실행될 수 있다.
코드 품질 관리 기업 소나(Sonar)의 CIO 안드레아 말라고디는 “기업이 AI 추론과 관련해 저지르는 가장 큰 실수는 운영 모델 결정인 것을 모델 결정으로 취급하는 것”이라고 말했다. 말라고디는 추론이 클라우드, 온프레미스, 엣지 어디서 실행되든 지연, 비용, 데이터 노출, 복원력에 직접적인 영향을 미친다고 덧붙였다.
4. 유연하고 탄력적인 운영을 위한 설계
추론 아키텍처는 웹 애플리케이션처럼 한 번 구축하고 규모를 조정하는 방식이 아니다. 아키텍트는 기술, 규정 준수, 가격이 진화함에 따라 모델, 인프라, 보안, 데이터 관리가 모두 변화할 것을 염두에 두고 계획해야 한다.
레드햇의 생성형 AI 파운데이션 모델 플랫폼 제품 총괄 투샤르 카타르키는 “AI 추론은 하이브리드 클라우드 환경 전반에서 일관되고 자동화된 운영과 모델에서 배포까지 명확한 신뢰 체인을 요구하는 핵심 프로덕션 워크로드로 빠르게 자리잡고 있다”라고 말했다. 카타르키는 오픈 소스와 개방형 표준이 기업에 AI 스택을 보호하는 투명성과 비즈니스 요구에 따라 어디서든 추론을 실행할 수 있는 유연성을 제공한다는 점에서 필수적이라고 덧붙였다.
변화의 원천 중 하나는 AI 모델의 역량, 성능, 비용이다. 클라우드 호스팅 기업 클라우드웨이(Cloudways)의 엔지니어링 수석 디렉터 아야즈 아흐메드 칸은 모델이 눈부신 속도로 개선되고 있으며, 모델이 변경되는 즉시 프롬프트와 가드레일을 철저히 평가, 검토, 수정해야 한다고 말했다.
또 다른 과제는 서비스형 소프트웨어 플랫폼, 데이터 소스, 기타 AI 에이전트와의 사용량 및 상호작용을 추적하는 것이다. 네트워크 인프라 관리 기업 넷박스 랩스(NetBox Labs)의 공동 창업자 겸 CTO 섀넌 웨이릭은 어떤 모델이 사용 중인지, 어떤 데이터가 기업을 떠나는지, 비용이 어떻게 누적되는지에 대한 가시성을 제공하는 단일 제어 지점을 통해 AI 트래픽을 라우팅해야 한다고 말했다. 웨이릭은 보이지 않는 것은 보호하거나 관리할 수 없다고 전했다.
데이터 통합 솔루션 기업 프리사이즐리(Precisely)의 CPO 맷 왁스먼은 기업 AI 추론에서 가장 과소평가된 과제는 모델이 아니라 그 이면의 데이터라고 지적했다. 왁스먼은 프롬프트와 검색 파이프라인이 일관되지 않은 의미 체계, 누락된 계보, 거버넌스 레이어가 없는 수십 개의 소스에서 데이터를 가져오지만 모델은 그 사실을 알 방법이 없다고 말했다. 또한 AI 시스템이 대규모로 자율적으로 행동하는 에이전틱 환경에서는 그 기반이 더욱 중요해진다고 덧붙였다.
AI 보안 기업 아크젯(Arcjet) CEO 데이비드 미튼은 프로덕션 추론에서 자사가 겪은 실질적인 문제를 소개했다. 미튼은 “모든 모델이 서로 다른 요청 형태, 헬스 체크, 메타데이터, 준비 상태 동작, 오류 형식, 응답 필드를 가진 독자적인 API가 되려 한다”라고 말했다. 또한 여러 모델이나 백엔드가 있으면 이 방식은 확장되지 않는다고 지적했다. 아크젯은 AI 보안 모델 위에 오픈 인퍼런스 프로토콜을 사용한 추상화 레이어를 구축해 라이브니스, 준비 상태, 메타데이터, 버전화된 모델 라우트, 텐서 방식 입출력을 위한 표준화된 형태로 추론 서비스를 구현했다.
5. 비용 및 변화하는 AI 모델에 최적화
수십 개에서 수천 개의 AI 에이전트로 확장하는 기업은 AI 모델 선택과 최적화가 비용에 미치는 영향을 고려할 수 있도록 핀옵스 프로그램을 고도화해야 한다.
분산 SQL 데이터베이스 기업 유가바이트(Yugabyte)의 제품 마케팅 부사장 앤드루 마셜은 “팀이 단일 에이전트 프로토타입에서 멀티 에이전트 파이프라인으로 이동할 때 추론 비용은 단순히 선형으로 증가하지 않는다”라고 말했다. 마셜은 멀티 에이전트 시스템이 단일 채팅 상호작용에 비해 최대 15배의 토큰을 소모할 수 있다고 전했다. 또한 이 배수 효과는 에이전트 간에 전달되는 컨텍스트의 양, 중복 검색량, 각 호출마다 처음부터 재구성해야 하는 상태량에 따른 데이터 문제이지 모델 문제가 아니라고 설명했다.
AI 모델 변화 외에도, 아키텍트는 학습에 사용되는 프런티어 모델이 이후 추론에 활용되는 더 작고 효율적인 모델 개발에 도움이 될 수 있다는 점을 고려해야 한다.
소프트웨어 공학 분석 업체 블루옵티마(BlueOptima) CEO 제이슨 롤레스는 대규모 언어 모델(LLM)이 하이퍼스케일러의 영역으로 남을 가능성이 높은 프런티어 클라우드 규모 모델과 기업 엣지에 배포되는 소형의 고도로 증류된 전문 모델이라는 두 가지 큰 범주로 빠르게 진화하고 있다고 말했다. 롤레스는 기업이 저수준의 명확한 작업은 소형 모델로 처리하고 추론과 정확성이 필요한 의사 결정에는 프런티어 모델을 활용하는 방식으로 전반적인 비용을 절감할 수 있다고 덧붙였다.
AI 코드 에이전트 기업 젠코더 CEO 앤드루 필레프는 에이전트가 실용적이 되자 사용량이 10배 급증하고, 컨텍스트가 급격히 증가하면서 기업이 모든 토큰에 프런티어 모델 가격을 지불하기 시작했다고 말했다. 필레프는 현재 많은 기업이 연간 AI 예산을 몇 달 만에 소진하고 있으며, 지출의 대부분은 단순 작업을 포함한 모든 단계에서 플래그십 모델을 실행하는 데서 비롯된다고 언급했다.
