향후 기업에는 수많은 AI 에이전트가 도입될 것으로 전망된다. 이 과정에서 결과에 대한 불신, 워크플로 붕괴, 비용 폭증이 CIO의 발목을 잡을 수 있다.
향후 1년 내 많은 기업이 자체 개발뿐만 아니라 5~6곳의 서로 다른 벤더로부터 구매한 수십 개의 AI 에이전트를 동시에 운용하게 될 가능성이 높다.
CIO에게는 이런 전망이 ‘상호운용성의 악몽’처럼 들릴 수 있다. 최근 몇 달 사이 AI 표준화 프로토콜이 다수 등장했지만 어떤 프로토콜이 시장에서 주도권을 잡을지 여전히 불투명하며, CIO들은 여러 난제에 직면해 있다.
장기적으로 멀티 에이전트 IT 환경을 지지하는 이들은 에이전트가 현재 직원들이 수행하는 단순 반복 업무를 대체함으로써 막대한 효율성 향상과 비용 절감을 이끌 수 있다고 본다. 그러나 많은 IT 리더가 데이터 보안, 비용 통제, 그리고 다수의 에이전트가 협업할 때 결과에 대한 신뢰 부족 등 상호운용성과 관련한 과제를 우려하고 있다.
소프트웨어 개발사 소나타파이 테크놀로지(Sonatafy Technology)의 CEO 스티브 태플린은 “AI 상호운용성이 이 기술의 잠재력을 활용하려는 기업들에 있어 중대한 이슈로 부상하고 있다”라고 말했다.
태플린은 “기업 고객을 대상으로 AI 기반 전환 프로젝트를 이끌고 있는 입장에서, AI 상호운용성은 조용하지만 가장 시급한 확장 걸림돌로 떠오르고 있다. 많은 조직이 AI를 도입하는 것뿐만 아니라, 갈수록 커지는 AI 도구 생태계를 실제로 함께 작동하게 만드는 데 어려움을 겪는 상황”이라고 설명했다.
태플린은 설계 단계에서 상호운용성을 고려하지 않으면 조직이 취약하고 확장 불가능한 AI 구현을 만들게 된다고 설명했다. 그는 “그 결과 고립된 모델, 임시방편식 통합, 증가하는 지원 비용이라는 결과를 초래한다. 더 큰 문제는 힘들게 도입한 AI가 팀의 신뢰를 잃게 된다는 점”이라고 말했다.
엔터프라이즈 아키텍처 관리 벤더 아르독(Ardoq)의 최고제품책임자(CPO) 이안 스텐데라는 AI 에이전트와 관련 기술을 도입하려는 조직에 서비스를 제공하는 벤더들도 새로운 통합 문제를 겪고 있다고 말했다.
스텐데라는 “에이전트가 실제로 자리를 잡기 시작하면서 잠재적 문제들이 처음 모습을 드러내고 있다. 그전까지는 실험 실패의 연속이었지만, 이제 서서히 가시적인 성과를 내기 시작한 단계”라고 설명했다.
프로토콜 경쟁
스텐데라는 많은 조직이 대규모 에이전트를 배포하기 시작하는 시점에 맞춰 새로운 AI 프로토콜이 등장하고 있지만, 어떤 프로토콜이 승자가 될지는 여전히 불투명하다고 말했다. 그는 일부 조직에서 결국 잘못된 선택을 하게 될 가능성도 있다고 경고했다.
스텐데라는 “시기적으로는 잘 맞아떨어지고 있지만, 도입 이전과 다를 바 없는 상황에 빠지지 않으려면 반드시 표준을 찾아야 한다는 필요성이 커지고 있다”라고 설명했다.
그는 데이터 보안 역시 반드시 해결해야 하는 문제라고 언급하면서, 많은 CIO가 어떤 에이전트가 민감 정보에 접근하고 있는지를 우려하고 있다고 말했다. 특히 여러 에이전트가 협력해 보고서를 작성하거나 신규 자재를 발주하는 경우, 결과에 대한 불신 문제를 해결하기 쉽지 않을 것이라고 그는 설명했다.
그는 이런 협력 과정에서 에이전틱 AI가 ‘무한 계단식 퇴행 구조(Turtles all the way down)’에 직면할 수 있다고 진단했다. 다시 말해 여러 에이전트가 차례대로 앞선 결과를 기반으로 작업을 이어갈 때, 한 단계에서 잘못된 판단이나 결과가 나오면 그 이후 모든 단계와 최종 산출물까지 연쇄적으로 오염될 수 있다는 것이다.
스텐데라는 “과정 어딘가에서 환각(hallucination)이 발생해 마치 악의적인 사용자처럼 워크플로우를 훼손할 수 있다. 멀티 에이전트 오케스트레이션의 설계 구조상 투명성과 감사 가능성을 유지하기가 매우 어렵다”라고 말했다.
또한 스텐데라는 AI 에이전트를 상호 운용하는 비용도 중요한 문제가 될 수 있다고 지적하면서, 개별 사업 부서가 자체적으로 에이전트를 도입하거나 로우코드 기반의 에이전트 개발이 보편화되면서 일부 직원이나 부서가 직접 에이전트를 만드는 경우도 있다고 설명했다.
그는 CIO가 ‘같은 일을 하는 에이전트가 몇 개나 있는가?’, ‘비용을 과도하게 지불하고 있는가?’, ‘특정 벤더에 지나치게 많은 비용을 내는가?’ 등의 질문을 던져야 한다고 조언했다.
스텐데라는 “이런 문제들은 아직 수면 위로 올라오지 않았지만, 추후 본격화될 수 있다. 지금은 거의 끝없이 실험 예산을 쓰는 단계와 비슷하다. 하지만 AI 도입이 자리 잡기 시작하면, 이러한 중복과 불필요한 반복이 심각한 문제로 떠오를 것”이라고 진단했다.
형식의 불일치
태플린은 보안, 신뢰, 비용 문제 외에도, 데이터 형식 혼란과 그가 ‘통합 취약성(integration fragility)’이라고 언급한 워크플로우 붕괴 같은 AI 상호운용성 문제가 있다고 지적했다.
그는 “새로운 AI 플랫폼, 에이전트, 서비스는 각자 고유의 언어를 가지고 있다. 데이터 형식, API, 런타임 의존성, 운영 가정이 제각각이다. 이는 현대판 바벨탑과도 같다. 특히 부서나 사업부 간에 이러한 도구들을 억지로 이어 붙이려고 하면 곳곳에서 균열이 생기기 시작할 것”이라고 말했다.
태플린은 모든 AI 도구가 데이터를 동일한 방식으로 처리하지 않는 것이 문제라고 말했다. 예를 들어, 소나타파이의 한 물류 분야 고객사는 수요 예측, 경로 설정, 가격 책정을 위해 3개의 AI 도구를 도입했는데, 각 도구가 타임스탬프 규칙과 지역 인코딩 방식을 조금씩 다르게 사용했다. 태플린에 따르면 각 시스템이 원래 상호운용 가능하도록 설계됐음에도 불구하고, 이런 미묘한 차이로 인해 배송 오배송, 재고 불일치, 고객 서비스 문제가 발생했다.
그는 “CIO들은 시간이 지나면서 적응할 수 있는 자동화 파이프라인을 원한다. 그러나 서로 다른 벤더의 AI 서비스나 오픈소스 모델을 이어 붙이면 사소한 업데이트 하나로도 전체 체인이 무너질 수 있다”라고 내다봤다.
태플린은 한 마케팅팀이 LLM 기반 캠페인 엔진을 다른 벤더의 감정 분석기와 연동해 사용하다 문제가 발생한 사례도 있었다고 말했다. 그는 “감정 분석기가 새 모델 버전으로 업데이트되자 입력 데이터를 분류하는 방식이 바뀌면서 개인화 로직이 무너졌다. 아무도 문제를 인지하지 못한 채 마케팅 캠페인이 실패로 끝났다”라고 말했다.
그는 IT 리더가 AI 통합을 단순히 API 문제로만 봐서는 안 된다고 강조하면서, “이는 기대치 공유, 버전 투명성, 행동 예측 가능성의 문제다. 여전히 많은 도구에서 이런 요소들이 심각하게 부족하다”라고 평가했다.
AI 상호운용성을 위한 길
태플린은 잠재적인 상호운용성 문제를 해결하려면 CIO가 에이전트와 기타 AI 도구를 도입할 때 더 신중하게 접근해야 한다고 조언했다. AI 도구 간 통신을 가능하게 하는 프로토콜만으로는 충분하지 않다는 설명이다.
태플린은 “업계 표준은 좋은 출발점이지만 빠른 혁신과 장기 유지 가능성 사이의 근본적인 긴장을 해소하지는 못한다. 여전히 내부적으로 엔지니어링 엄격성을 갖추고, 다른 시스템과 원활히 연동될 수 있는 AI 시스템 설계를 위해 속도를 충분히 늦출 의지가 필요하다”라고 말했다.
인포시스(Infosys)의 데이터·분석·AI 부문 글로벌 SVP인 수닐 세난은 기업이 개별 부서나 직원이 각자 AI 에이전트를 도입하도록 두기보다, 중앙집중 플랫폼에서 배포하는 방식을 고려할 필요가 있다고 말했다. 플랫폼 방식이 제대로 구현되면 신뢰성, 리스크, 거버넌스 등 AI 상호운용성과 관련된 여러 잠재적 문제를 사전에 예측하고 대응할 수 있다는 것이다.
세난은 “플랫폼 기반 배포를 하면 책임 있는 AI 원칙을 체계에 녹일 수 있다. 에이전틱 AI 통합을 지원하고, 운영 측면에서 여러 애플리케이션을 가로질러 동작하면서도 플랫폼을 통해 관리되는 신중하고 책임 있는 AI 프로세스를 갖추는 것이 바람직하다”라고 말했다.
세난은 여러 벤더의 에이전트를 연결해 직원의 업무를 지원하는 방식보다, 여러 애플리케이션에서 다양한 업무를 처리할 수 있는 에이전트를 고려할 것을 조언했다. 그는 예를 들어 석유·가스 산업의 비즈니스 애널리스트라면 3개의 에이전트를 따로 쓰는 대신, 하나의 에이전트를 구축해 산업 보고서 PDF 요약, 회사 SAP 시스템 데이터 처리, MS 오피스 제품군과의 연동까지 수행할 수 있다고 설명했다.
이 게시글이 문제가 될 시, 삭제하겠습니다
▲ 할로우 나이트: 실크송 게임스컴 2025 시연 부스 현장 (사진: 게임메카 촬영)
