지속성 대신 일시성…에이전틱 AI 시대, IT 운영의 기준이 바뀐다
안정성과 예측 가능성을 중심으로 설계된 기존 IT 운영 모델은 ‘짧게 생성되고 사라지는’ AI 에이전트 환경에서는 더 이상 통하지 않는다.
오늘날 대부분의 IT 운영 모델의 핵심 목표는 ‘시스템이 끊기지 않고 안정적으로 동작하도록 유지하는 것’었고 그 성패는 가동시간으로 평가됐다.
하지만 에이전틱 AI(Agentic AI)는 기존의 전제를 근본적으로 뒤흔든다. 기존 애플리케이션이 지속적으로 실행되는 형태였다면, 에이전트형 AI는 일시적인 존재다. 하나의 프롬프트나 다른 에이전트의 요청에 따라 순간적으로 생성돼 특정 작업을 수행한 뒤, 임무가 끝나면 즉시 사라진다. 이는 상시 인력을 관리하는 것이 아니라, 매번 필요한 순간마다 등장하는 임시 전문가 집단을 조율하는 것에 더 가깝다. 비유하자면 백화점보다는, 시즌마다 열렸다 사라지는 ‘팝업 스토어’에 가깝다.
일시성은 모든 것을 바꾼다. 이처럼 순식간에 나타났다 사라지는 소프트웨어 환경에서 우리는 무엇을 ‘운영한다’고 말할 수 있을까?
오래된 운영 방식은 통하지 않는다
오늘날의 운영 모델 대부분은 안정성과 예측 가능성을 전제로 구축됐다. 예를 들어 쿠버네티스는 장시간 실행되는 컨테이너화된 애플리케이션을 오케스트레이션하기 위한 획기적인 기술이었다. 이 기술은 인프라와 그 위에서 동작하는 소프트웨어 사이에 명확한 경계를 제공했지만, 그 전제에는 항상 “워크로드는 지속적으로 유지된다”라는 가정이 깔려 있었다.
에이전틱 AI는 이런 규칙을 따르지 않는다. 하나의 에이전트는 채팅 요청이나 다른 에이전트의 출력에 의해 생성되어 단 몇 초만 존재할 수도 있다. 또 다른 에이전트를 동적으로 생성하며, 순간적으로 생겨났다 사라지는 일련의 프로세스 연쇄를 만들어내기도 한다. 이 과정에서 패턴은 끊임없이 생성되고, 변화하며, 예고 없이 사라진다. 문서 속 깔끔한 스택 다이어그램처럼 보이던 구조가 실제로는 살아 움직이는 생태계에 더 가까운 형태로 작동하는 것이다.
과제는 분명하다. 영속성을 전제로 설계된 시스템에 끊임없이 사라지는 존재를 관리하라고 요구할 수는 없다. 기존의 운영 매뉴얼을 이 새로운 환경에 억지로 확장하려는 운영팀은 곧 난관에 부딪친다. 일시적 에이전트가 필요한 순간에 필요한 데이터를 정확히 받도록 어떻게 보장할 것인가? 대시보드에 표시될 만큼 오래 존재하지도 않는 워크로드를 어떻게 모니터링하고 보호할 것인가? 새로 생겨나는 모든 에이전트가 제각각 깨지기 쉬운 전용 인프라 조각을 요구하지 않도록 하려면 무엇을 바꿔야 하는가?
쿠버네티스나 다른 오케스트레이션 시스템이 쓸모없어졌다는 뜻은 아니다. 이들은 전혀 다른 문제를 해결하도록 최적화된 도구일 뿐이다. 운영의 기본 전제였던 지속성과 중앙 통제는, 실행 단위 자체가 필요할 때 나타나 작업을 수행하고 곧바로 사라지도록 설계된 환경에서는 더 이상 유효하지 않다.
용량 vs. 소비 : 새로운 운영 사고방식
그동안 엔터프라이즈 IT는 명확한 역할 분담 위에서 운영됐다. 한쪽은 컴퓨팅, 스토리지, 네트워크 등 인프라 자원을 제공하고, 다른 한쪽은 그 자원을 활용해 애플리케이션과 서비스를 개발·운영한다. 에이전틱 AI 환경에서는 이 구분이 그 어느 때보다 중요해진다.
‘용량(Capacity)’은 인프라와 데이터 환경을 뜻한다. ‘소비(Consumption)’는 그 용량을 활용하는 에이전트와 AI 모델을 의미한다. 그리고 ‘추론(Inference)’은 AI 에이전트가 인프라 용량을 활용하는 인터페이스이자 작동 메커니즘으로, 이 둘을 연결하는 핵심 역할을 맡는다.
이런 방식으로 IT 운영을 다시 정의하면 에이전트가 성공적으로 작동하기 위해 무엇이 필요한가를 새롭게 바라볼 수 있다. 에이전트는 자신이 어디에서 실행되는지, 어떤 네트워크를 사용하는지, 혹은 어떤 스토리지 시스템에 데이터가 저장돼 있는지에 관심이 없다. 중요한 것은 생성되는 순간(비록 그 시간이 짧더라도) 올바른 권한으로 필요한 자원에 안정적이고 효율적으로 접근할 수 있느냐다.
용량과 소비을 분리하는 구조는 IT 운영의 민첩성을 높인다. 에이전트와 특정 인프라 간의 취약한 일대일 연결 관계를 없애 시스템 전체를 더 유연하게 만든다. 또한 기업이 새로운 AI 모델이나 아키텍처를 도입할 때 기존 스택을 해체하지 않고도 손쉽게 통합할 수 있게 한다. 이런 구조는 수많은 에이전트가 필요에 따라 생성되고 협업하며, 사라질 수 있도록 하면서도 그때마다 새로운 운영 매뉴얼을 만들 필요가 없는 자율적이고 확장 가능한 운영 환경을 가능하게 한다.
쿠버네티스가 컨테이너 오케스트레이션의 복잡성을 추상화해 단순하게 만든 것처럼 에이전틱 AI 시대에는 이를 뒷받침하는 기반 시스템으로부터 일시적인 추론 과정을 분리하고 관리할 수 있는 인터페이스 계층이 필요하다. 즉, 수시로 생성되고 사라지는 AI 추론 작업을 안정적으로 제어하기 위해서는 인프라의 세부 복잡성을 가려주는 새로운 운영 추상화 계층이 필수적이다.
초기 실험과 엔터프라이즈 시나리오
일부 실험 프로젝트에서 이 미래의 단초를 보여주고 있다. 에이전틱 파운데이션(Agentics Foundation)의 루벤 코헨은 한 프로젝트에서 목표 기반 프롬프트(outcome-driven prompting)를 활용해 다수의 에이전트가 리서치, 설계, 코딩, 테스트 작업을 사전 정의된 워크플로우 없이 자율적으로 수행하도록 오케스트레이션하는 방식을 시연했다. 시스템은 필요에 따라 스스로 에이전트를 생성하고 종료하며, 자율적으로 조직화(self-organize)되는 모습을 보였다.
물론 완벽하지는 않았다. 배포 결정과 데이터 접근을 관리하기 위한 워크플로우와 도구가 여전히 필요했으며, 때로는 시스템이 정상적으로 작동하기까지 여러 차례 시도가 필요했다. 그러나 이 실험은 에이전트가 고정된 절차를 따르지 않고 목표를 중심으로 협력하고 재구성할 수 있을 때 어떤 새로운 가능성이 열리는지를 보여준 사례였다.
기업에 이 변화는 훨씬 더 큰 의미를 가진다. 예를 들어 전 세계 각지에서 고객 문의에 대응하기 위해 고객지원 에이전트가 실시간으로 생성되고 사라지는 상황을 상상해 보자. 이들 각각은 지역별 개인정보 보호 규정을 준수하면서 필요한 고객 데이터에 접근해야 하며, 상호작용이 끝나면 깨끗하게 종료돼야 한다.
만약 용량과 소비 사이에 적절한 추상화 계층이 없다면, 새로 생성되는 모든 에이전트는 그 자체로 운영상의 잠재적 문제가 될 수 있다. 반대로 이런 추상화가 제대로 구축된다면 순간적으로 생성되고 사라지는 수많은 에이전트 군집도 충분히 관리 가능한 시스템으로 전환될 수 있다.
과소평가된 도전 과제
용량과 소비를 분리하는 일이 겉보기에는 단순해 보일 수 있지만 실제로는 훨씬 복잡하다. 가장 큰 난관 중 하나는 메모리와 컨텍스트 문제다. 공동의 목표를 위해 여러 에이전트가 동시에 작업할 때, 모든 에이전트가 동일한 데이터와 컨텍스트를 공유하도록 보장하려면 어떻게 해야 할까? 한 에이전트가 이미 찾아낸 정보를 다른 에이전트가 추측에 의존하지 않고 이어받을 수 있도록 하는 방법은 무엇인가?
모니터링 역시 큰 도전 과제다. 기존의 대시보드나 로그 수집 툴은 지속적으로 실행되는 시스템을 전제로 설계됐다. 즉, 프로세스가 일정 시간 이상 존재해 로그를 남긴다는 가정하에 작동한다. 하지만 일시적으로 생성되고 곧바로 사라지는 에이전트는 이런 방식으로는 제대로 추적할 수 없다. 따라서 앞으로는 에이전트의 행동을 실시간으로 관찰하고 검증할 수 있는 새로운 모니터링 방식이 필요하다.
그리고 규제가 있다. 기업은 이미 AI 활용과 데이터 사용에 관한 지역별 규제 차이로 어려움을 겪고 있다. 에이전틱 AI 환경에서는 이런 문제에 대응하기 위해 조합 가능성(composability)이 핵심이 된다. 즉 에이전트, 모델, 데이터 소스를 상황에 따라 자유롭게 교체하더라도 시스템 전체가 흔들리지 않는 구조를 갖춰야 한다. 이런 유연성이 없다면 새로운 컴플라이언스 요건이나 지역별 규제 변경에 대응하는 것은 사실상 불가능하다.
앞으로의 방향
애플리케이션 중심 구조에서 에이전트 중심 구조로의 전환은 단순한 기술 아키텍처의 변화가 아니다. 이는 IT 운영의 개념 자체가 바뀌고 있다는 신호다. 이제 운영의 목적은 더 이상 ‘소프트웨어를 계속 실행 상태로 유지하는 것’이 아니다. 에이전틱 시대의 운영은 필요한 소프트웨어가 필요할 때 안전하고 안정적으로, 그리고 대규모로 생성·작동·소멸할 수 있도록 보장하는 일이다.
여전히 풀리지 않은 과제가 많다. 일시적 운영을 관리하기 위한 새로운 표준은 어떤 형태로 자리 잡게 될까? 등장과 동시에 사라지는 에이전트를 신뢰할 수 있는 체계를 어떻게 구축할 수 있을까? 끊임없이 변화하는 환경 속에서 일관되고 재현 가능한 동작을 어떻게 보장할 수 있을까? 각 에이전트를 고유한 인프라에 묶지 않으면서도, 적절한 시점에 적절한 데이터를 올바른 에이전트에게 전달하는 방법은 무엇일까?
아직 그 해답은 명확하지 않다. 그러나 한 가지는 분명하다. 에이전틱 AI 시대의 운영은 과거의 매뉴얼로는 설명할 수 없다. 변화의 여정은 이제 막 시작됐다.
※위 포스팅이 문제될 경우 삭제하겠습니다.
