“AI에 돈만 쏟아붓던 시대 끝났다” 이제는 ‘ROI 증명’이 숙제
생성형 AI 예산이 전년 대비 크게 늘었음에도 지속적인 투자 수익률을 입증하는 기업은 여전히 소수에 불과하다.
IT 리더가 생성형 AI의 가치를 규모 있게 입증하는 데 어려움을 겪는 가운데, 일부 대응 전략을 바꾸는 기업도 등장했다.
기업의 생성형 AI 지출이 지난 한 해 동안 급증했지만, 많은 CIO에게 가장 어려운 대화는 이제 막 시작되고 있다. 이사회와 CFO는 더 이상 기업이 AI에 투자하는지를 묻지 않는다. 측정 가능한 재무적 성과를 얻고 있는지를 묻고 있다.
포레스터 리서치 애널리스트에 따르면, 생성형 AI 예산은 전년 대비 크게 늘었지만 대다수 기업은 여전히 지속적인 투자 수익률(ROI) 입증에 어려움을 겪고 있다. 초기 파일럿은 유망해 보이는 경우가 많지만, 시스템이 확장되고 비용이 변동하며 거버넌스 요구가 높아질수록 가치를 설명하기가 점점 어려워진다.
애널리스트, CIO, AI 플랫폼 및 거버넌스 리더와의 인터뷰에서는 일관된 패턴이 드러났다. AI가 기술적으로 실패하는 것이 문제가 아니다. 기업이 경제 논리가 전혀 다른 기술에 기존의 예산 편성, 운영, 책임 모델을 그대로 적용하고 있다는 점이 문제다. 결국 ROI가 떨어지는 이유는 AI가 작동을 멈춰서가 아니라, 기업이 AI의 가치를 설명하고 방어하고 우선순위를 정하는 능력을 잃기 때문이다.
애널리스트 시각 : 비용 통제에서 가치 공동 창출로
애널리스트 관점에서 AI ROI 논쟁은 IT와 재무의 광범위한 융합 흐름의 일부로 이해하는 것이 적절하다. IT 재무 관리 분야를 담당하는 포레스터의 수석 애널리스트 그레그 조렐라는 성과가 높은 IT 기업일수록 재무 부문을 비용 절감에 집중하는 관문으로 보지 않는다고 주장한다. 대신 IT 재무는 기술 투자를 사업 성장과 경쟁 우위로 직결시키는 전략적 가치 실현 역량으로 작동한다.
조렐라는 “IT 재무가 존재하는 이유는 IT가 많은 돈을 쓰기 때문이 아니다”라며 “IT 지출이 기업의 전략적 성과를 실질적으로 이끌 수 있기 때문”이라고 말했다. 이 구분은 AI에 있어 중요하다. ERP 시스템, 인프라 갱신, 서비스형 소프트웨어(SaaS) 라이선스 같은 전통적인 IT 투자는 기존 재무 모델에 비교적 잘 들어맞는다. 생성형 AI는 그렇지 않다. 비용은 사용량 기반이고, 사용 패턴은 예측하기 어려우며, 효과는 트랜잭션 방식보다 간접적이거나 리스크 조정 방식으로 나타나는 경우가 많다.
조렐라는 많은 기업이 이런 변화를 지적으로는 인식하면서도 실행에 필요한 기업적 노력을 과소평가한다고 지적한다. 성숙한 비용 투명성은 공유된 귀속 모델, 신뢰할 수 있는 데이터, IT·제품·영업·마케팅 전반에 걸친 가치 정의에 대한 합의를 필요로 한다.
조렐라는 “그 모든 것을 한꺼번에 하려 하면 너무 벅차다”라고 지적했다. 성과를 내는 기업은 재무 가시성 향상이 의사결정에 어떻게 기여하는지를 보여주는 좁은 범위의 증거 확보부터 시작하는 경향이 있다.
중요한 점은, 조렐라가 IT 예산 초과를 본질적으로 부정적인 것으로 보는 시각에 의문을 제기한다는 것이다. 높은 가치를 지닌 이니셔티브에 대한 의도적인 투자를 반영한다면 초과 지출은 합리적일 수 있다. 조렐라는 진짜 실패는 새로운 기회가 생겼을 때 리더가 우선순위가 낮은 업무를 뒤로 미룰 수 있는 우선순위 결정 체계 없이 초과 지출하는 것이라고 주장한다.
CIO의 현실 : 예산은 무한정 늘지 않는다
이런 분석적 관점은 기업 내부의 훨씬 더 제한된 현실과 맞닥뜨린다. 재무 자동화 및 관리 소프트웨어 기업 블랙라인(BlackLine)의 CIO 수밋 조하르는 AI 투자가 익숙한 사이클을 거쳐왔다고 설명한다. 최근 몇 년간 초기의 회의론은 이사회와 경영진이 가시적인 AI 이니셔티브를 요구하는 동료 압박에 밀려 사라졌다. 오늘날 그 단계는 끝나가고 있다. 재무 리더들은 더 어려운 질문을 던지고 있으며, AI는 더 이상 검토에서 면제되는 특별 범주로 취급받지 않는다.
조하르는 “직원의 95%가 AI를 사용하고 있다고 CFO에게 말해봤자 아무 의미가 없다”며 “직원 100%가 이메일을 사용한다고 말하는 것과 마찬가지”라고 꼬집었다. 재무 부문이 관심을 갖는 것은 수익성, 매출, 리스크에 대한 영향이며, 그 외의 지표는 설득력을 잃는다는 설명이다.
조하르는 AI 투자를 두 가지 유형으로 명확히 구분한다. 첫 번째는 직원들이 글쓰기, 검색, 요약, 정보 분석에 활용하는 광범위한 생산성 플랫폼, 즉 조하르가 ‘일상적 AI’라고 부르는 것이다. 이런 도구들은 문화적으로 혁신적일 수 있지만 정량화하기가 극히 어렵다. 참여 지표나 자기 보고식 생산성 향상 수치는 재무적 검토를 통과하기 어렵다.
두 번째 유형은 고객 온보딩 가속화, 배포 시간 단축, 운영 비용 절감, 매출 파이프라인 확대 등 비즈니스 우선순위와 명시적으로 연결된 성과 중심 AI 이니셔티브다. 이런 이니셔티브는 다른 기업 투자와 직접 경쟁하며 동일한 기준으로 평가받는다.
가장 크게 달라진 점은 AI 지출이 더 이상 추가적이지 않다는 것이다. CIO는 ‘AI가기 때문에’ 추가 예산을 받지 못한다. 추가 투자가 필요하다면 기존 예산을 재배분해야 한다. 조하르는 “아무도 AI라는 이유만으로 무턱대고 돈을 쏟아붓지 않는다”며 “예산을 더 쓰고 싶다면 다른 것을 조정해야 한다”라고 말했다.
블랙라인에서 AI 거버넌스는 이런 현실을 반영한다. 제안된 이니셔티브는 IT, 재무, 비즈니스 리더가 공동으로 검토하며, 성과와 책임에 대한 명확한 기대치가 설정된다. 목표는 실험을 늦추는 것이 아니라, 가치 창출에 대한 책임이 CIO에게만 머물지 않도록 하는 것이다.
조하르는 “이것은 기술 문제가 아닌 비즈니스 전환 문제”라며 “소유권이 IT에만 머물면 기대하는 가치를 절대 얻지 못할 것”이라고 말했다.
운영 실패 유형 : 규모 확장 시 ROI가 무너지는 이유
AI 이니셔티브가 예산 관문을 통과하더라도 파일럿 단계를 넘어서면 지속적인 ROI를 내지 못하는 경우가 많다. AI 생애주기 관리 및 거버넌스 플랫폼 기업 모델옵(ModelOp)의 CTO 짐 올슨에 따르면, 실패는 단일한 결함에서 비롯되는 경우가 드물다. 구조적 문제다. 초기 AI 프로젝트는 제한된 데이터와 예측 가능한 사용 환경에서 개발된다. 비용은 관리 가능해 보이고 성능도 양호하다. 프로덕션 환경은 전혀 다르게 작동한다.
올슨은 “로컬에서 개발할 때는 충분히 가능해 보인다”며 “하지만 프로덕션에 배포하는 순간 사용 패턴이 바뀌고 컨텍스트가 폭발적으로 늘어나며 진짜 비용이 나타난다”라고 말했다.
생성형 AI는 이 문제를 심화시킨다. 자유 형식의 사용자 상호작용은 토큰 소비를 예측 불가능하게 늘린다. 모델이 여러 워크플로에 내재돼 복수의 팀이 재사용하면서, 비용이나 가치를 특정 성과에 귀속시키기 어려워진다. 명확한 인벤토리와 생애주기 추적 없이는 기업이 AI 지출을 전체 합산으로 관리하게 되고, 가치는 세부 영역에서 발생하거나 사라진다.
올슨은 많은 기업이 프로덕션에 어떤 AI 시스템이 있는지조차 파악하지 못하고 있다고 지적했다. “무엇이 운영 중인지 모르면 측정도, 거버넌스도, ROI 연결도 불가능하다”는 것이다.
결과는 익숙한 패턴으로 이어진다. 유망한 파일럿, 비용 초과, 회의론의 순서다. 일부의 경우 대형 실수가 기업을 리스크 회피적으로 만들어, AI가 실질적인 경쟁 우위를 가져다줄 수 있는 영역에서도 향후 도입을 늦추게 된다.
올슨이 제시하는 해법은 AI를 실험적 도구가 아닌 산업 인프라로 다루는 것이다. 개발, 배포, 모니터링, 폐기에 이르는 생애주기 관리는 관료적 부담이 아니다. 모델이 진화하고 사용량이 증가하는 상황에서 책임을 유지할 수 있는 유일한 방법이다.
거버넌스와 방어 가능성 : 가치를 증명해야 할 때
그러나 운영 규율만으로는 충분하지 않다. AI 투자가 규제 당국과 이사회 수준의 검토에 직면하면서, 거버넌스는 ROI를 방어할 수 있는지를 결정하는 요인이 되고 있다. AI 거버넌스 소프트웨어 기업 모니타우어(Monitaur)의 공동 창업자 앤서니 하바예브는 많은 AI 이니셔티브가 검토에서 실패하는 이유가 성과가 나쁘기 때문이 아니라 처음부터 성공의 기준이 명확히 정의되지 않았기 때문이라고 주장한다.
하바예브는 “망치를 들고 못을 찾아다니는 것과 같다”며 “처음부터 성공이 어떤 모습인지 모르면 나중에 ROI를 방어할 수 없다”라고 말했다.
거버넌스 실패는 배포 이후에야 드러나는 경우가 많다. 기업이 소급하여 지출을 정당화하려 할 때, 문서화, 모니터링, 책임 체계의 공백이 부채로 돌아온다. 명확한 목표나 성과가 제시되지 않은 프로젝트는 예산이 압박을 받을 때 쉬운 삭감 대상이 된다.
하바예브는 거버넌스가 주로 컴플라이언스를 위한 것이라는 시각에 의문을 제기한다. 실제로는 알려지지 않은 리스크와 최적화 기회를 드러냄으로써 ROI를 높인다고 말한다. 구조화된 검증과 모니터링을 도입한 기업은 정확도, 견고성, 효율성을 개선할 방법을 발견해 비즈니스 임팩트를 직접적으로 높이는 경우가 많다.
규제 압박이 이런 변화를 가속하고 있다. EU AI 법 같은 프레임워크가 공식적인 감독 체계 구축을 요구하고 있지만, 하바예브는 가장 앞서가는 기업이 규제를 더 폭넓은 거버넌스 역량 구축의 촉매로 활용하고 있다고 말한다.
하바예브는 “거버넌스는 별도의 컴플라이언스 항목이 아니어야 한다”며 “AI가 비즈니스에 실질적으로 기여하도록 만드는 방식의 일부가 돼야 한다”라고 말했다.
일시적 열기에서 지속력으로
이런 시각들을 종합하면, 기업 AI 도입이 성숙 단계에 접어들고 있음을 알 수 있다. 이제 질문은 AI가 가치를 창출할 수 있는가가 아니다. 기업이 그 가치를 일관되고 투명하게, 그리고 외부 검토 아래 증명할 수 있는가다.
성과를 내는 기업은 몇 가지 공통점을 지닌다. AI 투자를 독립적인 카테고리로 보지 않고 사업 전략과 연계한다. 사용량 기반 비용과 간접적 가치를 수용할 수 있는 재무 모델을 구축한다. AI 생애주기 전반에 걸쳐 운영 규율을 적용한다. 거버넌스를 혁신의 걸림돌이 아닌 신뢰와 지속 가능성의 기반으로 삼아 초기 단계부터 내재화한다.
2026년 예산을 준비하는 CIO에게 이런 메시지는 냉정하지만 건설적이다. AI는 스스로 가치를 입증하지 않는다. 많은 기업이 이제 막 개발하기 시작한 도구와 실천 방법을 통해, 가치는 설계되고 측정되고 방어돼야 한다.
