MIT 테크놀로지 리뷰는 구글이 최근 공개한 AI의 전력 및 물 사용량 추정치에 대해 심각한 의문을 제기했다. 이 문제는 기업의 IT 책임자가 반드시 고려해야 할 사안이기도 하다.
MIT 테크놀로지 리뷰(Technology Review)는 최근 구글이 발표한 AI 서비스의 개별 질의 처리당 전력과 물 사용량 수치가 실제보다 축소돼 있으며, AI의 전체 에너지 사용 현황을 보여주지 못한다고 지적했다. MIT 테크놀로지 리뷰는 구글의 자료에서 빠진 부분을 짚으며, 기업 IT 책임자가 예산과 ROI(투자 대비 수익) 계산 과정에서 반드시 고려해야 할 AI 자원 소비의 추가적인 쟁점을 제기했다.
구글의 AI 자원 소비 보고서는 이미 여러 곳에서 의문이 제기된 바 있다. MIT 테크놀로지 리뷰는 보고서에서 누락된 요소를 집중적으로 짚으며, 결핍된 정보 때문에 기업이 향후 비용이나 환경적 영향을 추정하는 것이 사실상 불가능하다고 분석했다.
구글은 자사 AI 서비스의 텍스트 질의 1건이 사용하는 자원을 물 다섯 방울과 전력 0.25Wh 수준이라고 추정했다. 그러나 MIT 테크놀로지 리뷰의 기자 케이시 크로운하트는 이런 수치가 “모든 질의를 반영하지 못하며, 특히 이미지나 동영상 처리처럼 훨씬 더 많은 에너지를 소모하는 경우는 제외돼 있다”라고 지적했다. 크로운하트는 지난 5월에도 AI의 에너지 사용 실태를 심층 분석한 기사를 공동 집필한 바 있다.
구글의 이번 추정치는 사실상 중앙값(median)일 뿐이다. 즉, 전체 텍스트 질의의 절반은 더 적은 에너지를 사용하고, 나머지 절반은 더 많은 에너지를 소모한다는 의미다. 이에 대해 크로운하트는 “더 복잡한 질의가 실제로 얼마나 많은 에너지를 요구하는지, 또 그 분포가 어떻게 되는지 전혀 알 수 없다”라고 강조했다.
또한 구글이 개별 질의 1건의 소비량만을 공개함으로써 AI의 영향 자체를 축소했다며 “사용자는 제미나이가 실제로 몇 건의 질의를 처리하는지 알 수 없기 때문에, 이 제품이 끼치는 전체적인 에너지 영향도 알 수 없다”라고 꼬집었다.
오픈AI는 자사 서비스의 전체 트래픽 수치를 공개하고 있다. 챗GPT의 경우 하루 25억 건의 질의가 발생한다. 반면 구글은 제미나이의 월간 활성 사용자 수가 4억 5,000만 명이라는 사실만 공개했을 뿐이다. 크로운하트는 이마저도 구글의 AI 활용 규모 중 일부에 불과하다고 지적했다. 구글은 웹 검색 요약, 이메일 및 메시지 작성·요약 지원 등 다양한 영역에서 AI를 활용하고 있기 때문이다. 크로운하트는 “따라서 개인적인 에너지 사용량조차 추산하려 해도 점점 계산하기 어려워지고 있다”라고 언급했다.
기업 IT에 미치는 영향
그러나 문제는 개인 차원에 그치지 않는다. 기업 역시 AI 서비스를 이용하면서 직접적으로는 사용료를, 간접적으로는 전력과 물 소비 비용을 부담한다.
AI 서비스에 투입하는 비용이 계속 증가하면서 IT 부서는 앞으로 발생할 AI 질의의 규모와 성격을 기준으로 예산을 산정해야 한다. 단순한 텍스트 질의인지, 영상 처리인지, 혹은 복잡한 분석 작업인지에 따라 소모되는 자원이 크게 달라지기 때문이다. CIO가 2026년 비용을 전망하려 한다면, 아직 등장하지 않은 새로운 기능과 새로운 경쟁자까지 감안해 어려운 추정을 할 수밖에 없다.
또한 CIO는 클라우드 컴퓨팅을 자체 데이터센터로 다시 전환할 가능성을 검토하면서 이에 필요한 전력과 물 같은 투입 비용을 직접 고려해야 할 수도 있다. 이 과정에서 대량의 엔비디아 칩 같은 핵심 부품을 확보할 수 있는지는 별개의 문제다. 그러나 만약 자체 인프라로 전환한다면, CIO는 단순한 비용 문제뿐 아니라 데이터센터를 구축하는 지역에 따라 전력과 물의 가용성이라는 현실적인 과제까지 직접 감당해야 한다.
무어 인사이츠 & 스트래티지(Moor Insights & Strategy)의 수석 애널리스트 매트 킴벌은 “CIO라면 전력 수요 예측과 전력 공급 가능성을 두고 운영 및 시설 팀과 지금 당장 논의를 시작해야 한다. IT 업계에서 일했던 경험상, 많은 기업에서 전력은 단순히 예산의 한 항목으로만 취급되며 부서 간 협력이 거의 이뤄지지 않는다. 전력·냉각·데이터센터 인프라를 관리하는 팀과 소통해, 랙 단위에서부터 어떻게 자원을 가장 효율적으로 활용할 수 있을지 파악해야 한다”라고 말했다.
AI 비용을 높이는 요인은 컴퓨팅 역량만이 아니다. IT 부서는 기존의 스토리지 운영 방식도 다시 점검할 필요가 있다. 킴벌은 “스토리지 인프라를 면밀히 살펴보고, 온프레미스와 오프프레미스 환경에서 어떻게 최적화할 수 있을지 다시 검토해야 한다. 현재 대부분의 엔터프라이즈 데이터센터 인프라는 노후화돼 있고 활용도도 낮다. 최신 고집적 CPU를 탑재한 서버로 전환하는 것이 출발점이 될 수 있다. 온프레미스 스토리지를 기존의 하드디스크 기반에서 올플래시(all flash)로 전환하는 것은 초기 비용이 더 크지만, 에너지 효율성과 성능 면에서 훨씬 뛰어나다”라고 설명했다.
킴벌에 따르면, 최근 업계에서는 엔비디아 B300, AMD MI355X 같은 최신 칩이나, 델·HPE·레노버의 AI 팩토리가 하나의 트렌드가 되고 있다. 하지만 그 정도의 고성능 연산 능력이 꼭 필요한지 냉정하게 따져봐야 한다. 예를 들어 RTX6000 PRO GPU만으로도 충분할 수 있다. 이는 훨씬 저렴하면서도 B300 대비 약 40% 수준의 전력만 소비한다.
히타치 반타(Hitachi Vantara)의 비즈니스 전략 부문 SVP 사이먼 니난은 또 다른 관점을 제시했다. 자사가 이런 서비스를 다수 제공하고 있다면서, 초대형 데이터센터의 확장이 IT로 하여금 기존의 전력 사용 방식에 대한 전제를 다시 검토하게 만들고 있다는 설명이다. 니난은 “AI의 에너지 수요가 기존의 공기 냉각 방식만으로는 충분하지 않게 만들고 있다. AI 데이터센터에서 액체 냉각으로의 전환이 늘어나고 있지만, 동시에 환경적 한계를 고려한 혁신 기술에도 대규모 투자가 필요하다”라고 말했다.
※위 포스팅이 문제될 경우 삭제하겠습니다.
