생성형 AI 시스템에 GPU가 필수?
생성형 AI 배치에 필요한 GPU에 대한 관심이 높다. 그럴 만한 일이지만, 경우에 따라서는 지나치게 비싸다는 것에 유의해야 한다.
필자는 종종 기자들이 묻는 질문에서 공통된 패턴을 찾아 트렌드를 파악하기도 한다. 많은 경우 기자들은 필자보다 시장에 대해 훨씬 더 잘 알고 있고, 좋은 데이터 포인트가 된다. GPU가 부족할 경우 어떤 문제가 발생할 수 있는지에 대해 필자가 최근 파악한 것을 살펴보자.
첫째, 그런 일이 발생하더라도 오래 지속되지는 않을 것이다. 둘째, 다른 실행 가능한 옵션을 고려해야 한다. 물론 기자들의 관점은 암울한 전망에 맞춰져 있다. 온프레미스 시스템이나 클라우드 및 온디맨드 방식으로 사용할 수 있는 GPU를 확보하지 못하면 기업이 생성형 AI의 이점을 누릴 수 없을 것이라는 우려이다.
이런 가정이 항상 옳을까? 생성형 AI용 시스템은 과연 특수한 가격의 특수한 부품이 필요한 또 다른 전문 시스템일까?
GPU는 처음에는 비디오 게임의 그래픽을 렌더링하기 위해 개발됐지만, 고도로 병렬화된 구조로 인해 AI 개발에서 중요한 역할을 하게 됐다. 수천 건의 연산을 동시에 수행할 수 있는데, 이는 생성형 AI의 핵심 기술인 신경망에 필요한 작업과 완벽하게 일치한다. 이런 기술적인 사실을 생성형 AI 시스템을 설계하고 구축하는 사람이라면 신중하게 고려해야 한다.
이런 시스템을 구축하고 배치하는 사람은 어떤 AI 프레임워크를 사용하든 연산 작업과 시간이 대부분 데이터에서 모델을 학습시키는 데 소요된다는 것을 알고 있다. 예를 들어, 수십억 개의 매개변수가 있는 오픈AI의 GPT-4나 구글의 BERT 모델을 생각해 보자. 전문 프로세서 없이 이런 모델을 학습하려면, 비현실적으로 많은 시간이 소요될 수 있다.
CPU는 컴퓨터에서 가장 일반적인 유형의 프로세서이다. 종류를 가리지 않고 모든 디바이스에 탑재되어 있다. CPU는 다양한 작업을 수행할 수 있지만, GPU에 비해 코어 수가 적다. 하지만 정교한 제어 장치를 갖추고 있으며 다양한 명령을 실행할 수 있다. 이런 다재다능함은 생성형 AI를 포함한 모든 종류의 AI 워크로드를 처리할 수 있음을 의미한다.
CPU는 새로운 신경망 아키텍처의 프로토타입을 만들거나 프로토타이핑하거나 알고리즘을 테스트하는 데 사용할 수 있다. 더 작거나 덜 복잡한 모델을 실행하는 데 적합하다. 현재 많은 기업이 이런 모델을 구축하고 있으며, 앞으로도 그럴 것이다. 필자가 최근에 들은 여러 사용례는 CPU만으로도 충분하다.
또한 AI는 계속 진화하고 있다. 최근 AI 알고리즘이 발전함에 따라 SLIDE(Sub-Linear Deep Learning Engine)와 같은 새로운 개발이 이루어지고 있다. 이 기술은 특정 조건에서 GPU보다 CPU에서 더 빠르게 심층 신경망을 훈련할 수 있다고 주장하며, 해싱 기법을 사용해 메모리 액세스 비용을 절감한다.
또한 FPGA(Field-Programmable Gate Arrays)도 고려할 수 있다. FPGA는 AI와 같은 특정 작업을 훨씬 더 효율적으로 수행하도록 프로그래밍할 수 있다. 또한, 패턴 인식에 특화된 APU(Associative Processing Units)는 연관 메모리 작업을 처리할 수 있어 특정 유형의 신경망 애플리케이션을 더 빠르게 실행할 수 있다.
다른 프로세서가 GPU보다 훨씬 비용 효율적인 경우도 많다. 그렇다면 생성형 AI 또는 일반적인 AI에 항상 GPU가 정답일까? 꼭 그래야만 하는지 모르겠다.
기업은 비용이 성능 향상을 정당화한다고 생각하기 때문에 필요 이상의 금액을 지출할지도 모른다. 필자가 강조하고 싶은 것은 GPU 사용을 제한하는 것이 아니라 특정 사용례에 실제로 필요한 것이 무엇인지 고려하라는 것이다. 생성형 AI 애플리케이션은 대부분 소규모의 전술적 배치가 될 것이므로 GPU의 막대한 비용과 탄소 배출이 필요하지 않다.
시스템 아키텍트, 클라우드 아키텍트, 그리고 이제 생성형 AI 아키텍트의 핵심 업무는 가장 비용 최적화된 솔루션을 찾는 것이다. 어떤 기술 구성이 가장 비용이 적게 들면서 동시에 가장 많은 비즈니스 가치를 제공할 수 있을까? 아마도 생성형 AI는 우리가 더 나은, 더 실용적인 선택을 할 수 있는 새로운 개발 영역일 것이다. 과대광고에 넘어가지 말기 바란다.
문제가 가짜라면?
생성형 AI 시스템이 복잡하고 프로세서 집약적이라는 점은 인정한다. 한때 인간의 전유물이었던 상상력이란 작업을 수행하려면 고도로 전문화된 하드웨어에 의존해야 한다고 가정할 수 있다. 사람들은 생성형 AI에 GPU 또는 양자 컴퓨팅과 같은 더욱 전문화된 프로세싱이 필요하다고 생각한다.이런 가정이 항상 옳을까? 생성형 AI용 시스템은 과연 특수한 가격의 특수한 부품이 필요한 또 다른 전문 시스템일까?
GPU는 처음에는 비디오 게임의 그래픽을 렌더링하기 위해 개발됐지만, 고도로 병렬화된 구조로 인해 AI 개발에서 중요한 역할을 하게 됐다. 수천 건의 연산을 동시에 수행할 수 있는데, 이는 생성형 AI의 핵심 기술인 신경망에 필요한 작업과 완벽하게 일치한다. 이런 기술적인 사실을 생성형 AI 시스템을 설계하고 구축하는 사람이라면 신중하게 고려해야 한다.
이런 시스템을 구축하고 배치하는 사람은 어떤 AI 프레임워크를 사용하든 연산 작업과 시간이 대부분 데이터에서 모델을 학습시키는 데 소요된다는 것을 알고 있다. 예를 들어, 수십억 개의 매개변수가 있는 오픈AI의 GPT-4나 구글의 BERT 모델을 생각해 보자. 전문 프로세서 없이 이런 모델을 학습하려면, 비현실적으로 많은 시간이 소요될 수 있다.
전문 프로세서가 항상 필요한가?
GPU를 이용하면, 처리 성능을 크게 향상되지만, 그 대가로 상당한 비용이 발생한다. 또한 GPU는 많은 전력을 소비하고 상당한 열이 발생한다. 과연 성능 향상이 이런 비용을 정당화할 수 있을까?CPU는 컴퓨터에서 가장 일반적인 유형의 프로세서이다. 종류를 가리지 않고 모든 디바이스에 탑재되어 있다. CPU는 다양한 작업을 수행할 수 있지만, GPU에 비해 코어 수가 적다. 하지만 정교한 제어 장치를 갖추고 있으며 다양한 명령을 실행할 수 있다. 이런 다재다능함은 생성형 AI를 포함한 모든 종류의 AI 워크로드를 처리할 수 있음을 의미한다.
CPU는 새로운 신경망 아키텍처의 프로토타입을 만들거나 프로토타이핑하거나 알고리즘을 테스트하는 데 사용할 수 있다. 더 작거나 덜 복잡한 모델을 실행하는 데 적합하다. 현재 많은 기업이 이런 모델을 구축하고 있으며, 앞으로도 그럴 것이다. 필자가 최근에 들은 여러 사용례는 CPU만으로도 충분하다.
실제로 얼마를 지불해야 할까?
자원이 제한적인 소규모 조직이나 개인의 경우, 초기 투자 및 전력 소비 측면에서 CPU가 더 비용 효율적이다. 또한 자원이 풍부한 기업이라도 여전히 CPU가 더 비용 효율적인 선택이 될 수 있다.또한 AI는 계속 진화하고 있다. 최근 AI 알고리즘이 발전함에 따라 SLIDE(Sub-Linear Deep Learning Engine)와 같은 새로운 개발이 이루어지고 있다. 이 기술은 특정 조건에서 GPU보다 CPU에서 더 빠르게 심층 신경망을 훈련할 수 있다고 주장하며, 해싱 기법을 사용해 메모리 액세스 비용을 절감한다.
또한 FPGA(Field-Programmable Gate Arrays)도 고려할 수 있다. FPGA는 AI와 같은 특정 작업을 훨씬 더 효율적으로 수행하도록 프로그래밍할 수 있다. 또한, 패턴 인식에 특화된 APU(Associative Processing Units)는 연관 메모리 작업을 처리할 수 있어 특정 유형의 신경망 애플리케이션을 더 빠르게 실행할 수 있다.
다른 프로세서가 GPU보다 훨씬 비용 효율적인 경우도 많다. 그렇다면 생성형 AI 또는 일반적인 AI에 항상 GPU가 정답일까? 꼭 그래야만 하는지 모르겠다.
기업은 비용이 성능 향상을 정당화한다고 생각하기 때문에 필요 이상의 금액을 지출할지도 모른다. 필자가 강조하고 싶은 것은 GPU 사용을 제한하는 것이 아니라 특정 사용례에 실제로 필요한 것이 무엇인지 고려하라는 것이다. 생성형 AI 애플리케이션은 대부분 소규모의 전술적 배치가 될 것이므로 GPU의 막대한 비용과 탄소 배출이 필요하지 않다.
시스템 아키텍트, 클라우드 아키텍트, 그리고 이제 생성형 AI 아키텍트의 핵심 업무는 가장 비용 최적화된 솔루션을 찾는 것이다. 어떤 기술 구성이 가장 비용이 적게 들면서 동시에 가장 많은 비즈니스 가치를 제공할 수 있을까? 아마도 생성형 AI는 우리가 더 나은, 더 실용적인 선택을 할 수 있는 새로운 개발 영역일 것이다. 과대광고에 넘어가지 말기 바란다.
위 포스팅이 문제될 시 삭제하겠습니다.
