3D 공간을 추론하는 AI, 공간지능과 월드 모델의 부상
교량 점검, 디지털 트윈 구축, 자율주행차 안전성 향상은 공간지능의 활용 사례 중 극히 일부에 불과하다. 3D 공간을 추론하는 AI 모델은 수많은 산업에서 적용 가능성을 넓히고 있다.
생성형 AI와 대규모 언어 모델(LLM)이 세상을 뒤흔든 지 수년이 지났다. 대규모 언어 모델은 텍스트 생성에서 기존 자연어 시스템을 크게 앞질렀고, 디퓨전 모델(diffusion model)은 이미지, 음악, 영상 생성을 가능하게 했다.
이런 생성형 AI 모델은 디지털 세계에서는 뛰어난 성능을 발휘하지만, 3차원 물리 세계와 다른 공간을 이해하는 능력은 제한적이다. 특정 공간을 차지하는 사물, 사물 간의 상호 관계, 움직임 추적, 그리고 크기·거리·동작·충돌에 대한 이해가 필요한 복잡한 질문에 답하는 것이 그 한계로 꼽힌다.
공간지능(spatial intelligence)은 모델이 3차원 공간을 추론할 수 있도록 하는 AI 기술이다. 공간지능 모델은 세계와 다양한 공간의 3D 장면을 생성할 수 있다. 생성된 콘텐츠는 기존 렌더러, 게임 엔진, 또는 공간 컴퓨팅 기술을 활용하는 AR·VR 시스템을 통해 표시된다. 그중에서도 자연어와 3D 모델을 연결하는 능력은 로보틱스, 제조, 건설 등 물리적 환경 전반에서 가장 폭넓은 응용 가능성을 지닌다.
‘AI의 대모’라 불리는 페이페이 리 박사는 공간지능이 AI의 다음 프런티어라는 내용의 선언문을 발표하며 대규모 언어 모델과의 차이를 설명했다. 리 박사는 “현재 최첨단 AI는 데이터 읽기, 쓰기, 연구, 패턴 인식에서 탁월한 성능을 보이지만, 물리 세계를 표현하거나 상호작용하는 데에는 근본적인 한계가 있다”라고 말했다. 또한 “세계를 바라보는 인간의 시각은 전체적이다. 지금 보고 있는 것만이 아니라, 모든 것이 공간적으로 어떻게 연결되는지, 무엇을 의미하는지, 왜 중요한지를 함께 파악한다. 묘사가 아닌 상상, 추론, 창조, 상호작용을 통해 공간 세계를 이해하는 것이 공간지능의 힘”이라고 덧붙였다.
공간지능이라는 개념 자체는 새로운 것이 아니다. 1983년 하워드 가드너의 저서 《마음의 틀(Frames of Mind)》에서 이미 다뤄진 바 있다. 최근 AI 공간지능 연구 업체 월드 랩스(World Labs)의 마블(Marble) 출시와 10억 달러 규모의 펀딩 라운드, 구글의 지니 3(Genie 3)와 엔비디아 코스모스(Cosmos)의 경쟁적 접근 방식이 주목받으면서, 공간지능과 월드 모델은 더 많은 R&D 로드맵에 포함될 것으로 전망된다.
공간지능 모델이란?
물리 세계와 3D AI 기술 관련 용어와 개념을 제대로 이해하기 위해 AI 리터러시를 갖추는 것이 중요하다.
- 공간지능은 물리 세계를 매핑하는 지리공간 모델, 물리 구조물을 모델링하는 빌딩 정보 모델링(BIM, Building Information Modeling) 등 특화된 접근법을 아우른다. 또한 생성형 3D, 로보틱스, 물리적 추론 애플리케이션으로도 확장된다.
- 월드 모델은 신경망 아키텍처의 한 유형으로, 현재 공간지능 구현을 위한 주요 접근법으로 부상하고 있다.
- 디지털 트윈은 3D 모델과 실시간 센서 데이터를 결합한 물리적 자산의 가상 복제본이다. 디지털 트윈의 새로운 기능으로 자리 잡고 있는 공간지능은 자연어 프롬프팅, 생성형 시나리오 탐색, 물리 인식 추론 기능을 더한다.
- 공간 컴퓨팅은 물리 공간에 고정되어 상호작용하는 디지털 콘텐츠를 의미하며, 3차원으로 감지·렌더링되어 AR·VR 및 혼합현실 시스템을 통해 전달된다.
라이트필드 기술 전문 업체 레이아(Leia) 창업자 겸 CTO 데이비드 패탈은 “공간지능 모델은 픽셀을 넘어 세계의 3D 구조, 즉 사물의 위치, 움직임, 상호작용 방식을 이해한다. 보다 현실적인 영상 생성, 공간 컴퓨팅 인터페이스, 물리적 환경을 추론하는 AI 시스템 등의 애플리케이션을 가능하게 하며, 실세계 3D 데이터가 더욱 풍부해질수록 차세대 시각 AI의 기반이 될 것”이라고 말했다.
건축 환경 모니터링
공간지능을 보다 구체적으로 이해하기 위해, 교량과 건물 같은 물리 인프라를 살펴보자. 미국 토목학회에 따르면, 2024년부터 2033년까지 양호한 상태를 유지하려면 9조 1,000억 달러의 투자가 필요하다. 유지보수와 모니터링이 뒤처질 경우, 2022년 피츠버그의 펀 할로우 교량(Fern Hollow Bridge) 붕괴와 같은 대형 사고로 이어질 수 있다.
공간지능과 디지털 트윈 개발이 문제를 조기에 발견하고 투자 우선순위를 설정하는 데 도움이 될 수 있다. 인프라 엔지니어링 소프트웨어 전문 업체 벤틀리 시스템즈(Bentley Systems) 최고 플랫폼 책임자 패트릭 코치는 “공간지능 모델은 건축 환경을 위한 4D 디지털 청사진 역할을 하며, 노후 자산과 그 아래 변화하는 지반 사이의 복잡한 상호작용을 시각화하고 예측할 수 있도록 한다”고 말했다. 또한 “서로 다른 지리공간 데이터를 살아있는 디지털 트윈으로 통합함으로써, 구조 피로와 지하 불안정성이라는 숨겨진 위험을 완화하는 데 필요한 예측력을 확보할 수 있다”고 덧붙였다.
교량 건전성 모니터링에서 수동적이고 비정기적인 구조 점검 방식에서 벗어나 센서, 디지털 트윈, 공간지능을 활용하는 방식으로의 전환은 여전히 큰 과제로 남아 있다. 코치는 “지속적인 현장 데이터를 통합하면 정적인 문서화를 넘어, 기관이 사후 대응식 수리에서 선제적이고 복원력 있는 자산 관리로 발전해 가장 중요한 공공 시스템의 장기적 무결성을 지킬 수 있다”고 말했다.
충돌 방지
교량은 대체로 정적이지만, 실세계에는 자율주행차, 로봇, 드론과 같은 자율 시스템이 점점 더 많아지고 있다. 움직이는 시스템이 있는 곳에는 충돌 위험이 따른다.
AI 데이터 레이블링 전문 업체 아이메릿(iMerit) CTO 수딥 조지는 “공간지능 모델은 비전, 센서 데이터, 상황별 단서를 결합해 공간, 움직임, 사물 관계를 이해함으로써 물리 세계를 추론하는 AI 시스템”이라고 말했다. 또한 “공간지능 모델의 가치는 환경을 인식하는 데 그치지 않고, 기계가 실시간으로 안전하게 환경 안에서 행동할 수 있도록 한다는 데 있다. 복잡하고 다중 모달적이며 빠르게 변화하는 환경에서 의사결정이 이루어져야 하는 로보틱스와 자율 시스템에서 특히 중요하다”고 덧붙였다.
로보틱 환경 시뮬레이션 튜토리얼을 예로 들면, 오픈소스 로보틱스 레퍼런스 프레임워크인 엔비디아 아이작 심(Isaac Sim)과 월드 랩스의 마블 내 공간지능을 결합하는 방식을 확인할 수 있다.
현재의 충돌 감지 시스템은 자율주행차 등에서 주로 센싱, 인식, 계획, 제어 모듈에 의존하고 있다. 공간지능 모델은 미확인 사물의 충돌 위험을 평가하거나 센서 시야를 벗어난 사물을 추적함으로써 성능 향상에 기여할 수 있다. 예를 들어, 지니 3 기반으로 구축된 자율주행 기술 업체 웨이모(Waymo)의 월드 모델은 복잡한 기상 조건과 다양한 핵심 안전 상황을 생성하는 시뮬레이터다.
보다 색다른 사례로, 엔터프라이즈 AI 솔루션 전문 업체 가미와자(Kamiwaza) 필드 CTO 겸 기술 에반젤리스트 제임스 어쿼트는 위성 충돌 감지 및 충돌 분석 등 여러 공간지능 애플리케이션 사례를 발표한 바 있다. 어쿼트는 “이런 유형의 데이터셋과 실세계의 물리학 및 지리학에 특화된 모델은 관련 작업에서 더 빠르고 정확한 의사결정을 가능하게 한다”고 말했다.
공간지능 적용
최근 공간지능 관련 발표로는, 마블을 통해 이미지 또는 텍스트 프롬프트로 3D 세계를 생성하거나, 지니 3로 수중 물리, 조명, 날씨, 동물 행동을 시뮬레이션하는 사례들이 있다. 다만 공간지능을 실제 물리 세계 사용례에 적용하는 데는 여전히 어려움이 존재한다.
컴퓨터 비전 데이터 플랫폼 전문 업체 복셀51(Voxel51) 공동 창업자 겸 수석 과학자 제이슨 코르소는 “공간지능과 월드 모델은 물리 세계에서 상호작용할 수 있는 미래 AI 에이전트를 위한 토대를 마련하고 있다”고 말했다. 또한 “개발과 테스트가 상당히 까다로운 모델인데, 기반 데이터가 복잡하고 물리 세계에 관련된 모든 조합론을 처리하기 어렵기 때문”이라고 덧붙였다.
모델 학습 및 프로토타이핑 외에도, 개발·데이터 리더는 공간지능 모델에 투입될 데이터 자산을 검토해야 한다. 데이터 통합·품질 전문 업체 프리사이슬리(Precisely) 엔리치(Enrich) 부문 EVP 겸 총괄 매니저 댄 애덤스는 “공간지능 모델은 위치 신호를 실세계에 대한 구조적 이해로 변환하지만, 신뢰성은 기반 데이터의 품질에 달려 있다”고 말했다. 또한 “진정한 핵심은 모델이 아니라, 지속적 식별자, 신뢰도 메타데이터, 소스 계보를 갖춰 AI가 단순한 문자열 매칭이 아닌 장소를 추론할 수 있게 하는 참조 레이어”라고 덧붙였다.
애플리케이션을 개발한 이후에도 엣지 환경에서의 배포 과정에는 인프라 문제가 뒤따를 수 있다. 뉴로모픽 AI 프로세서 전문 업체 브레인칩(BrainChip) 수석 연구 과학자 알리 카얌은 “공간지능을 대규모로 실현하는 핵심은, 가장 중요한 순간에 센서 단에서 실시간으로 구동할 수 있는 저전력 이벤트 기반 하드웨어를 갖추는 것”이라고 말했다.
시작하기
공간지능과 월드 모델을 직접 경험해보고자 하는 개발자를 위한 제안은 다음과 같다.
- 마블을 사용해보려면 API 문서와 사례 연구를 검토한 뒤, 개발자 중심의 리액트(React) 애플리케이션으로 실험해보자.
- 엔비디아 코스모스 개발자 허브, 문서, 사례 연구 및 학습 경로를 담은 쿡북을 참고하자.
- 지니 3의 전반적인 내용은 공개 페이지에서 확인할 수 있지만, 현재 접근은 구글 AI 울트라(Google AI Ultra) 구독이 필요한 프로젝트 지니(Project Genie)를 통해서만 제한적으로 허용된다.
