AI가 데이터 분석을 혁신하는 방법
AI 기반 프로그래밍 비서가 개발자의 생산성을 높여주듯이 AI는 데이터 분석가의 워크플로우도 간소화한다. 또한 비즈니스 사용자에게 많은 이점을 제공한다.
소프트웨어 개발자는 이미 생성형 AI가 주는 혜택을 누리고 있다. AI 기반 프로그래밍 비서를 통해 많은 시간이 걸리는 작업을 간소화하고 새로운 언어와 프레임워크를 배우고 생산성을 높인다. 이제 데이터 분석 영역도 개발자가 누려온 AI의 효율성을 경험하기 시작했다. 데이터 분석 플랫폼에 구현된 LLM은 데이터 분석가의 역량을 대폭 강화해 줄 잠재력을 지녔다. 코더는 이전부터 누리고 있듯이 일상적인 작업(코드 생성, SQL 생성, 차트 생성 등)이 간소화, 가속화된다.
데이터 분석에서 AI는 분석가가 수행하는 반복적인 작업을 없애는 데 그치지 않고 데이터 분석 영역으로의 진입을 간단하게 하고 사용자 범위도 넓혀준다. AI의 힘을 빌어 비즈니스 고객이 스스로 보고와 분석을 할 수 있게 되면 데이터 과학팀은 더 복잡하고 전략적인 작업에 그만큼 집중할 수 있게 된다. 이렇게 해서 회사 전체의 업무 프로세스가 간소화, 가속화된다.
바뀌는 데이터 분석가의 역할
AI는 분석가가 해야 할 일, 즉 데이터에서 인사이트를 도출하는 일에 더 많은 시간을 소비할 수 있게 해준다. AI는 단조로운 데이터 랭글링 작업에서 분석가를 해방하고 코드를 생성하고 생각의 방향을 이끌고 보고서를 준비함으로써 데이터 준비 과정을 보조해서 분석가가 가장 중요한 부분으로 초점 영역을 좁힐 수 있게 해준다. 데이터 분석가는 AI의 도움으로 기술적인 작업에 소요되는 시간을 줄이고 비즈니스 측면에 몰입할 수 있게 된다. 예를 들어본다. 분석가는 코드를 쓰고 특정 라이브러리를 위한 문서를 검색하는 데 몇 시간을 소비할 수 있다. AI는 이 두 가지 작업의 속도를 높여준다. 즉, 분석가는 AI가 생성한 제안으로 일단 시작한 다음 필요하거나 원하는 경우 더 심층적인 코드까지 들어갈 수 있다. AI 기반 프로그래밍 비서가 개발자가 작업을 더 빨리 완료할 수 있게 해주는 것과 마찬가지로 데이터 분석가를 위해 워크플로우를 간소화해 준다. 궁극적으로 데이터 분석가 역할 자체가 재구성될 것이다. 프로젝트 준비를 위한 작업에 소비하는 시간은 줄어들고, 적절한 연구 목표 설정과 프롬프팅에 집중하면서 비즈니스 요구사항에 소비하는 시간은 더 늘어나게 된다.
그러나 너무 앞서가면 안 된다. 코딩 기술은 데이터 분석가에게 없어서는 안 된다. 다만 간단한 사례에서 필요한 코드를 생성하고 찾은 결과물을 요약하는 AI의 잠재력은 이미 너무나 명확하다. 또한 시간이 갈수록 코딩의 필요성이 더욱 줄어들 것임을 예상할 수 있다. 대신 데이터 분석가의 초점은 비즈니스 영역으로 옮겨가게 된다. AI가 완료할 수 있도록 작업이 공식화되더라도 비즈니스 요구사항을 신중하게 고려한 가이드에 따르게 된다.
데이터 분석가 툴킷의 변화
AI의 범위는 주피터 노트북(Jupyter Notebook) 및 호환 솔루션처럼 대부분의 데이터 분석가가 업무에 사용하는 툴까지 확장된다. 노트북 형식이 완전히 사라지지는 않을 것이다. 노트북은 코드 셀과 다양한 출력을 유지하면서 앞으로 더 프롬프트 지향적으로 바뀌게 된다. 또한 노트북이 이미 데이터 및 다른 관련 툴에 액세스할 수 있다고 보면 챗GPT와 비슷해질 것이라고 상상할 수 있다. 이 한 가지 변화만으로 훨씬 더 많은 사람이 데이터 분석을 활용할 수 있게 될 것이다. 필자는 데이터 분석 플랫폼이 데이터 분석가 업무의 중요한 부분인 결과 공유 작업에서도 중요한 역할을 할 것이라고 생각한다. 데이터에서 뭔가를 발견하는 것과 다른 사람에게 그 의미를 설득하는 것은 완전히 별개의 문제다. 데이터 분석 플랫폼은 대상 사용자층과 연구의 목적에 대한 정보를 활용하여 공유에 사용할 보고서를 생성할 수 있다. 또한 AI 기반 툴은 보고서의 대상 사용자층과 분석의 목적을 기반으로 캔버스에 셀을 배치할 수 있게 된다. 궁극적으로 이런 인사이트를 얻기 위한 전체 프로세스는 인터랙티브하게 진행된다. 프로세스의 특정 단계에서는 AI 비서가 깊이 관여하면서 일부 작업은 자율적으로 해결할 수 있다. 그러나 더 복잡한 작업의 경우 사람의 입력이 여전히 필요할 것이다.
시맨틱 계층의 중요성
데이터 분석에서 LLM 사용이 더 일반화되면서 기업에서 시맨틱 계층(또는 메트릭 계층)이 필수적인 요소가 될 것이다. 시맨틱 계층이 있으면 셀프 서비스 분석으로의 전환이 가속화되고 AI를 분석 툴에 매끄럽게 통합할 수 있다. 시맨틱 계층은 원시 데이터를 유의미한 비즈니스 인사이트로 변환하는 데 있어 핵심적인 역할을 한다. 비즈니스 용어를 기반 데이터에 연결하고 기업 전반에 걸쳐 일관적인 정의를 보장한다. 여러 데이터 스토리지 시스템과 다양한 쿼리 및 시각화 툴이 사용되는 회사에서 시맨틱 계층은 통합된 프레임워크를 제공한다. 이 일관성은 여러 플랫폼에 데이터를 저장하고 다양한 툴을 사용하는 경우가 많은 재무, 마케팅, IT 및 기타 부서에 매우 중요하다.
시맨틱 계층은 데이터에 대한 통합된 시야를 제공함으로써 데이터를 일반적인 비즈니스 용어로 단순화한다. 이 계층은 원시 데이터와 비즈니스 애플리케이션 사이에서 통역가 역할을 하면서 데이터에 비즈니스 컨텍스트를 제공한다. 값과 차원을 명확히 정의해 데이터를 모델링함으로써 KPI와 같은 상위 개념을 일관적으로, 정확하게 정의하고 계산할 수 있다. 결과적으로 메트릭과 차원은 일단 설정되고 나면 균일하게 적용된다. 예를 들어 "월별 총수익"을 참조하는 모든 보고서 또는 대시보드는 항상 동일한 정의를 사용하게 된다.
시맨틱 계층은 원시 데이터와 비즈니스 인사이트 사이의 간극을 이어 기업 전반의 데이터에 대한 일관적인 해석과 보고를 보장한다. 데이터 기반 인사이트와 메트릭에 대한 의존도가 높아짐에 따라 데이터 분석과 의사 결정에서 시맨틱 계층의 중요성도 계속 커지게 된다. 시맨틱 계층은 미래의 분석 툴, 더 넓게는 데이터 환경의 초석이 될 것이다.
AI 기반 분석의 부상
AI가 개발자를 위해 코드에 대한 질문에 답해주듯이 데이터 분석가와 비즈니스 사용자의 보고서에 대한 질문에도 AI가 답할 수 있게 된다. 현재 단계에서는 기술이 처리하지 못하는 부분에 여전히 데이터 분석가가 개입하지만, 질문에 답하는 AI의 역량은 앞으로 더욱 강화될 것이다. 시간이 지날수록 AI는 CRM 시스템, 지원 티켓 시스템, ERP 시스템의 데이터를 포함한 회사의 데이터 사일로를 점점 더 많이 흡수하게 된다. 또한 데이터 분석 플랫폼은 고객과 메트릭에 대한 정보를 포함한 회사의 지식 기반을 외부 소스(증권 거래소 데이터, 뉴스 피드, 시장 분석 등)에서 가져온 정보와 함께 사용할 수 있는 기능을 개발할 것이다. 방대한 데이터 축적을 통해 강화된 AI 기반 데이터 분석 플랫폼은 데이터와 비즈니스팀 사이의 간극을 더 많이 메우고 훨씬 더 효율적으로 협업할 수 있게 해줄 것이다.
그러나 궁극적으로 AI 프로세스의 결과는 인간의 책임이다. 생성형 AI의 출력이 실제 의사 결정에 영향을 미치는 경우 항상 그 결과를 설명할 수 있어야 한다. 바로 이 부분에 노트북 형식이 사용된다. 분석 시퀀스를 구성하는 단계는 사라지는 것이 아니라 더 빨라지고 자동화된다. 또한 대부분 사람이 볼 수 없도록 여전히 깊이 숨겨져 있다.
데이터 분석가를 특정 결론으로 이끈 단계의 시퀀스를 계속해서 이해하고 추적하면서 AI가 데이터 분석가에게 제공하는 막대한 이점을 누릴 수 있다.
※위 포스팅이 문제될 경우 삭제하겠습니다.
