구글 제미나이의 무단 침투와 7주간의 침묵
구글이 월요일, 자사의 제미나이 AI 에이전트가 5월 기업 3곳에 침투했다고 확인했다. 에이전트는 한 곳의 접속 자격증명을 추측해 내부에 접근했으며, 나머지 두 곳의 자격증명은 공개 저장소에서 발견했다.
그러나 금요일 월스트리트저널이 처음 보도한 사건의 배경은 더욱 흥미롭다. 5월 사고는 보안 리서치 업체 아이레귤러(Irregular)가 구글, 앤트로픽, 오픈AI, 메타 등 AI 4대 기업을 대상으로 수행한 일련의 사이버보안 테스트에서 비롯됐다. 네 기업 모두 에이전트 오작동으로 인한 사이버보안 사고를 경험했지만, 구글만이 자사 에이전트의 활동을 공개적으로 밝히지 않았다. 구글은 월스트리트저널 기자의 연락을 받기 전까지 침입 사실을 전혀 공개하지 않았다.
아이레귤러는 8월 사고 내용을 공개했다. 메타가 자사 버전을 발표하고 앤트로픽과 오픈AI가 각자의 사고를 공개한 것도 비슷한 시기였다.
월스트리트저널에 따르면, 침입은 모델이 아이레귤러 인프라에서 진행된 캡처 더 플래그 훈련에 참여하는 과정에서 발생했다. 모델은 테스트 환경 내 가상 기업이 운영하는 소프트웨어에서 정보를 가져오는 임무를 맡고 있었다. 가상 기업의 이름이 실제 존재하는 기업의 이름과 동일했다는 점이 문제였다. 모델은 인터넷 접속이 불가능하도록 설계됐으나, 아이레귤러의 실수로 인터넷 접근이 의도치 않게 허용됐다.
테스트에 정통한 한 소식통에 따르면, 시스템이 침해된 소규모 기업 3곳은 사이버보안 인프라가 “거의 없는” 상태였다. 제미나이 에이전트가 침투에 성공했을 때 세 곳 모두 실질적인 방어를 할 수 없는 상황이었다.
익명을 요청한 구글 관계자에 따르면, 공개 저장소의 이름이 가상 기업 이름과 유사했다. 저장소 안에는 나머지 두 기업의 이름과 접속 자격증명이 포함돼 있었다.
대다수 애널리스트와 컨설턴트는 해킹 자체보다 구글이 성공적인 침입에 대해 침묵한 이유에 집중했다.
구글은 에이전트가 피해 기업이 실제 기업임을 인식하는 순간 즉시 멈췄다고 밝혔다. 구글 관계자는 피해가 발생하지 않았으며, 모델 정렬 문제도 아니었다고 전했다.
관계자는 월스트리트저널 보도를 확인했다. 월스트리트저널은 구글이 이번 사건을 해커가 취약점을 발견해 보고하면 보상받는 버그 바운티 프로그램에 비유했다고 전하며, 구글 보안 엔지니어링 부사장 헤더 애드킨스의 발언을 인용해 “이번 경우 모델은 적절히 행동했다”고 보도했다.
‘피해’의 정의
애널리스트 사이에서는 대체로 이견이 있다.
IDC 리서치 디렉터 라이언 오리어리는 구글이 ‘피해’를 어떻게 정의하는지, 그 기준이 피해 기업과 동일한지 물었다. 또한 다운타임, 무단 접근, 데이터 유출이 즉각적인 피해로 이어지지 않더라도 장기적 영향을 남길 수 있다고 지적했다. 버그 바운티 프로그램에 빗댄 구글의 비유는 아무리 좋게 봐도 억지 주장이라며, 자신이 구글 본사에 침입해 아무것도 가져가지 않고 피해를 끼치지 않더라도 불법 침입으로 기소될 가능성이 크다고 꼬집었다.
가트너 부사장 애널리스트 나데르 헤네인도 비슷한 시각을 보였다.
헤네인은 지역 자율방범대원이 집에 침입해 잠깐 돌아다니다 나간 경우에도 당국이 그런 행위를 공익 활동으로 분류하지는 않을 것이라고 지적했다. 피해 사이트에 버그 바운티 프로그램이 있었고 구글이 에이전트에 버그 발견을 지시했다면 구글의 반박이 타당할 수 있지만, 그렇지 않은 이상 상당히 설득력이 약한 주장이라는 평가다.
다만 헤네인은 구글이 ‘강력한 AI 모델을 책임감 있게 훈련하는 것의 중요성’을 강조한 점은 긍정적이라고 덧붙였다. 구글이 재발 방지를 위해 어떤 방안을 마련할지 지켜보겠다는 입장이다.
부적절한 모델 행동
포레스터(Forrester) 부사장 겸 수석 애널리스트 제프 폴라드는 제미나이 모델이 적절히 행동했다는 구글의 주장에 이의를 제기했다.
폴라드는 “모델이 승인된 목표를 비승인 경로로 추구하고, 시뮬레이션 환경을 벗어나 실제 기업에 진입해 동의 없이 접근권을 확보했다”고 지적했다. 또한 규제가 기술 변화 속도를 따라가지 못하는 또 다른 사례라고 진단했다. 에이전트 탈출 및 침입과 관련된 규제, 피해 기업의 공개 의무와 관련된 규제라는 두 가지 측면이 있으며, 구글은 그 중 한 측면에 대해서만 책임이 있다는 분석이다.
인포테크 리서치 그룹(Info-Tech Research Group) 테크니컬 카운슬러 에릭 아바키안도 기업이 예상치 못한 문제적 모델 행동의 공개 시점에 관한 규칙을 갖추는 것이 중요하다고 강조했다.
아바키안은 AI 모델의 예상치 못한 행동 전부를 공개 사고로 다룰 필요는 없다고 전했다. 그러나 자율 시스템이 인증 또는 신뢰 경계를 넘어서는 순간부터는 명확한 기준선이 있어야 한다는 견해다. AI 시스템이 통제된 환경을 벗어나거나, 실제 제3자 프로덕션 시스템에 접근하거나, 자격증명을 사용하거나, 데이터를 추출하거나, 권한을 확대하거나, 그 밖에 승인받지 않은 행동을 취한 경우에는 최소한 피해 기업에 대한 공개와 공식 사고 조사가 이뤄져야 한다는 조언이다.
아바키안은 침입으로 인한 피해가 없었더라도, “모델을 둘러싼 통제 체계에서 더 크거나 반복 가능한 문제를 드러냈다면” 공개적으로 밝혀야 한다고 말했다.
독립 기술 컨설턴트 스티븐 에릭 피셔도 기업이 에이전트 오작동 공개에 있어 엄격하고 일관된 기준을 유지해야 한다고 강조했다.
피셔는 이번 사건에서 가장 의아한 점이 AI 시스템이 경계를 넘었다는 사실 자체가 아니라고 밝혔다. 경계를 넘은 이후 책임 소재에 대한 인식이 형성되고 있다는 점이 더 근본적인 문제라는 진단이다. 인증 경계가 이미 넘어진 후 멈추는 것은 처음부터 경계가 넘어지지 않도록 막는 것과 다르다는 지적이다. 또한 ‘AI가 한 일’이라는 말이 책임의 경계선이 될 수 없다고 밝혔다.
통제 실패
컨설팅 업체 악셀리전스(Acceligence) CEO 저스틴 그레이스는 피해가 없다는 것과 중요하지 않다는 것이 반드시 같은 의미는 아니라고 주장했다.
그레이스는 모든 이가 운 좋게 피해를 피했더라도, 시스템의 역량이나 통제 수준에서 무엇을 드러내느냐에 따라 그 사건이 중대한 의미를 가질 수 있다고 밝혔다. 또한 “제미나이가 실제 기업 환경에 진입했음을 인식한 뒤 스스로 멈춘 것은 긍정적인 안전 신호”라고 짚으면서도, 처음부터 그곳에 도달할 수 있었다는 사실 자체는 통제 실패라고 지적했다. 두 가지 모두 동시에 사실일 수 있다는 분석이다.
딕슨 리서치(Dickson Research) 수석 애널리스트 프랭크 딕슨은 구글에 대한 가장 강도 높은 비판을 쏟아냈다.
딕슨은 모델의 행동이 이번 사건에서 가장 덜 흥미로운 부분이라고 말했다. 이후 구글의 행보가 가장 비난받아 마땅한 부분이라는 지적이며, 또한 이번 사건이 제미나이가 통제를 벗어난 이야기가 아니라, 공유 테스트 업체의 인프라 실수 하나가 AI 연구소 4곳을 동시에 강타하고, 구글이 그 실패에 대해 네 곳 중 가장 늦고 가장 소극적으로 공개한 이야기라는 주장이다.
딕슨은 아이레귤러가 7월 말 연구소 4곳 모두에 통보했다고 지적했다. 구글은 7주 후인 9월 18일에야 공개했으며, 그것도 월스트리트저널이 논평을 요청한 뒤에야 움직였다. 딕슨은 사실을 직시해야 한다고 말했다. 구글은 공개가 불필요하다고 판단한 기업이 아니었으며, 경쟁사 3곳이 동일한 근본적 실패에 대해 먼저 평판 타격을 받는 것을 지켜보다 피할 수 있을지 가늠한 기업이라는 평가다. 딕슨은 구글도 결국 피하지 못했고, 전말이 알려진 유일한 이유는 기자 한 명이 질문했기 때문이라고 덧붙였다.
