“정책에서 코드로, 규칙에서 엔진으로” AI 거버넌스의 구현 전략
설계부터 내재화된 거버넌스(Governance by design)란 액세스를 통제하고 행동을 제한하고 증거를 수집하고 드리프트를 측정하는 빌드 및 런타임 컨트롤에 정책을 내재화하는 것을 의미한다. AI에 이를 구현하는 방법은 다음과 같다.
거버넌스는 생성형 AI 프로그램이 파일럿에 머무를지, 아니면 지속적인 역량으로 발전할지를 좌우하는 요소다. 필자는 거버넌스를 엔지니어링 작업으로 취급한다. 목표는 단순하다. 상황이 변해도 시스템은 매일 정책의 테두리 내에서 움직여야 한다는 것이다.
필자가 정의하는 설계부터 내재화된 거버넌스는 액세스를 통제하고 행동을 제한하고 증거를 수집하고 드리프트를 측정하는 빌드 및 런타임 컨트롤에 정책을 내재화하는 것이다. 정책은 실행 가능한 규칙이 된다. 증거는 정상적인 운영의 부산물로 생성된다. 거버넌스가 배포 파이프라인의 일부로 실행될 때 팀의 배포 속도도 더 빨라진다.
기업은 이미 이 패턴을 이해하고 있다. 결제 시스템에는 사기와 지불 거절 방지에 대한 컨트롤이 내장된다. 고객 데이터 플랫폼에는 동의와 데이터 보존에 대한 컨트롤이 내장된다. 생성형 AI에도 이와 동일한 접근 방식이 필요하다. 생성형 AI가 데이터 경계를 넘나들고 콘텐츠를 생성하고 툴을 통해 직접 행동을 수행하는 경우도 많아지고 있기 때문이다.
Adnan Masood
실제 사용 방식이 반영된 위협 모델부터 시작
위협 모델은 무엇이 잘못될 수 있는지, 누가 피해를 입는지, 그리고 컨트롤이 어디에 위치해야 하는지에 대한 간략한 설명이다. 필자는 위협 모델을 구체적으로 유지하며 프로덕션에서 발생하는 장애에 집중한다.
- 프롬프트, 로그 또는 모델 출력을 통한 데이터 노출. 민감한 데이터가 신뢰 경계를 빠르게 넘나들 수 있다.
- 프롬프트 주입과 간접 명령. 사용자 메시지 또는 검색된 문서가 시스템이 안전하지 않은 동작을 수행하도록 유도할 수 있다.
- 소스 무결성 위험. 정상처럼 보이지만 사실은 오래됐거나 부정확하거나 변조된 문서가 검색을 통해 노출될 수 있다.
- 툴 오용. 에이전트와 어시스턴트가 API와 워크플로우 툴을 통해 기록 시스템(system of record)에 데이터를 쓸 수 있다.
- 모델 및 프롬프트 드리프트. 모델 업데이트, 프롬프트 편집, 데이터 갱신 사이클을 통해 시스템이 변경된다.
이 위협 모델에 따라 컨트롤을 배치한다. 필자는 프로세스 단계에만 컨트롤을 두는 방식은 지양한다. 런타임 및 CI 컨트롤을 사용하면 기억과 수동 검토에 대한 의존도를 낮출 수 있다.
거버넌스 프리미티브 정의
거버넌스 프리미티브는 다양한 사용 사례에 걸쳐 구현하고 재사용할 수 있는 가장 작은 단위다. 필자는 프리미티브를 표준화해서 각 팀이 컨트롤을 새로 만들 필요가 없도록 한다.
- ID 컨텍스트: 누가 어느 역할을 사용해서 어떤 범위로 요청했는가?
- 데이터 경계: 시스템이 어느 소스에서 읽을 수 있고 어느 대상에 쓸 수 있는가?
- 정책 평가: 검색 전, 툴 호출 전, 출력 전에 실행되는 검사.
- 계보: 프롬프트, 모델, 인덱스 및 정책의 버전과 요청별 트레이스 ID.
- 감사 증거: 정책 의사결정, 검색된 소스, 쓰기 작업을 캡처하는 구조화된 로그.
팀은 이러한 프리미티브를 플랫폼 계층에서 한 번만 구현하면 되며, 제품 팀은 간단한 인터페이스를 통해 이를 소비한다. 이 방식은 어시스턴트, 코파일럿, 에이전트 기반 워크플로우 전반으로 확장이 가능하다.
Adnan Masood
정책을 코드로 취급하기
정책을 코드로 취급한다는 것은 정책을 기계가 읽을 수 있는 형식으로 표현하고 자동으로 실행한다는 의미다. 팀은 정책에 버전을 부여하고 풀 요청을 통해 검토하고 애플리케이션 코드와 동일한 파이프라인을 통해 배포한다. 런타임은 각 요청에 현재의 정책 버전을 적용한다.
정책 규칙은 세 가지 범주로 나뉜다.
- 검색 및 툴 호출을 위한 액세스 규칙. 요청을 ID와 범위에 연결한다.
- 출력에 적용되는 콘텐츠 규칙. 제한된 데이터, 인용 및 거부 동작을 다룬다.
- 툴에 적용되는 동작 규칙. 실행되는 툴, 변경 가능한 레코드, 적용되는 승인을 통제한다.
정책 모듈에는 관찰가능성도 필요하다. 정책 모듈은 정책 버전, 트리거된 규칙, 요청에 미친 영향이 포함된 의사결정 레코드를 생성해야 한다.
거버넌스를 CI에 집어넣기
지속적 통합은 지렛대를 제공한다. 기능의 퇴행을 사용자가 발견하기 전에 잡아낼 수 있다. 필자는 평가 및 정책 검사를 생성형 AI의 변경에 대한 릴리스 게이트로 취급한다.
CI 파이프라인은 프롬프트, 검색 구성, 모델 라우팅, 정책 규칙의 모든 변경에 대해 소규모 테스트 모음을 실행해야 한다. 테스트에는 단위 검사, 시나리오 테스트, 안전성 검사가 포함된다. CI 파이프라인은 보고서를 생성해서 팀이 그 내용을 바탕으로 행동할 수 있도록 한다.
게이트를 간단히 표현하면 다음과 같다.
stages: - eval - security - deploy eval: script: - run_retrieval_regression --suite core - run_answer_quality_eval --suite core artifacts: - eval_report.json rules: - fail_if: quality_score < 0.82 security: script: - run_prompt_injection_tests --suite redteam-lite - run_pii_leakage_checks --threshold 0 rules: - fail_if: any_violation
팀은 가벼운 게이트부터 시작해 차차 기준을 높여 나갈 수 있다. 중요한 것은 소유권이다. 즉, 누군가는 테스트 모음을 소유하고 누군가는 임계값을 소유하고 누군가는 문제 해결 경로를 소유해야 한다.
런타임에 컨트롤 강제
런타임 강제는 CI가 시뮬레이션할 수 없는 조건을 처리하고 감사와 사고 대응도 지원한다. 필자는 모든 프로덕션 배포에서 4가지 런타임 컨트롤을 확인한다.
- ID와 범위를 로그에 대한 가림(redaction)과 함께 요청 컨텍스트에 연결하는 요청 중재.
- 액세스 제어, 소스 허용 목록, 최신성 제약을 강제하는 검색 필터링.
- 스키마를 검증하고 허용 목록을 강제하고 작업에 대한 감사 이벤트를 기록하는 툴 중재.
- 인용 규칙, 제한된 데이터 규칙, 사용자 인터페이스에서의 안전한 렌더링을 강제하는 출력 검사.
에이전트 기반 시스템의 경우 툴 중재가 대부분의 부담을 짊어진다. 툴 호출은 권한을 강제하고 대상을 제한하고 멱등성 키를 바인딩하는(중복 쓰기 방지) 라우터를 거쳐야 한다.
일상적인 운영에서 증거 캡처
감사 증거는 보안과 규정 준수, 내부 거버넌스에 중요하다. 필자는 증거가 자동으로 수집되는 방식을 추구한다. 시스템은 각 요청마다 정책 버전, 모델 버전, 프롬프트 버전, 인덱스 버전, 검색된 소스, 툴 호출, 그리고 최종 출력 메타데이터가 포함된 감사 기록을 생성해야 한다.
필자는 이 증거를 액세스와 보존을 제한하도록 설계된 시스템에 저장한다. 이 시스템은 사고 검토와 정기적인 보고를 지원한다. 또한 팀이 영향이 큰 요청을 재현할 수 있다는 면에서 평가 작업에도 유용하다.
피드백 루프를 사용한 거버넌스 운영
거버넌스는 피드백을 통해 개선된다. 팀은 사고, 사고 유사 위험, 평가 회귀로부터 학습한다. 필자는 짧은 주기로 정책 의사결정을 검토하고 컨트롤을 조정한다.
- 정책 차단과 심각도가 높은 툴 호출 실패를 매주 검토.
- 평가 드리프트와 검색 품질 지표를 매월 검토.
- 영향이 큰 워크플로우에 대해 분기별로 레드팀 훈련을 실시하고 개선 상황을 추적.
이 주기를 통해 정책은 가상의 위험 목록이 아니라 시스템의 동작에 근거하게 된다.
최소 실행 가능 거버넌스 체크리스트
필자는 생성형 AI 시스템을 더 광범위한 프로덕션으로 확대할 때 이 체크리스트를 사용한다.
- 실제 워크플로우와 범위 내의 데이터 소스에 대해 작성된 위협 모델.
- 버전 관리, 검토, 배포 프로세스를 갖춘 소스 컨트롤의 정책 모듈.
- 품질 퇴행, 주입 테스트, 제한된 데이터 검사를 위한 CI의 평가 게이트.
- ID, 검색 액세스 제어, 툴 중재, 출력 검사를 위한 런타임 강제.
- 요청 트레이스와 연결된 모델, 프롬프트, 정책, 인덱스 버전의 계보.
- 통제된 액세스 및 정해진 보존 기간과 함께 저장되는 감사 증거.
- 툴 비활성화 스위치와 모델 및 프롬프트 변경에 대한 롤백 계획이 포함된 사고 런북.
