Databricks Unity Catalog AI: LLM을 데이터 자산처럼 거버넌스하면 달라지는 것들

AI 거버넌스를 적극적으로 실천하는 기업은 그렇지 않은 기업보다 12배 더 많은 AI 프로젝트를 프로덕션에 투입합니다. 2026년 State of AI Agents 보고서의 이 통계 하나가, 왜 수많은 기업이 PoC 단계에서 멈춰 있는지 설명합니다. AI 파일럿에서 실제 서비스로 넘어가는 기업과 그렇지 못한 기업의 차이 — 결국 거버넌스였습니다.

Databricks Unity Catalog AI가 이 변화의 중심에 있습니다. 레이크하우스 테이블을 위한 메타데이터 카탈로그로 시작했던 Unity Catalog가, 이제는 모델, 에이전트, 피처, 프롬프트, 메트릭, 그리고 이 모든 것을 먹여 살리는 데이터까지 통합 거버넌스하는 AI 컨트롤 플레인으로 진화했습니다.

데이터 카탈로그에서 AI 컨트롤 플레인으로: Databricks Unity Catalog AI의 실체

전통적인 데이터 카탈로그는 테이블과 뷰를 관리합니다. Databricks Unity Catalog AI는 모든 것을 관리합니다. 테이블, 볼륨, ML 모델, 피처 스토어, AI 정의 함수, 에이전트, 비즈니스 메트릭 — 모두 속성 기반 접근 제어(ABAC)가 적용된 단일 보안 모델 아래 놓입니다.

이것은 단순한 개선이 아닙니다. 파인튜닝된 LLM이 특정 학습 데이터에 의존하고, 그 데이터가 PII 컬럼을 가진 3개의 업스트림 테이블에서 파생되었다는 것을 카탈로그가 이해하면, 대부분의 기업이 절실히 필요로 하는 것을 얻게 됩니다 — 엔드투엔드 AI 리니지. 규제 기관이 모델 출력에 대해 질문하면, 원시 데이터 수집부터 추론 결과까지 전체 데이터 히스토리를 하나의 시스템 안에서 추적할 수 있습니다.

Data + AI Summit 2025에서 발표된 세 가지 핵심 기능이 이 비전을 구체화합니다:

• Unity Catalog Metrics (Public Preview) — 사용자당 매출, 이탈률 같은 비즈니스 메트릭이 카탈로그의 일급 자산이 됩니다. 대시보드, AI 모델, 데이터 엔지니어링 작업 전반에서 재사용 가능합니다.
• Discover Experience (Private Preview) — 영업, 마케팅, 재무 등 비즈니스 도메인별로 정리된 인증 데이터 프로덕트의 내부 마켓플레이스입니다. AI 추천이 가장 가치 높은 자산을 자동으로 표면화합니다.
• Iceberg REST Catalog API — 읽기 GA, 쓰기 Public Preview. Spark, Flink, Trino 같은 외부 엔진이 Unity Catalog 관리 Iceberg 테이블에 직접 접근 가능하며, 벤더 종속을 제거합니다.

Mosaic AI Gateway: 모든 LLM을 하나의 엔드포인트로

여러 파운데이션 모델을 동시에 운영하는 팀이라면 여기서부터 본격적으로 관심이 갈 것입니다. Mosaic AI Gateway가 GA로 출시되었습니다. OpenAI 호환 단일 엔드포인트에서 OpenAI, Anthropic Claude, Amazon Bedrock, Meta LLaMA, xAI Grok, 또는 커스텀 호스팅 모델까지 라우팅할 수 있습니다.

LLM용 리버스 프록시라고 생각하면 됩니다 — 다만 거버넌스를 실제로 이해하는 프록시입니다. Gateway를 통과하는 모든 요청이 자동으로 로깅되고, 표준화되어 Unity Catalog 추론 테이블에 저장됩니다. 토큰 사용량, 비용, 레이턴시, 전체 페이로드까지 하나의 시스템 테이블에 캡처됩니다.

프로덕션 팀에게 가장 중요한 기능들:

• 자동 프로바이더 페일오버 — OpenAI가 다운되면 트래픽이 자동으로 Claude나 Bedrock으로 전환됩니다. AI 애플리케이션 다운타임 제로.
• PII 및 안전 가드레일 — 요청이 모델 프로바이더에 도달하기 전에 게이트웨이 레벨에서 데이터 마스킹과 콘텐츠 필터링을 강제합니다.
• 레이트 리밋 정책 — 팀별, 앱별, 사용자별 비용을 제어합니다. 폭주하는 에이전트 루프로 인한 깜짝 5만 달러 청구서는 이제 그만.
• 통합 빌링 가시성 — 프로바이더별 토큰당 비용을 한 대시보드에서 비교합니다. Claude Sonnet의 입력 토큰 $3/MTok과 GPT-4o의 $2.50을 비교하면 라우팅 결정이 달라집니다.

서너 개 모델 프로바이더를 동시에 사용하는 엔지니어링 팀이라면, 이것만으로도 수 주간의 커스텀 연동 작업을 절약할 수 있습니다. 거버넌스 로깅은 전략적 보너스입니다 — 별도의 옵저버빌리티 스택 없이도 컴플라이언스 감사 추적이 가능해집니다.

에이전트 거버넌스: 대부분의 플랫폼이 무시하는 핵심 퍼즐

2025년의 가장 뜨거운 주제가 AI 에이전트지만, 에이전트 거버넌스에 대해서는 거의 아무도 이야기하지 않습니다. 웹 브라우징, 코드 실행, 데이터베이스 쿼리, API 호출이 가능한 에이전트는 강력하지만 — 가드레일 없이는 위험합니다. Databricks Unity Catalog AI는 Agent Bricks Supervisor Agent(GA)로 이 문제에 답합니다.

Supervisor Agent는 여러 에이전트와 도구를 연결하는 매니지드 오케스트레이션 레이어이며, 모두 Unity Catalog에 의해 거버넌스됩니다. 핵심 혁신은 On-Behalf-Of(OBO) 인증입니다. 모든 데이터 조회와 도구 실행이 실제 사용자의 기존 권한에 대해 검증됩니다. 에이전트가 갓모드 서비스 계정을 갖는 것이 아니라, 트리거한 사람의 접근 수준을 정확히 상속합니다.

실제 사례를 들면, Franklin Templeton은 이미 프로덕션에서 이를 활용하고 있습니다. 공개 펀드 문서와 내부 성과 데이터를 결합한 거버넌스 펀드 분석 에이전트를 Agent Bricks로 구축했으며, Unity Catalog 거버넌스를 통해 승인된 엔터프라이즈 소스만 사용하도록 보장합니다.

5대 AI 거버넌스 프레임워크: 이론에서 카탈로그 적용까지

Databricks는 기능만 출시한 것이 아니라, 5대 축과 43개 핵심 고려사항을 담은 포괄적인 AI 거버넌스 프레임워크도 공개했습니다. AI 거버넌스가 필요하다는 건 알지만 어디서 시작해야 할지 모르는 대부분의 조직에 중요한 가이드입니다.

• 리스크 관리 — 모델 라이프사이클 전반의 AI 특화 리스크 식별 및 정량화
• 법적 컴플라이언스 — EU AI Act, NIST AI RMF 등 각국 규제 매핑
• 윤리적 감독 — 편향 탐지, 공정성 메트릭, 투명성 요건
• 운영 모니터링 — 드리프트 감지, 성능 저하 알림, 비용 추적
• 조직 준비도 — 역할, 책임, 문화적 도입

이것이 단순한 백서 수준을 넘는 이유는, Unity Catalog가 이러한 축들을 기술적으로 강제할 수 있기 때문입니다. 접근 제어는 법적 컴플라이언스에, 리니지 추적은 리스크 관리에, 추론 테이블 로깅은 운영 모니터링에 직접 매핑됩니다.

IDC MarketScape도 이 접근을 검증했습니다. Databricks는 Worldwide Unified AI Governance Platforms 2025-2026에서 리더로 선정되었으며, 전략 부문에서 평가 대상 벤더 중 가장 높은 위치를 차지했습니다.

Unity Catalog vs Snowflake Polaris: 거버넌스 전쟁의 서막

Databricks Unity Catalog AI를 이야기하면서 Snowflake의 대응인 Polaris Catalog(현 Snowflake Horizon)을 빼놓을 수 없습니다. 두 플랫폼의 접근 방식은 근본적으로 다릅니다.

Unity Catalog는 2024년 중반에 오픈소스로 전환되어 Databricks 외부에서도 실행 가능하며, Iceberg REST Catalog API를 통한 진정한 멀티엔진 접근을 지원합니다. 데이터, 모델, 피처, 에이전트, 프롬프트, 메트릭까지 전체 AI 라이프사이클을 거버넌스합니다. Snowflake Horizon은 Snowflake 생태계 내 데이터 거버넌스에 강점이 있으며, 데이터 공유와 마켓플레이스 기능이 뛰어나지만 AI 자산 커버리지는 상대적으로 좁습니다.

Databricks 레이크하우스에 투자하고 다양한 AI 워크로드를 운영하는 팀이라면 Unity Catalog의 범위를 따라올 대안이 드뭅니다. Snowflake 중심의 조직이라면 Horizon의 네이티브 통합이 더 실용적일 수 있습니다.

MLflow 3와 프롬프트 레지스트리: 진짜 중요한 것을 버전 관리하다

Unity Catalog 업데이트와 함께 자주 간과되는 발표가 있습니다. MLflow 3에 프롬프트 레지스트리가 추가되었습니다. LLM 프롬프트를 관리 아티팩트로 등록, 버전 관리, 테스트, 배포할 수 있게 해주는 기능입니다.

대부분의 기업에서 프롬프트 엔지니어링은 여전히 혼란 상태입니다 — 프롬프트가 노트북, 슬랙 스레드, 개발자 개인의 머릿속에 흩어져 있습니다. 거버넌스가 적용된 프롬프트 레지스트리가 있으면 A/B 테스트, 품질 저하 시 롤백, 어떤 프롬프트가 어떤 출력을 생성했는지 감사 추적이 가능해집니다. Unity Catalog의 리니지 기능과 결합하면, 프롬프트 버전 → 모델 응답 → 다운스트림 비즈니스 결정까지 완전한 추적성을 확보합니다.

AI 전략에 주는 시사점

거버넌스가 있는 AI 팀과 없는 팀 사이의 12배 프로덕션 격차는 줄어들지 않을 것입니다. 규제가 강화되고(EU AI Act 시행 중, 미국의 AI 안전 행정명령 증가), 처음부터 AI 스택에 거버넌스를 구축한 조직이 더 느려지는 것이 아니라 더 빨라질 것입니다.

Databricks Unity Catalog AI는 거버넌스와 속도가 대립이 아니라 배수라는 확신에 기반합니다. LLM, 에이전트, 프롬프트, 메트릭을 전통적인 데이터와 함께 일급 거버넌스 자산으로 취급함으로써, 카탈로그를 엔터프라이즈 AI의 운영 체제로 포지셔닝하고 있습니다. Databricks를 사용하든 않든, 패턴은 분명합니다 — AI를 데이터처럼 거버넌스하거나, 뒤처지거나.

---

---