Azure AI Foundry: Microsoft Build 2025에서 공개된 1,900개 모델 플랫폼의 모든 것

1,900개 이상의 AI 모델을 하나의 플랫폼에서 배포하고, 멀티 에이전트가 협업하며, 로컬 디바이스에서도 추론이 가능한 시대가 열렸습니다. Microsoft Build 2025에서 정식 출시된 Azure AI Foundry가 바로 그 주인공입니다.

Azure AI Foundry란? 단순 모델 허브가 아닌 ‘에이전트 팩토리’

Azure AI Foundry는 Microsoft가 Build 2025에서 정식 출시(GA)한 통합 AI 플랫폼입니다. 단순히 모델을 배포하는 허브가 아니라, AI 에이전트를 설계하고, 학습시키고, 대규모로 운영하는 전체 라이프사이클을 관리하는 에이전트 팩토리로 포지셔닝되었습니다. Microsoft 공식 블로그에서 사티아 나델라 CEO는 이를 “에이전틱 웹의 시대”라고 선언했습니다.

핵심은 세 가지입니다. 첫째, 1,900개 이상의 모델 카탈로그(OpenAI, Meta Llama, Mistral, xAI Grok 3, Flux Pro 1.1 등)를 서버리스 API 엔드포인트로 즉시 배포할 수 있습니다. 둘째, Agent Service가 정식 출시되어 멀티 에이전트 오케스트레이션을 엔터프라이즈 규모로 운영할 수 있게 되었습니다. 셋째, Foundry Local로 온디바이스 AI 추론이 가능해졌습니다.

Azure AI Foundry 모델 카탈로그: 1,900개 모델의 실체

Azure 공식 블로그에 따르면, 모델 카탈로그는 단순히 숫자만 늘린 것이 아닙니다. Hugging Face와의 파트너십으로 10,000개 이상의 오픈소스 모델에 접근할 수 있으며, Model Router 기능이 새로 추가되어 작업 유형에 따라 최적의 모델을 자동으로 선택해줍니다.

배포 방식도 유연합니다. Microsoft Learn 문서에 따르면 서버리스 API 엔드포인트(종량제 과금), 관리형 컴퓨팅, Azure CLI와 Bicep을 통한 IaC 배포까지 지원합니다. OpenAI 모델이 아닌 Mistral 등의 모델에 대해서도 파인튜닝이 가능합니다.

• 서버리스 API 배포: 인프라 관리 없이 종량제로 모델 호출
• Model Router: 비용-성능 최적화를 위한 자동 모델 선택
• 파인튜닝: Mistral, Llama 등 비-OpenAI 모델도 커스텀 학습 가능
• IaC 지원: Azure CLI, Bicep으로 배포 파이프라인 자동화

Azure AI Foundry Agent Service: 멀티 에이전트 오케스트레이션의 시작

Build 2025에서 가장 주목받은 발표 중 하나는 Azure AI Foundry Agent Service의 정식 출시입니다. 이 서비스는 여러 AI 에이전트가 협업하여 복잡한 비즈니스 워크플로우를 처리하는 멀티 에이전트 시스템을 엔터프라이즈 환경에서 안정적으로 운영할 수 있게 해줍니다.

특히 주목할 점은 MCP(Model Context Protocol) 지원입니다. 에이전트 간 통신의 표준 프로토콜을 채택함으로써, 서로 다른 AI 모델과 서비스가 원활하게 상호작용할 수 있는 기반을 마련했습니다. JM Family, Fujitsu, YoungWilliams 같은 기업들이 이미 Agent Service를 활용하여 실제 업무 자동화에 적용하고 있습니다.

Foundry Local: 클라우드 없이도 AI가 돌아간다

Azure AI Foundry의 또 다른 핵심 발표는 Foundry Local입니다. 이 기능은 AI 모델을 로컬 디바이스에서 직접 실행할 수 있게 해줍니다. 클라우드 연결 없이도 추론이 가능하다는 것은 의료, 제조, 국방 등 데이터 주권이 중요한 산업에서 큰 의미를 가집니다.

기업 입장에서는 API 호출 비용을 줄이면서도 지연 시간을 최소화할 수 있다는 점이 매력적입니다. 특히 엣지 디바이스에서의 실시간 추론이 필요한 IoT 시나리오나, 개인정보 보호가 중요한 헬스케어 분야에서 Foundry Local의 활용 가능성은 무궁무진합니다.

실제 기업 도입 사례와 Azure AI Foundry 생태계

InfoQ의 Build 2025 분석에 따르면, xAI의 Grok 3과 Black Forest Labs의 Flux Pro 1.1이 Azure AI Foundry 모델 카탈로그에 추가되면서, 텍스트 생성부터 이미지 생성까지 하나의 플랫폼에서 처리할 수 있는 범위가 크게 확장되었습니다.

기업 도입 측면에서, Agent Service를 활용한 사례를 보면 명확한 패턴이 보입니다. JM Family는 자동차 딜러십 운영의 복잡한 문서 처리를 자동화했고, Fujitsu는 글로벌 IT 서비스의 고객 지원 에이전트를 구축했습니다. YoungWilliams는 아동 복지 관련 데이터 처리를 멀티 에이전트로 자동화하여 운영 효율을 크게 개선했습니다.

이런 사례들이 보여주는 공통점은 단일 AI 모델이 아닌, 여러 에이전트가 역할을 분담하여 복잡한 비즈니스 로직을 처리한다는 점입니다. Microsoft가 “에이전틱 웹”이라고 부르는 이 패러다임은 단순한 챗봇을 넘어, AI가 실제 업무를 자율적으로 수행하는 시대를 열고 있습니다.

Sean’s Take: AI 에이전트 오케스트레이션의 현실과 가능성

28년간 음악과 기술의 교차점에서 일해온 입장에서, Azure AI Foundry의 멀티 에이전트 접근법은 제가 실제로 운영하는 블로그 파이프라인과 놀라울 정도로 유사합니다. 저는 이미 6개의 AI 에이전트(리서처, 라이터, 이미지 생성, 퍼블리셔, 리뷰어, 리포터)가 순차적으로 협업하는 시스템을 구축하여 매일 운영하고 있습니다. 이런 경험에서 말씀드리면, 멀티 에이전트 시스템의 진짜 어려움은 모델 성능이 아니라 ‘에이전트 간 통신의 안정성’입니다.

Agent Service가 MCP를 지원하고, 에이전트 간 핸드오프와 오류 처리를 플랫폼 레벨에서 관리해준다는 것은 실무자 입장에서 매우 의미 있는 발전입니다. 직접 에이전트 파이프라인을 구축해보면 알 수 있지만, 한 에이전트의 출력이 다음 에이전트의 입력이 되는 체인에서 중간에 하나라도 실패하면 전체가 무너집니다. Microsoft가 이 부분을 엔터프라이즈급으로 해결하려 한다는 것 자체가, AI 에이전트가 더 이상 실험 단계가 아니라 프로덕션 워크로드로 넘어가고 있다는 신호입니다.

다만 현실적인 우려도 있습니다. 1,900개 모델 중 실제로 프로덕션에서 쓸 만한 것은 제한적이며, Model Router의 자동 선택이 항상 최적은 아닐 수 있습니다. 또한 종량제 과금 모델은 트래픽이 급증하면 비용이 예측 불가능해질 수 있습니다. Foundry Local은 매력적이지만, 엣지 디바이스의 컴퓨팅 파워 한계를 감안하면 아직은 소규모 모델에 한정될 가능성이 높습니다. 그래도 방향성은 확실합니다. AI가 클라우드에만 머물지 않고, 엣지로, 로컬로, 그리고 멀티 에이전트 협업으로 확장되는 흐름은 거스를 수 없습니다.

Azure AI Foundry가 보여주는 비전은 분명합니다. AI 모델을 선택하고, 배포하고, 에이전트로 조합하여 실제 비즈니스 문제를 해결하는 전체 파이프라인을 하나의 플랫폼에서 관리하겠다는 것. 이것이 현실화되면, AI 도입의 진입 장벽이 크게 낮아질 것입니다. 관건은 실행력과 생태계 확장 속도입니다.