Meta SAM 3D 출시 — 사진 한 장으로 3D 복원, 세그멘테이션의 패러다임이 바뀌었습니다

사진 한 장으로 3D 모델이 만들어집니다. 그것도 30밀리초 만에. Meta SAM 3D가 드디어 공개되었습니다.

2023년 SAM 1이 이미지 세그멘테이션의 판도를 바꾸고, 2024년 SAM 2가 비디오까지 확장했을 때도 충분히 놀라웠습니다. 하지만 2025년 11월, Meta는 한 단계 더 나아갔습니다. SAM 3(Segment Anything Model 3)와 SAM 3D를 동시에 발표하며, 2D 세그멘테이션부터 3D 공간 이해까지 하나의 통합 생태계를 완성한 것입니다. 이 글에서는 각 모델의 핵심 기능, 벤치마크 수치, 실제 적용 사례, 그리고 개발자와 크리에이터에게 열리는 기회를 구체적으로 살펴보겠습니다.

SAM 3 — 텍스트 한 줄로 100개 이상 객체를 30ms에 세그멘테이션

SAM 3는 기존 SAM 시리즈의 한계를 근본적으로 해결한 통합 모델입니다. 이전 버전은 포인트 클릭이나 바운딩 박스로 객체를 지정해야 했지만, SAM 3는 텍스트 프롬프트, 예시 이미지(exemplar), 시각적 프롬프트를 모두 지원합니다. “빨간 차만 선택해”라고 텍스트를 입력하면 이미지 안의 해당 객체를 자동으로 감지하고 분리합니다. 복잡한 텍스트 프롬프트도 처리할 수 있어, “왼쪽에 있는 파란 재킷을 입은 사람”처럼 조건이 여러 개인 명령도 정확하게 수행합니다.

성능 수치는 압도적입니다. Meta가 공개한 SA-Co 벤치마크 기준으로 기존 최고 시스템 대비 2배 향상된 성능을 기록했습니다. 더 놀라운 것은 속도입니다. NVIDIA H200 GPU 기준, 100개 이상의 객체가 포함된 이미지를 단 30밀리초에 추론합니다. 동영상의 경우 약 5개 동시 객체에 대해 근실시간 추적이 가능합니다. 이 수치가 의미하는 바는 명확합니다. 실시간 영상 분석이 필요한 자율주행, 보안 카메라, 라이브 스트리밍 등의 시나리오에서 SAM 3를 즉시 적용할 수 있다는 것입니다.

아키텍처 측면에서 가장 중요한 변화는 통합입니다. 단순한 세그멘테이션을 넘어 객체 감지(detection), 세그멘테이션, 트래킹을 하나의 모델에서 처리합니다. 이전에는 각 기능별로 별도의 모델을 조합해야 했고, 모델 간 데이터 전달 과정에서 지연과 오류가 발생했습니다. SAM 3 하나로 전체 파이프라인을 대체하면 배포 복잡도가 급격히 줄어들고, 추론 지연도 최소화됩니다.

Meta SAM 3D Objects — 2D 사진 한 장에서 3D 객체 복원

SAM 3D는 SAM 3와 별개의 모델 패밀리로, 3D 공간 이해에 특화되어 있습니다. 그중 SAM 3D Objects는 단일 2D 이미지에서 물체나 장면의 3D 메시를 복원합니다. 별도의 3D 스캐너나 다중 앵글 촬영 없이, 스마트폰으로 찍은 사진 한 장이면 충분합니다. 기존에 3D 모델링을 하려면 전문 소프트웨어와 수십 장의 사진, 혹은 LiDAR 장비가 필요했던 것을 생각하면 혁명적인 변화입니다.

Meta는 이 모델을 314만 개의 모델 생성 메시와 800만 개의 이미지 데이터셋으로 학습시켰습니다. 결과물의 품질도 검증되었습니다. 인간 선호도 테스트에서 기존 최고 모델 대비 5:1의 압도적인 승률을 기록했습니다. 사람이 봤을 때 SAM 3D Objects가 만든 3D 모델이 5배 더 자연스럽다는 뜻입니다. 단순히 형태만 추정하는 것이 아니라, 텍스처와 재질감까지 포함한 고품질 메시를 생성합니다.

이미 실제 제품에 적용되고 있습니다. Facebook Marketplace의 “방에서 보기(View in Room)” 기능이 대표적인 예시입니다. 가구를 구매하기 전에 자기 방에 AR로 배치해 볼 수 있는 이 기능이 SAM 3D Objects 기술을 기반으로 작동합니다. 판매자가 가구 사진을 올리면 시스템이 자동으로 3D 모델을 생성하고, 구매자는 자신의 스마트폰 카메라로 거실에 소파를 가상 배치해 볼 수 있습니다. 이커머스에서 반품률을 줄이는 데 직접적으로 기여할 수 있는 기술입니다.

SAM 3D Body — 인체 포즈와 형태를 단일 이미지에서 추정

SAM 3D Body는 사람의 포즈와 신체 형태를 2D 이미지 한 장에서 추정하는 모델입니다. Meta가 새롭게 개발한 Momentum Human Rig(MHR) 포맷을 사용하여, 기존 방식보다 더 정밀한 관절 위치와 체형 데이터를 생성합니다. 단순한 스켈레톤 트래킹이 아니라 인체의 볼륨까지 포함한 전체 3D 형상을 추정한다는 점이 기존 모션 캡처 솔루션과의 차별점입니다.

이 기술의 응용 범위는 광범위합니다. 스포츠 의학 분야에서는 선수의 자세를 실시간으로 분석하여 부상 위험을 예측할 수 있습니다. 일반 카메라 영상만으로 무릎 각도, 척추 정렬, 하중 분배를 측정할 수 있으므로 고가의 모션 캡처 시스템 없이도 바이오메카닉스 분석이 가능해집니다. 비디오 게임과 AR/VR에서는 별도의 모션 캡처 장비 없이 사용자의 움직임을 3D 아바타에 매핑할 수 있습니다. Instagram Edits에서도 이 기술이 활용되어 크리에이터들이 더 정교한 영상 편집을 할 수 있게 됩니다. 로보틱스 분야에서는 로봇이 사람의 자세와 동작을 이해하여 안전한 인간-로봇 상호작용을 구현하는 데 핵심 역할을 합니다.

오픈소스 전략과 개발자 생태계

Meta는 이번에도 오픈소스 원칙을 고수했습니다. SAM 3의 모델 가중치, 체크포인트, 파인튜닝 코드가 모두 공개되었고, SA-Co와 SA-3DAO 벤치마크도 함께 릴리스되었습니다. SAM 3D의 경우 체크포인트와 추론 코드가 부분 공개되었습니다. 완전한 학습 코드까지는 아니지만, 추론과 파인튜닝이 가능하므로 대부분의 프로덕션 유스케이스를 커버할 수 있습니다.

누구나 Segment Anything Playground에서 직접 모델을 테스트할 수 있습니다. 개발자는 가중치를 다운로드하여 자체 애플리케이션에 통합할 수 있고, 벤치마크 데이터셋으로 성능을 비교 검증할 수 있습니다. Meta의 Vibes와 meta.ai 크리에이션 도구에서도 SAM 3 기술이 활용되어 일반 사용자도 간접적으로 이 모델의 성능을 경험할 수 있습니다.

특히 주목할 점은 야생 동물 보존을 위한 SA-FARI 데이터셋입니다. Meta는 이 데이터셋을 통해 야생 동물의 개체 식별과 추적에 SAM 3를 활용하는 연구를 지원하고 있습니다. 카메라 트랩에 찍힌 사진에서 개별 동물을 자동으로 식별하고 추적하는 이 기술은 생태학 연구의 효율성을 극적으로 높여줍니다. AI 기술이 환경 보존에 직접 기여하는 사례로, 로보틱스, 의료, 게임 외에도 다양한 분야에서의 활용 가능성을 보여줍니다.

SAM 시리즈의 진화 — 2023년부터 2025년까지

Segment Anything의 진화 과정을 정리하면 그 속도에 다시 한번 놀라게 됩니다. 2023년 SAM 1이 이미지 세그멘테이션의 기본기를 놓았고, 2024년 SAM 2가 비디오 세그멘테이션과 실시간 트래킹을 추가했습니다. 그리고 불과 1년 만인 2025년 11월, SAM 3와 SAM 3D가 텍스트 기반 프롬프트와 3D 공간 이해까지 확장한 것입니다.

• SAM 1 (2023) — 이미지 세그멘테이션의 파운데이션 모델, 포인트/박스 프롬프트
• SAM 2 (2024) — 비디오 확장, 실시간 객체 추적, 프롬프트 기반 세그멘테이션
• SAM 3 + SAM 3D (2025.11) — 텍스트/예시 프롬프트, 3D 복원, 인체 추정, 통합 파이프라인

2년 만에 2D 정적 이미지의 포인트 클릭 세그멘테이션에서, 텍스트 명령 하나로 3D 공간까지 이해하는 모델로 진화했습니다. Meta가 컴퓨터 비전 분야에서 얼마나 공격적으로 투자하고 있는지 보여주는 단적인 사례입니다. 특히 오픈소스로 공개한다는 점은 개발자 생태계에 대한 Meta의 장기적 전략을 반영합니다. 가장 많은 개발자가 사용하는 모델이 결국 업계 표준이 되기 때문입니다.

SAM 3와 SAM 3D의 동시 출시는 단순한 모델 업데이트가 아닙니다. 2D 이해부터 3D 복원까지, Meta가 시각 AI의 전체 스택을 장악하겠다는 선언입니다. 오픈소스로 풀린 만큼 개발자들이 이 기술을 얼마나 빠르게 자기 분야에 적용하느냐가 다음 승부처가 될 것입니다. 로보틱스, AR/VR, 이커머스, 의료 — 어느 분야든 3D 이해가 필요한 곳이라면 Meta SAM 3D는 반드시 검토해야 할 기술입니다.