딥시크 Engram 메모리 혁신: 2026년 1월 R1 확장·mHC·조건부 메모리까지 3연타 연구 공세

13일 만에 논문 3편. 딥시크(DeepSeek)가 2026년 새해 벽두부터 AI 업계에 연구 폭탄을 투하했습니다. 1월 1일 mHC(Manifold-Constrained Hyper-Connections) 논문을 시작으로, 1월 4일 R1 논문을 22페이지에서 86페이지로 4배 확장하더니, 1월 13일에는 딥시크 Engram이라는 완전히 새로운 조건부 메모리 아키텍처까지 공개했습니다. GPU 수출 규제라는 제약 속에서 오히려 더 효율적인 AI를 만들겠다는 딥시크의 전략이 본격화된 것입니다.

딥시크 Engram: GPU 낭비를 해결하는 조건부 메모리 모듈

1월 13일 공개된 딥시크 Engram 논문은 현재 LLM의 근본적인 비효율성을 정면으로 겨냥합니다. 핵심 아이디어는 단순하지만 강력합니다. “정적 지식 검색”과 “동적 추론”을 분리하는 것입니다.

현재 대부분의 LLM은 “서울은 대한민국의 수도이다”와 같은 단순 사실 검색에도 복잡한 추론과 동일한 GPU 연산을 사용합니다. 수학 문제를 풀든 상품명을 찾든 동일한 트랜스포머 파이프라인을 통과하는 것입니다. VentureBeat의 분석에 따르면, 기업용 LLM에서 제품명, 계약 조항, 고정 데이터를 검색하는 데 소모되는 GPU 사이클이 상당한 낭비를 초래하고 있습니다. 이 문제는 단순히 비용의 문제가 아닙니다. GPU 메모리(HBM)와 연산 대역폭이 제한된 환경에서는 정적 검색이 동적 추론의 병목이 되기도 합니다.

딥시크 Engram의 3가지 핵심 기술

Engram은 이 문제를 해결하기 위해 세 가지 핵심 기술을 결합합니다.

• Tokenizer Compression — 입력 토큰을 압축하여 정적 지식 조회 경로의 처리량을 최적화합니다. 불필요한 토큰 확장 없이 핵심 정보만 추출하여 조회 속도를 극대화합니다.
• Multi-Head Hashing — O(1) 시간 복잡도로 정적 지식을 즉시 검색합니다. 기존 셀프 어텐션 메커니즘이 O(n²)의 복잡도를 가지는 것과 비교하면 획기적인 개선입니다. 해시 기반 검색은 시퀀스 길이에 관계없이 일정한 속도를 보장합니다.
• Context-Aware Gating — 입력이 정적 검색과 동적 추론 중 어느 경로로 갈지 자동으로 판단합니다. 이 게이팅 메커니즘은 학습 가능하며, 모델 전체와 함께 엔드투엔드로 최적화됩니다.

벤치마크 결과와 최적 분할 비율

딥시크 Engram의 최적 분할 비율은 컴퓨팅의 75%를 추론에, 25%를 정적 검색에 할당하는 것으로 나타났습니다. 이 구조를 적용하자 추론 벤치마크가 70%에서 74%로, 지식 테스트가 57%에서 61%로 향상되었습니다. 두 영역 모두에서 4%포인트의 개선을 달성한 것입니다.

기술적으로 주목할 점은 Engram 모듈이 파라메트릭(parametric)하고 완전 미분 가능(fully differentiable)하다는 것입니다. 이는 기존 모델 아키텍처를 처음부터 다시 설계할 필요 없이, 현재 운영 중인 모델에도 통합할 수 있다는 의미입니다. 추가적인 학습 파이프라인 변경 없이 기존 학습 루프에 자연스럽게 끼워 넣을 수 있습니다.

가장 파괴적인 함의는 따로 있습니다. Engram은 정적 지식을 GPU 메모리가 아닌 시스템 RAM에 저장합니다. 이는 추론 시 정적 검색 부분이 GPU와 HBM(High Bandwidth Memory) 제약을 완전히 우회할 수 있다는 뜻입니다. GPU 가격이 천정부지로 오르고 수출 규제까지 겹친 상황에서, 이 접근법은 단순한 기술 혁신을 넘어 비즈니스 전략의 핵심이 됩니다.

mHC 아키텍처: 더 큰 모델을 더 적은 비용으로 학습시키는 방법

딥시크의 2026년 첫 번째 논문은 1월 1일에 공개된 mHC(Manifold-Constrained Hyper-Connections)입니다. 창업자 량원펑(Liang Wenfeng)이 공동 저자로 직접 참여했다는 사실만으로도 이 연구의 전략적 중요도를 짐작할 수 있습니다. 논문은 3B, 9B, 27B 파라미터 모델에서 검증되었으며, 규모에 따른 확장성도 확인되었습니다.

SCMP 보도에 따르면, mHC는 Sinkhorn-Knopp 알고리즘을 사용하여 혼합 행렬(mixing matrices)을 Birkhoff Polytope 내부로 제약합니다. Birkhoff Polytope는 이중 확률 행렬(doubly stochastic matrices)의 집합으로, 이 공간 내에서 행렬을 제약하면 학습 과정에서 가중치 분배가 최적화됩니다.

수학적으로 복잡하게 들리지만, 실용적 결론은 명확합니다. 학습 오버헤드가 단 6~7%만 증가하면서도 모델이 데이터로부터 배우는 효율성이 크게 개선된다는 것입니다. 기존 학습 인프라에 최소한의 추가 비용으로 적용할 수 있다는 점에서, 대규모 학습 파이프라인을 운영하는 조직에게 즉시 적용 가능한 기술입니다.

이 연구의 전략적 맥락을 이해하면 더 흥미롭습니다. 미국의 GPU 수출 규제로 NVIDIA H100, A100 등 최첨단 학습용 칩 확보가 어려운 상황에서, 딥시크는 “더 많은 GPU”가 아닌 “더 똑똑한 학습”으로 경쟁력을 유지하겠다는 방향을 선택한 것입니다. mHC는 그 전략의 첫 번째 구체적 결과물이며, 동일한 GPU 자원으로 더 큰 모델을 학습할 수 있는 길을 열었습니다.

R1 논문 86페이지 확장: 발표 없이 4배로 늘린 전례 없는 투명성

1월 4일, 딥시크는 아무런 공식 발표 없이 R1 논문을 arXiv에서 22페이지에서 86페이지로 조용히 확장했습니다. 2025년 9월 Nature 커버를 장식한 바로 그 논문입니다. WinBuzzer의 보도에 따르면, 이 업데이트에는 다음과 같은 핵심 정보가 포함되었습니다.

• 3단계 Dev 학습 프로세스 — R1이 어떻게 단계적으로 학습되었는지 전체 파이프라인이 공개되었습니다. 사전학습부터 미세조정, 강화학습까지 모든 과정이 문서화되었습니다.
• GRPO(Group Relative Policy Optimization) 알고리즘 — 강화학습 기반 추론 최적화의 구체적 구현 방법이 상세히 기술되었습니다. GRPO는 기존 PPO(Proximal Policy Optimization)와 달리 그룹 단위로 정책을 비교 평가하는 방식으로, R1의 추론 능력을 극대화하는 핵심 알고리즘입니다.
• 몬테카를로 트리 탐색(MCTS) 실패 인정 — 추론 강화에 MCTS를 시도했으나 기대한 성과를 얻지 못했다는 솔직한 고백이 포함되었습니다. 실패 사례를 공개하는 것은 AI 연구에서 극히 드문 일입니다.
• 전체 MoE 아키텍처 공개 — 총 670~685B 파라미터 중 토큰당 37B만 활성화되는 Mixture of Experts 구조가 상세히 밝혀졌습니다. 이 구조가 R1이 낮은 추론 비용으로 프론티어급 성능을 달성하는 비결입니다.
• 20개 이상의 평가 벤치마크와 기술 부록 A~F — Nature 버전에만 포함되었던 기술적 세부사항이 무료로 접근 가능한 arXiv 버전에 동기화되었습니다.

Medium의 분석은 이를 “AI 산업 전체에 대한 일격”이라고 표현했습니다. 논문 분량을 4배로 늘리면서 발표 없이 조용히 공개한 것은 전례가 없는 행보입니다. 유료 학술지에 실린 내용을 무료 플랫폼에 전부 풀어놓은 것이기도 합니다. 오픈소스 커뮤니티에 모든 정보를 아낌없이 제공하겠다는 의지의 표현입니다.

V4를 향한 포석: 3편의 논문이 그리는 전략적 로드맵

13일간의 논문 3편은 개별 연구가 아니라 하나의 전략적 그림으로 읽어야 합니다. mHC로 학습 효율을 높이고, Engram으로 추론 비용을 낮추며, R1의 완전 공개로 커뮤니티의 신뢰를 확보합니다. 이 세 가지가 결합되면 V4 모델의 윤곽이 드러납니다.

특히 Engram의 정적 지식을 시스템 RAM으로 분리하는 접근은 GPU와 HBM 제약을 우회할 수 있는 가능성을 열어줍니다. 만약 V4가 이 기술을 통합한다면, 동일한 하드웨어에서 경쟁사 대비 훨씬 낮은 비용으로 추론 서비스를 제공할 수 있을 것입니다. GPU 수출 규제가 계속되는 한, 이런 아키텍처 혁신이 딥시크의 핵심 경쟁력이 될 것입니다.

개발자와 기업의 관점에서도 시사점이 큽니다. Engram의 접근법은 자체 모델을 운영하는 조직이 추론 비용을 절감하는 데 직접 참고할 수 있는 아키텍처 패턴입니다. mHC 역시 학습 파이프라인의 효율성을 개선하려는 팀에게 구체적인 벤치마크를 제공합니다.

2026년은 AI 모델 경쟁이 단순한 파라미터 크기가 아니라 아키텍처 효율성으로 전환되는 해가 될 것입니다. 딥시크가 1월에 보여준 연구 밀도는 이 변화의 최전선에 서 있다는 강력한 신호입니다. 효율적 학습, 메모리 분리, 완전한 투명성—이 세 편의 논문이 제시하는 방향은 2026년 AI 기술 전략을 수립하는 데 반드시 참고해야 할 기준점입니다.