GLM-5.2 쇼크, AI 추론 마진은 왜 무너지고 있나 | 오픈웨이트 시대의 온프레미스 AI 인프라

지난주 개발자 커뮤니티를 가장 뜨겁게 달군 주제는 새로운 모델 출시도, 벤치마크 신기록도 아니었습니다. "AI 회사들이 지금 얼마를 남기고 있는가"라는, 조금은 불편한 질문이었습니다.

발단은 한 편의 분석 글이었습니다. 저자 Martin Alderson은 중국 Z.ai(구 Zhipu)가 공개한 오픈웨이트 모델 GLM-5.2를 두고 이렇게 썼습니다. "Claude Code 환경에서 이 모델을 쓰면서, 내가 지금 Opus를 쓰고 있지 않다는 걸 거의 알아차릴 수 없었다." 그리고 가격은 Opus의 5분의 1 수준이었습니다.

이 한 문장이 왜 실리콘밸리와 국내 AI 인프라 업계 모두를 긴장시켰는지, 그리고 이 흐름이 왜 결국 "인프라를 누가, 어떻게 소유하느냐"의 문제로 귀결되는지 짚어보겠습니다.

GLM-5.2, 숫자로 보면 이렇습니다

GLM-5.2는 Z.ai가 공개한 7,530억 파라미터 규모의 MoE(전문가 혼합) 모델입니다. 다만 토큰 하나를 처리할 때 실제로 활성화되는 파라미터는 약 400억 개 수준이라, 실제 추론 비용은 훨씬 작은 모델처럼 관리됩니다. 여기에 IndexShare라는 자체 기법으로 100만 토큰급 긴 컨텍스트 처리 비용까지 낮췄습니다.

성능 평가 플랫폼 Artificial Analysis의 AA-Briefcase 벤치마크에 따르면 품질(Elo) 점수는 Claude Fable 5(1587), Opus 4.8(1356), GLM-5.2(1266) 순으로 아직 최상위 폐쇄형 모델에는 못 미칩니다. 하지만 과제 하나를 처리하는 데 드는 비용은 GLM-5.2가 약 2.40달러, Fable 5가 약 31달러로 13배 가까이 차이가 납니다.

"마진 붕괴"라는 표현이 나온 이유

Alderson의 글에서 가장 흥미로운 부분은 성능 비교가 아니라 원가 구조 분석입니다. 그는 프런티어 AI 랩의 비즈니스 모델을 이렇게 요약합니다.

학습(training)은 한 번 태우는 고정비입니다. 반면 추론(inference)은 쓰면 쓸수록 발생하는 진짜 한계비용입니다. 문제는 지금 Anthropic이나 OpenAI가 100만 토큰당 25달러 안팎을 받고 있는데, 실제 컴퓨팅 원가 대비로는 총마진이 90%에 육박할 수 있다는 추정입니다. (OpenAI의 유출된 재무제표에는 약 60%대 마진이 언급되지만, 여기에는 고객지원·결제 처리 등 다른 비용이 섞여 있어 순수 추론 마진과는 다르다는 게 저자의 설명입니다.) 학습비를 회수하기 위해 추론 단가를 높게 유지해온 셈인데, GLM-5.2처럼 성능은 근접하면서 가격은 5분의 1인 대안이 나오는 순간, 그 마진을 지킬 수 있는 방법이 급격히 줄어듭니다.

더 뼈아픈 대목은 전환 비용이 사실상 0에 가깝다는 점입니다. Z.ai와 Fireworks 같은 인프라 제공사들이 OpenAI·Anthropic 호환 API를 그대로 제공하기 때문에, 개발자 입장에서는 base URL과 API 키만 바꾸면 모델을 교체할 수 있습니다. 아마존 창업자 제프 베조스가 남긴 유명한 경영 격언 중에 "당신의 마진은 나의 기회(Your margin is my opportunity)"라는 말이 있습니다. 어떤 업체가 마진을 두둑하게 남기고 있다면, 그보다 싸게 같은 가치를 제공하는 경쟁자가 반드시 나타나 그 자리를 파고든다는 뜻입니다. 90%에 가까운 마진을 남기던 폐쇄형 AI 모델들 앞에, 훨씬 저렴한 GLM-5.2가 등장한 지금 상황이 바로 이 격언 그대로라는 것입니다.

그런데, 직접 돌리는 건 또 다른 이야기입니다

여기서 많은 사람이 놓치는 지점이 있습니다. GLM-5.2가 "오픈웨이트"라고 해서 아무 서버에서나 돌릴 수 있는 건 아닙니다. 커뮤니티에서 정리된 실측 요구사항을 GPU 서버 스펙으로 환산해보면 체감이 훨씬 또렷해집니다.

• 풀 웨이트(BF16) 기준: 모델 가중치 자체의 용량이 약 1.51TB. GPU당 80GB인 H100으로는 최소 19장, 141GB인 H200으로는 최소 11장, 192GB인 최신 B200으로도 8장을 꽉 채워야 겨우 모델 가중치가 올라갑니다. 여기에 GLM-5.2가 지원하는 최대 100만 토큰급 컨텍스트를 실제로 쓰려면 KV 캐시(대화 맥락을 저장하는 별도 메모리)가 추가로 크게 필요해, 실서비스 수준에서는 이보다 20~30% 여유를 더 잡아야 합니다. 결국 H100 기준으로는 GPU 24장 안팎, 즉 서버 2~3대를 클러스터로 묶는 규모가 현실적인 최소선입니다.

• 4비트로 양자화(압축)한 가중치: 약 476GB. H100 기준 6장, H200 기준 4장이면 이론상 올라가지만, 동시 사용자를 여러 명 받으려면(배치 처리) 역시 여유분이 필요해 보통 8장 안팎, 즉 서버 1대 규모로 계획하는 경우가 많습니다.

• 2비트 동적 양자화(가장 공격적인 압축): 약 241GB까지 줄일 수 있지만, 이 정도 압축은 보통 256GB 이상 통합 메모리를 갖춘 Mac Studio급 소비자 기기에서 "일단 돌아가게는" 만들기 위한 수준입니다. 속도가 느려지는 건 양자화 자체 때문이라기보다, 이런 소비자용 하드웨어가 전용 GPU 서버만큼의 연산 성능과 GPU 간 대역폭(MoE 모델은 라우팅 과정에서 GPU끼리 통신이 잦습니다)을 내지 못하기 때문이며, 실제 체감 속도는 초당 3~9토큰에 그칩니다. 반면 다중 GPU 서버 환경에서는 같은 압축 수준에서도 훨씬 빠른 처리량을 기대할 수 있습니다.

(위 GPU 수량은 H100/H200/B200의 공개된 VRAM 용량을 기준으로 한 단순 계산으로, 실제 소요량은 배치 크기·동시 사용자 수·컨텍스트 길이 등 워크로드 조건에 따라 달라질 수 있습니다.)

즉, 개인 워크스테이션은 물론 웬만한 단일 서버로도 감당이 안 되는 규모입니다. "성능 좋은 오픈소스 모델이 공짜로 풀렸다"는 소식과 "그래서 우리 회사도 직접 돌려보자"는 결정 사이에는, 결국 GPU 8장에서 많게는 20장 이상을 발열·전력·소음 문제없이 안정적으로 묶어낼 수 있는 인프라가 있는가라는 훨씬 현실적인 질문이 놓여 있는 셈입니다.

추가로 짚어볼 만한 흐름들

이 논쟁이 흥미로운 건 단발성 이슈가 아니라 몇 가지 큰 흐름이 겹치는 지점에 있기 때문입니다.

첫째, 토큰 단가는 구조적으로 계속 내려가는 추세입니다. 업계 전망에 따르면 현재 API 시장의 토큰 단가는 100만 토큰당 1~10달러 수준이며, 2030년까지 2025년 대비 90% 이상 하락할 것으로 예측됩니다. 반면 에이전트형 AI 워크플로우는 일반 챗봇 대비 5~30배 많은 토큰을 소비합니다. 단가는 떨어지는데 사용량은 그보다 훨씬 빠르게 늘어나는 구조라, "얼마나 저렴한 모델을, 얼마나 효율적인 인프라 위에서 돌리는가"가 총비용을 가르는 핵심 변수가 되고 있습니다.

둘째, 하드웨어 지형도 흔들리고 있습니다. Alderson은 반도체 분석기관 Wafer의 리포트를 인용해, AMD 하드웨어 기반 추론이 Nvidia Blackwell 대비 최대 2.75배 저렴할 수 있다고 언급합니다. 국내에서도 퓨리오사AI·리벨리온 같은 NPU(신경망처리장치) 기업들이 랙 단위 인프라(RebelRack, RebelPOD 등)를 실제 고객에게 공급하는 단계에 들어섰습니다. NPU는 대규모 학습보다 반복적인 추론 연산에 최적화된 구조라 전력당 성능이 높고, 총소유비용(TCO) 관점에서 GPU의 대안으로 거론됩니다.

셋째, 폐쇄형 모델은 가격만이 아니라 '접근성' 리스크도 안고 있습니다. 실제로 지난 6월 미국 정부가 안보를 이유로 Anthropic의 일부 모델(미토스)에 대한 해외 접근을 전격 제한했다가, 이후 페이블 서비스는 복원하는 일이 있었습니다. 저희가 이전 글(모델 하나가 사라진 밤)에서 다룬 것처럼, 이런 수출통제 리스크는 "우리가 쓰는 AI 모델의 스위치를 우리가 쥐고 있지 않다"는 사실을 새삼 드러냅니다. 가격 경쟁력과 별개로, 오픈웨이트 모델과 자체 인프라 조합이 갖는 전략적 가치는 이런 지정학적 변수에서도 나옵니다.

정리하면, 지금 벌어지는 일은 단순히 "중국 모델이 싸다"가 아니라, AI 추론이라는 산업 자체가 학습이라는 자본재 비즈니스에서 전기·통신처럼 원가에 수렴하는 유틸리티 비즈니스로 이동하고 있다는 신호에 가깝습니다. 그리고 전기·통신 같은 유틸리티 비즈니스에서는 결국 그 인프라를 누가 쥐고 있느냐가 마진의 향방을 정합니다.

마진이 사라진 자리에 남는 질문, 인프라는 누가 갖는가

프런티어 API가 가져가던 90%에 가까운 마진이 깎여나가고, GLM-5.2 같은 오픈웨이트 모델이 근접한 성능을 API 대비 훨씬 저렴한 비용으로 낸다면, 비용에 민감한 기업과 연구기관일수록 "이 모델을 API로 계속 살 것인가, 직접 돌릴 것인가"를 진지하게 계산기 두드려 볼 시점이 온 것입니다.

문제는 앞서 살펴본 것처럼 그 계산이 간단하지 않다는 데 있습니다. GLM-5.2급 모델을 제대로 돌리려면 수백 GB에서 1TB가 넘는 메모리를 얹은 멀티 GPU 클러스터가 필요하고, 그만큼 GPU는 좁은 공간에서 훨씬 뜨거워집니다. API 사용료로 지불하던 마진을 아끼는 대신, 이제는 그 GPU들을 24시간 안정적으로, 소음과 발열 걱정 없이 돌릴 수 있는 인프라를 직접 책임져야 한다는 뜻입니다.

매니코어소프트의 직접액체냉각(Direct Liquid Cooling, 수랭식) GPU 서버 딥가젯은 정확히 이 지점에서 출발한 제품입니다. 각 발열원을 개별 모듈로 냉각하는 완전 밀폐형 액체냉각 방식으로 외부 공조 설비 없이도 GPU를 최대 성능으로 유지하고, 소음은 100% 가동시에도 최대 60dB 이하 수준으로 억제하며, 운영 비용은 최대 50% 이상 절감할 수 있도록 설계됐습니다. 10개 GPU에 10kW급 초고발열까지 감당하는 6U 랙형 dg5R부터, 소규모 조직도 부담 없이 시작할 수 있는 5U/타워형 dg5W까지, 오픈웨이트 모델을 자체 인프라로 돌릴 조직의 규모에 맞춰 선택할 수 있습니다.

이건 가정이 아니라 저희가 이미 현장에서 직접 확인한 이야기이기도 합니다. 매니코어소프트는 AI EXPO KOREA 2026에서 NVIDIA RTX PRO 6000 GPU 8장을 얹은 단 한 대의 딥가젯 dg5R 위에 GLM-5.1(구동 조건은 GLM-5.2와 다르지 않습니다)을 올려 현장에서 라이브로 구동하는 시연을 진행했습니다. Claude Code 하네스에 연동해 실시간으로 게임을 개발하는 데모였는데, 클라우드 Opus를 쓸 때 못지않게 부드럽게 코드를 작성해내는 모습에 관람객들이 놀랐고, 그만한 GPU를 풀가동하면서도 소음 없이 조용하게 안정적으로 돌아가는 모습에 한 번 더 놀랐습니다.

결국 GLM-5.2가 던진 질문은 "어떤 모델이 더 뛰어난가"가 아니라 "그 모델이 만들어내는 마진을, 프런티어 랩이 가져갈 것인가 우리가 가져갈 것인가"입니다. 그 답을 자체 인프라 쪽으로 정한 조직이라면, 그 인프라를 안정적이고 경제적으로 운영하는 문제는 저희 매니코어소프트 딥가젯팀과 이야기를 나눠보시길 권해드립니다.