Vera Rubin NVL72: 토큰 10배, 비용 10분의 1의 근거

• 코어위브가 공개한 첫 실측에서 같은 응답성 조건의 DeepSeek-R1 서빙 기준 Vera Rubin NVL72는 GB200 NVL72 대비 메가와트당 토큰 처리량이 최대 10배였다. 엔비디아는 100만 토큰당 비용도 10분의 1이라고 밝혔다. 성능의 단위가 FLOPS에서 와트당 토큰으로 옮겨가고 있다.

• 이 성능은 새 랙 Vera Rubin NVL72에서 나온다. 랙 하나에 Rubin GPU 72개와 Vera CPU 36개를 담아 NVFP4 기준 추론 3.6 EFLOPS를 낸다. 코어위브, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드에서 가동을 시작했다.

• 이 숫자의 절반은 전력과 냉각에서 나온다. 랙 소비전력은 전력 프로파일에 따라 약 190~230kW로 GB300 NVL72(약 140kW)의 1.4~1.6배다. 컴퓨트 트레이와 스위치 트레이에서 팬이 사라져 100% 액체냉각이 됐고 45도 냉각수 설계로 칠러 없는 운전을 겨냥한다.

엔비디아가 공개한 새 컴퓨트 트레이에는 팬이 없습니다. 내부 케이블도 없습니다. 열은 전부 물이 실어 나릅니다.

지난 7월 21일 엔비디아는 Vera Rubin NVL72 랙이 코어위브, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드에서 돌아가기 시작했다고 발표했습니다. 발표가 앞세운 숫자는 메가와트당 토큰 처리량 10배와 100만 토큰당 비용 10분의 1입니다. 연산 성능 수치는 그다음에 나옵니다.

이 글에서는 1월 CES 2026부터 이번 7월 발표까지 공개된 자료로 Vera Rubin NVL72의 실제 사양을 정리합니다. 그 위에서 세 가지를 짚습니다. 왜 성능 지표가 FLOPS에서 와트당 토큰으로 옮겨갔는지. 왜 랙이 설계 단위가 됐는지. 이 랙이 데이터센터의 전력과 냉각에 무엇을 요구하는지. 저는 이번 세대를 이렇게 읽습니다. 엔비디아의 신제품 발표문은 이제 데이터센터 사양서로 읽어야 합니다.

여섯 칩, 한 제품

엔비디아는 CES 2026에서 Rubin 플랫폼을 구성하는 칩 여섯 개를 한꺼번에 공개했습니다. Rubin GPU, Vera CPU, NVLink 6 스위치, ConnectX-9 NIC, BlueField-4 DPU, Spectrum-6 이더넷 스위치입니다. 여섯 칩은 VR NVL72라는 한 랙으로 묶여 팔립니다. 랙 하나에 Rubin GPU 72개, Vera CPU 36개, NVLink 6 스위치 칩 36개(스위치 트레이 9개)가 들어갑니다.

이름은 한 차례 바뀌었습니다. GTC 2025에서 이 랙은 VR NVL144로 불렸습니다. GPU 패키지 하나에 컴퓨트 다이가 두 개라 다이 수로 세면 144가 되기 때문입니다. 2025년 말 엔비디아는 패키지 기준 NVL72로 이름을 되돌렸고 CES 2026에서 공식화했습니다. 두 이름은 같은 시스템입니다.

숫자로 보면 전 세대와의 거리가 분명합니다.

수치 출처는 엔비디아 공표 사양과 SemiAnalysis 분석입니다. 랙 단위 성능은 엔비디아가 예비 사양이라고 밝힌 값입니다.

성능 수치보다 눈여겨볼 대목은 고객이 손댈 수 있는 범위입니다. 이번 세대에서 구매자가 자체 설계로 바꿀 수 있는 부분은 전원 모듈과 관리 모듈 정도만 남았습니다. 하이퍼스케일러조차 나머지는 엔비디아 설계 그대로 받습니다. 컴퓨트의 단위가 칩에서 랙으로 넘어왔고 그 랙의 설계권은 엔비디아가 쥐고 있습니다.

대역폭에 몰아준 설계

Rubin GPU만 떼어 보면 설계 의도가 읽힙니다. NVFP4는 엔비디아의 4비트 부동소수점 형식입니다. Rubin의 FP4 학습 성능은 35 PFLOPS로 GB200의 3.5배입니다. 추론용으로는 50 PFLOPS를 내세우는데 3세대 트랜스포머 엔진의 적응형 압축이 데이터 속 0을 실시간으로 걸러낼 때 도달하는 값입니다. 텐서에 0이 많을수록 50에 가까워지고 적을수록 35에 머뭅니다. 반면 BF16 성능은 1.6배 늘어나는 데 그쳤습니다. 저정밀 연산에 실리콘을 몰아준 셈입니다.

메모리 사양은 방향이 더 뚜렷합니다. HBM4 용량은 288GB로 GB300과 같은데 대역폭은 22TB/s로 2.75배입니다. 이 22TB/s는 세 차례 상향된 결과입니다. GTC 2025 시점의 목표는 13TB/s였습니다. 2025년 9월 20.5TB/s로 오르고 CES 2026에서 22TB/s에 이르렀습니다. AMD MI450 계열의 메모리 대역폭을 의식해 JEDEC 표준을 웃도는 핀 속도를 메모리 업체에 요구한 결과입니다. 초기 출하 물량은 20TB/s 부근일 가능성도 있습니다.

용량은 그대로 두고 대역폭만 키운 선택은 추론 병목이 어디인지 말해 줍니다. 디코드 단계에서 GPU는 매 토큰마다 가중치와 KV 캐시를 HBM에서 읽습니다. 연산기보다 메모리가 먼저 마릅니다. 이 병목 구조는 AI 토큰 한 개가 데이터센터를 통과하는 길에서 자세히 다뤘습니다.

Vera CPU는 커스텀 Arm 코어(Olympus) 88개에 SMT를 더해 176스레드를 냅니다. SOCAMM 모듈로 LPDDR5X 최대 1.5TB를 달고 GPU와는 1.8TB/s NVLink-C2C로 붙습니다. 랙 전체로는 36개가 모여 3,168코어, LPDDR5X 54TB를 이룹니다.

케이블과 팬이 사라진 트레이

설계 변화가 가장 잘 드러나는 곳은 컴퓨트 트레이 내부입니다.

GB200과 GB300 조립에서 말썽이 잦았던 부품은 트레이 내부를 가로지르는 플라이오버 케이블이었습니다. 조립 중 쉽게 손상돼 고장 지점 노릇을 했습니다. VR NVL72는 트레이 한가운데에 미드플레인 기판을 세우고 모든 모듈을 보드-보드 커넥터로 직결해 내부 케이블을 없앴습니다. 엔비디아는 트레이 조립 시간이 2시간에서 분 단위로 줄었다고 밝혔습니다. CES 키노트에서는 약 5분, 7월 발표문에서는 1분이라고 말합니다.

냉각은 한 단계 더 나갔습니다. GB200과 GB300의 컴퓨트 트레이는 열의 약 85%를 액체가, 나머지 15%를 공기가 처리하는 혼합 구조였습니다. VR NVL72는 컴퓨트 트레이와 스위치 트레이 모두 100% 직접액체냉각(Direct Liquid Cooling, DLC)입니다. 수랭 또는 수랭식이라고도 부르는 그 방식입니다. 트레이에서 팬이 사라졌고 랙이 요구하는 공기 흐름은 전 세대보다 약 80% 줄었습니다.

콜드플레이트도 다시 설계됐습니다. Rubin GPU용 콜드플레이트는 내부 유로 간격을 150마이크로미터에서 100마이크로미터로 좁힌 마이크로채널 구조입니다. 액체금속 서멀 인터페이스의 부식을 막으려고 접촉면에 금도금을 올렸습니다. 조립 공정도 달라져 콜드플레이트가 보드 조립(L6) 단계에서 모듈에 먼저 붙습니다. 전원을 배분하는 두꺼운 금속 도체인 버스바(busbar)도 액체로 식힙니다. 정격 전류가 5,000A 이상으로 GB200·GB300의 2,900A보다 훨씬 높아 팬 없이는 버틸 수 없는 발열입니다. 냉각이 부대설비 목록에서 부품 명세서(BOM) 항목으로 자리를 옮겼습니다.

랙 하나에 230kW

Rubin GPU의 TDP는 최대 2,300W입니다. 엔비디아는 두 가지 전력 프로파일을 기본 제공합니다. 와트당 성능을 우선하는 Max-Q가 GPU당 약 1,800W, 절대 성능을 우선하는 Max-P가 2,300W입니다. 랙 전력은 Max-Q 약 190kW, Max-P 약 230kW 수준입니다. 직전 세대 GB300 NVL72의 약 140kW와 비교하면 1.4~1.6배입니다. GB200 NVL72의 약 120kW에 비하면 두 배 가까이 늘었습니다.

전력 인입부터 달라집니다. 파워셸프는 110kW급 4대(3+1 이중화)로 바뀌었고 랙에 꽂는 전원 케이블(whip) 정격은 60A에서 100A로 올랐습니다. 컴퓨트 트레이 안에서는 Rubin GPU 2개와 Vera CPU 1개를 얹은 Strata 보드 한 장이 약 4,800W를 씁니다. 보드 한 장이 일반 기업 서버 랙 절반 수준의 전력을 소화하는 셈입니다.

여기서 사업자가 계산할 대목이 있습니다. Max-P로 올리면 랙 전력이 20% 늘지만 성능 이득은 그에 못 미칩니다. 확보 전력이 정해진 사업자라면 Max-Q가 합리적입니다. 엔비디아가 전력 프로파일을 제품 사양의 앞자리에 세운 것 자체가 시장의 제약 조건이 무엇인지 보여줍니다.

45도 냉각수

230kW 랙이 뿜는 열은 결국 건물 밖으로 버려야 합니다. 엔비디아의 답은 따뜻한 물입니다. Vera Rubin은 냉각수 입수 온도 45도 설계를 지원합니다. 엔비디아는 이 온도라면 압축식 냉동기(칠러) 없이 드라이쿨러만으로 열을 버릴 수 있고 폐루프 액체냉각과 결합하면 신규 AI 데이터센터 기준 메가와트당 연간 수백만 갤런의 물을 아낄 수 있다고 발표했습니다. 냉동 사이클에 쓰던 전기와 증발 냉각에 쓰던 물을 함께 줄이는 설계입니다.

매니코어소프트에게는 익숙한 온도입니다. 2017년부터 판매한 모든 제품에 45도 냉각수 설계를 기본값으로 적용해 왔습니다.

대가가 있습니다. 칩이 버티는 최고 온도는 정해져 있어서 입수 온도를 올려도 회수 온도 상한은 그만큼 오르지 않고 델타T만 좁아집니다. SemiAnalysis는 이 상한을 65도 부근으로 추정합니다. 엔비디아가 냉각 세부 사양을 공개하지 않은 상태에서 나온 추정치입니다. 좁아진 델타T로 같은 열을 버티려면 물을 더 빨리 돌려야 합니다. 또 다른 분석에서는 랙 냉각 루프의 유량이 전 세대의 약 2배가 된다고 분석했습니다. 퀵 디스커넥트와 매니폴드, 펌프까지 유로 전체가 커집니다. 랙당 열이 두 배가 되면 CDU도 따라 커집니다. 현재 2MW급인 인로우 CDU는 시설형 3~6MW급으로 올라갈 전망입니다.

인프라를 설계하는 입장에서 이 대목의 결론은 하나입니다. 냉각 용량 계획이 곧 컴퓨트 용량 계획입니다. 시설이 확보한 유량과 열 방출 능력이 그 시설에 들어갈 GPU 수를 정합니다. 전력과 그에 맞는 냉각을 먼저 확보한 뒤에 랙을 주문해야 합니다.

와트당 토큰 10배

7월 21일 발표로 돌아가겠습니다. 코어위브는 6월에 전력, 냉각, 네트워크, 컴퓨트를 포함한 랙 전체 검증을 마쳤고 이번에 첫 워크로드 실측을 공개했습니다. DeepSeek-R1 서빙에서 사용자 응답성을 같은 수준으로 고정했을 때 GB200 NVL72 대비 메가와트당 토큰 처리량이 최대 10배였다는 결과입니다. 절대 처리량과 상세 구성은 공개되지 않았고 엔비디아 파트너의 자체 측정이라는 한계도 있습니다. 그래도 시사점은 뚜렷합니다. 새 세대의 첫 공식 성적표가 메가와트당 토큰 단위로 나왔습니다.

이 지표 전환에는 이유가 있습니다. 지금 AI 인프라의 상수는 전력입니다. 신규 용량이 전력망 접속에 묶인 시장에서는 같은 메가와트로 토큰을 몇 개 만드느냐가 곧 매출입니다. 엔비디아가 함께 내세운 100만 토큰당 비용 10분의 1이라는 주장도 같은 문장의 다른 표현입니다.

이 방향을 보여주는 거래도 있습니다. 엔비디아는 2025년 12월 약 200억 달러를 들여 Groq 추론 기술의 비독점 라이선스와 핵심 인력을 확보했습니다. GTC 2026에서는 그 결과물인 Groq 3세대 LPU를 공개했습니다. 삼성 파운드리가 제조하는 이 칩은 온칩 SRAM 중심 구조로 토큰 생성(디코드)에 특화됐습니다. 오케스트레이션 소프트웨어 Dynamo가 프리필은 Rubin에게, 디코드는 LPU에게 나눠 맡깁니다. 엔비디아는 지연에 민감한 서빙에서 Rubin 단독 구성 대비 메가와트당 처리량 최대 35배를 주장합니다. 주장의 검증은 남았지만 방향은 분명합니다. GPU 스펙 경쟁이 와트당 토큰 경쟁으로 바뀌었습니다. 도입을 검토하는 쪽의 계산법도 같이 바뀌어야 합니다. FLOPS 단가보다 확보한 전력으로 뽑아낼 토큰이 기준입니다.

600kW 예고

Vera Rubin은 로드맵의 중간 지점입니다. 다음 세대 Rubin Ultra NVL576은 2027년 하반기 목표로 랙당 소비전력 약 600kW가 예고돼 있습니다. 지금의 두 배가 넘는 이 밀도를 받으려고 엔비디아는 랙 전력 분배 방식을 800V 직류로 바꾸는 작업을 전력 업계와 진행합니다. 전압을 올려야 같은 배선으로 더 큰 전력을 낮은 손실로 나를 수 있기 때문입니다.

문제는 발전 속도 차이입니다. 데이터센터는 설계와 건설에 몇 년이 걸리는데 랙 전력은 세대마다 1.5배에서 3배씩 뜁니다. 2026년에 착공하는 시설이라면 전력과 배관을 2027~2028년 랙 기준으로 잡아야 합니다.

Vera Rubin이 바꾼 질문은 이것입니다. 1메가와트로 토큰을 얼마나 만드는가. 그 답의 절반은 전력과 냉각 설계에 있습니다.

매니코어소프트도 이 전환에 대비하고 있습니다. 칩 하나가 3,000W를 넘는 고발열 GPU와 그 칩이 실리는 서버, 랙을 겨냥해 400kW급 In-Rack CDU와 3MW 이상의 In-Row CDU를 준비하고 있습니다. 초고열유속 조건을 겨냥한 2상 콜드플레이트와 그 냉각 방법도 함께 연구하고 있습니다. 콜드플레이트와 섀시, 매니폴드, 랙, CDU까지 냉각수가 지나는 경로 전체가 개발 범위입니다. 고밀도 랙의 전력과 냉각 구성을 검토 중이라면 문의해주세요.

참고 자료

• NVIDIA 블로그, Vera Rubin 가동과 파트너 실측 발표 (2026. 7. 21.): https://blogs.nvidia.com/blog/vera-rubin/

• NVIDIA, DGX Vera Rubin NVL72 제품 페이지: https://www.nvidia.com/en-us/data-center/dgx-vera-rubin-nvl72/

• NVIDIA, Vera Rubin NVL72 공식 스펙 표(CPU 코어·메모리 랙 합계): https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/

• SemiAnalysis, Vera Rubin: Extreme Co-Design, An Evolution of the Datacenter: https://newsletter.semianalysis.com/p/vera-rubin-extreme-co-design-an-evolution

• Ming-Chi Kuo, VR200 공급망 분석: https://x.com/mingchikuo/status/2008439734536986852

• VideoCardz, NVIDIA Vera Rubin NVL72 detailed (CES 2026): https://videocardz.com/newz/nvidia-vera-rubin-nvl72-detailed-72-gpus-36-cpus-260-tb-s-scale-up-bandwidth

• Tom's Hardware, Rubin Ultra와 600kW Kyber 랙: https://www.tomshardware.com/pc-components/gpus/nvidia-shows-off-rubin-ultra-with-600-000-watt-kyber-racks-and-infrastructure-coming-in-2027

• CNBC, 엔비디아와 Groq의 라이선스 계약 보도: https://www.cnbc.com/2025/12/26/nvidia-groq-deal-is-structured-to-keep-fiction-of-competition-alive.html

• Exxact, NVIDIA GTC 2026 리캡: https://www.exxactcorp.com/blog/news/nvidia-gtc-2026-recap-era-of-tokens-and-inference