같은 칩인데 10% 느렸다: RTX Pro 6000 SE vs RTX 5090 실측기
87.2와 76.8.
같은 코드로 잰 두 GPU의 FP32 행렬곱 성능(TFLOPS)입니다. 낮은 쪽이 RTX Pro 6000 Blackwell Server Edition(이하 Pro 6000 SE)입니다. RTX 5090과 같은 GB202 칩을 쓰는 서버용 GPU가, 가격이 몇 분의 일인 소비자용 카드보다 10% 느리게 측정됐습니다.
측정 도구: gadget-burn. 매니코어소프트의 GPU 부하·측정 도구입니다. cuBLAS의 hgemm/sgemm/dgemm으로 행렬곱 성능과 전력을 재고, NVML로 측정 시점의 실제 동작 클럭을 읽어 그 클럭의 이론 최대 성능(Rpeak)을 역산합니다. 실측값은 Rpeak 대비 달성률(%)과 함께 적습니다.
600W를 줘도 500W까지만 썼습니다
증상은 두 가지였습니다. FP32 행렬곱이 76.8 TFLOPS로, 비슷한 시기에 잰 RTX 5090의 87.2 TFLOPS보다 낮았습니다. 전력도 이상했습니다. Pro 6000 SE의 보드 전력은 600W까지 설정 가능한데 아무리 부하를 걸어도 소비 전력이 500W 언저리를 넘지 않았습니다.
서버 두 대에서 같은 증상이 나왔으니 개체 불량은 아닙니다. 온도 스로틀링이라면 전력이 치솟았다가 꺾여야 하는데 애초에 500W 위로 올라가지 않았습니다. 무언가가 위에서 누르고 있는 모양새였습니다.
칩을 의심했지만 칩은 오히려 SE가 위였습니다
실리콘부터 확인했습니다. NVIDIA는 GB202 한 칩을 수율에 따라 여러 제품으로 나눠 팝니다.
제품 | ALU(텐서코어) | 부스트 클럭(공식) | 풀칩 대비 |
|---|---|---|---|
GB202 풀칩 | 24,576 (768) | - | 192 SM |
RTX 5090 | 21,760 (680) | 2407MHz | SM 22개 비활성, 약 11% 컷 |
Pro 6000 Max-Q | 24,064 (752) | 2280MHz | SM 4개 비활성, 약 2% 컷 |
Pro 6000 SE | 24,064 (752) | 공란 | SM 4개 비활성, 약 2% 컷 |
출처: NVIDIA RTX Blackwell·RTX Blackwell PRO 아키텍처 화이트페이퍼
RTX 5090이 풀칩에서 11%를 잘라낸 칩인 반면 Pro 6000 계열은 2%만 잘랐습니다. 칩 서열로는 Pro 6000 SE가 분명히 위입니다. SE 데이터시트와 제품 페이지에도 클럭 항목이 없습니다. FP32 성능이 120 TFLOPS라고 공표하면서 그 값을 어떤 클럭으로 계산했는지는 적지 않은 겁니다.
공란은 nvidia-smi가 채워 줬습니다
문서에 없으면 카드에 물어보면 됩니다. nvidia-smi -q가 보고한 Pro 6000 SE의 최대 클럭은 2430MHz였습니다. vBIOS(GPU 기판 펌웨어)에 박힌 상한입니다.
이 숫자는 NVIDIA의 다른 공표치와 맞물립니다. NVIDIA는 SE의 TF32 성능을 234 TFLOPS로 적어 두었는데 역산하면 24,064 × 4 × 2430MHz = 233.9 TFLOPS. 우리가 읽은 클럭과 정확히 일치합니다. 반면 공표 FP32 120 TFLOPS는 2430MHz로 계산하면 117이 나와 3 TFLOPS가 비고, Exxact 같은 벤더 스펙시트는 아예 117로 적습니다. 공표치끼리도 하나의 클럭으로 재현되지 않는 셈입니다.
GB202 한 칩에서 나온 네 제품. ALU 차이는 2~11%인데 성능을 정하는 것은 클럭 정책입니다. SE만 공식 클럭이 비어 있고, nvidia-smi 실측은 2430MHz입니다.
클럭 상한을 알고 나니 전력 미스터리부터 풀렸습니다. Pro 6000 SE는 2430MHz에 이미 도달한 상태였습니다. 클럭이 더 오르지 않으니 일이 늘지 않습니다. 일이 늘지 않으니 전력도 500W에 머뭅니다. 전력을 아껴서 느린 게 아니라 클럭이 막혀서 전력이 남는, 예상과 반대 방향의 인과였습니다.
RTX 5090은 반대로 움직였습니다. vBIOS 상한이 3105MHz인데 이 클럭은 우리가 본 범위에서 수랭으로도 닿지 못하는 높이입니다. 카드는 3105MHz를 향해 부스트하다 먼저 전력 벽에 부딪혀 2700MHz대에서 파워리밋을 채우며 돌았습니다. 외부 실측도 같은 구간을 가리킵니다. cuBLAS 커널을 분석한 CloudRift는 대형 SGEMM 실행 중 5090의 클럭을 2700~2940MHz로 기록했습니다.
같은 풀로드에서 부딪히는 벽이 다릅니다. Pro 6000 SE는 클럭 상한(2430MHz)에 먼저 닿아 전력이 500W에서 남고, RTX 5090은 파워리밋(600W)에 먼저 닿아 클럭이 2700MHz대에 묶입니다. 점이 실측값, 곡선은 모식 경로입니다.
그럼 성능은 설명이 될까요. 측정 시점의 실제 클럭으로 Rpeak를 다시 계산했습니다.
FP32 | Pro 6000 SE | RTX 5090 |
|---|---|---|
측정 시점 동작 클럭 | 2422MHz | 2745MHz |
그 클럭의 Rpeak | 117 TFLOPS | 120 TFLOPS |
실측 | 76.8 TFLOPS | 87.2 TFLOPS |
달성률 | 약 66% | 약 73% |
보드 전력 | 약 500W | 600W(파워리밋) |
달성률이 7%포인트 차이가 납니다.
남은 7%포인트는 메모리 클럭이었습니다
단서는 달성률의 절대값입니다. 두 카드 모두 FP32에서 60%대 후반에서 70%대 초반에 머물렀습니다. 충분히 큰 FP32 행렬곱이 연산 유닛보다 메모리 대역폭에 먼저 걸린다는 신호입니다.
두 카드 모두 512bit GDDR7로 버스 폭은 같습니다. 다른 것은 클럭입니다. nvidia-smi 기준 최대 메모리 클럭이 RTX 5090은 14,001MHz, Pro 6000 SE는 12,481MHz. 공표 대역폭으로도 1,792GB/s 대 1,597GB/s, 약 12% 차이입니다. 대역폭이 병목인 구간에서 메모리 클럭이 높은 쪽의 달성률이 높게 나온 것과 앞뒤가 맞습니다.
FP16은 칩 서열대로 나왔습니다
메모리가 병목이라면 데이터 크기가 절반인 FP16에서는 결과가 달라져야 합니다. 실제로 달라졌습니다.
FP16(텐서코어, FP16 누산) | Pro 6000 SE | RTX 5090 |
|---|---|---|
측정 시점 클럭의 Rpeak | 466 TFLOPS (@2422MHz) | 440 TFLOPS (@2530MHz) |
실측 | 465 TFLOPS | 430 TFLOPS |
달성률 | 약 99% | 약 97% |
달성률 99%는 메모리가 아니라 ALU가 병목인 상태입니다. 이 구간에서는 칩 서열대로 Pro 6000 SE가 이깁니다. 딥러닝에서 주로 쓰는 저정밀 연산이라면 이 카드는 제값을 합니다.
어느 쪽이 좋은지는 워크로드가 정합니다
이 실측을 구매 판단으로 옮기면 이렇습니다. (단, 여기서 말하는 순위는 행렬곱(GEMM) 기준입니다.)
FP32 단정밀도 행렬곱 위주이고 메모리 32GB로 충분하다면, 실측 기준 RTX 5090이 빠릅니다. FP16/BF16 중심의 딥러닝 학습·추론과 대형 모델 서빙이라면 Pro 6000 SE입니다. 저정밀 실측에서 칩 서열대로 앞서고, 96GB 메모리와 서버 폼팩터는 5090으로 대체가 안 됩니다.
최근 잰 HGX B200 서버(GPU당 TDP 1000W 설정)에서도 같은 패턴을 봤습니다. nvidia-smi가 보고한 클럭 상한 1965MHz, 풀로드 실측 전력은 900W대. 24시간으로 항상 동작하고 있는 서버에서 보수적인 클럭 상한은 결함이 아니라 설계 목적에 가깝습니다. 팬 없이 섀시 공조에 기대는 패시브 쿨링과 장기 무정지 운용을 전제하면 이해되는 선택입니다. 게이밍 GPU를 장기간 서버에서 안정적으로 사용하려면 액체냉각이 필수라는 생각도 듭니다.
매니코어소프트 AI Infra R&D 팀.