국산 액체냉각 AI 서버 딥가젯 dg5W MLPerf GPU 4장급 1위
글로벌 제조사를 앞선 매니코어소프트의 자체 액체냉각 기술
매니코어소프트의 자체 액체냉각 기술을 적용한 AI 서버가 국제 성능 평가에서 글로벌 제조사 서버를 앞섰습니다. 지난 9월 16일(현지시간) 공개된 'MLPerf Inference v6.1'에서 액체냉각 서버 '딥가젯 dg5W'는 실제 서비스 조건의 처리량에서 GPU 4장급 서버 가운데 1위를 기록했습니다.
MLPerf Inference v6.1은 엔비디아, 구글, 델, HPE, 시스코 등 역대 가장 많은 30개 기관이 참가한 평가입니다. 같은 GPU를 쓴 글로벌 제조사 서버와 비교하면, 가진 성능을 실제 서비스에서 얼마나 유지하는지를 나타내는 성능 유지율도 dg5W가 가장 높았습니다. PCIe 카드형 GPU를 쓴 액체냉각 서버가 MLPerf에 등재된 것도 글로벌 제조사를 포함해 dg5W가 처음입니다.
한눈에 보는 dg5W의 AI 성능 평가 결과
MLPerf는 국제 공인 AI 성능 평가입니다
MLPerf는 125개 이상의 기업·대학·연구기관이 참여하는 컨소시엄 MLCommons가 주관합니다. 참가 기관은 모두 같은 AI 모델, 같은 정확도 기준으로 성능을 측정해 제출하고, 제출한 결과는 다른 참가 기관들의 검증을 거칩니다. 검증을 통과한 결과만 MLCommons 홈페이지에 공개됩니다.
제조사가 자체적으로 측정해 발표하는 수치와 달리, 같은 조건에서 측정하고 제3자의 검증까지 거친 기록이어서 서버끼리 직접 비교할 수 있습니다. dg5W의 결과도 이 검증을 통과해 MLCommons의 공식 결과로 공개됐습니다.
① GPU 4장급 서버 중 처리량 1위
생성형 AI는 글을 '토큰'이라는 단위로 처리합니다. 1초에 처리하는 토큰 수가 많을수록 더 많은 요청에 응답할 수 있습니다.
dg5W는 메타의 언어모델 Llama 3.1 8B 평가에서 1초에 약 2만 4,500토큰을 처리했습니다.
1초에 약 190건의 요청을 처리합니다.
하루로 환산하면 서버 1대가 약 1,640만 건을 처리하는 규모입니다.
이용자 요청이 연속으로 들어오는 실제 서비스 조건에서, 이번 평가에 제출된 GPU 4장급 서버 6종 가운데 가장 높은 처리량입니다. 같은 GPU 4장을 쓴 글로벌 제조사 서버도 앞섰습니다.
② 같은 GPU를 쓴 서버 중 성능 유지율 1위
MLPerf는 두 가지 조건에서 처리량을 측정합니다.
Offline: 응답 시간 제한 없이 측정한 최대 처리량
Server: 요청이 연속으로 들어오는 실제 서비스 조건. 응답 시간 기준(첫 응답 2초 이내, 토큰 1개당 0.1초 이내)을 지켜야 유효한 결과로 인정됩니다.
응답 시간 기준을 지켜야 하는 Server 조건에서는 처리량이 Offline보다 낮게 나오는 것이 일반적입니다. 두 수치의 비율은 서버가 가진 최대 성능을 실제 서비스에서 얼마나 쓸 수 있는지를 보여줍니다.
dg5W는 이 비율이 99.99%로, 같은 GPU를 쓴 서버 4종 가운데 가장 높습니다. 글로벌 제조사 서버 3종은 97.2~98.3%였습니다.
4종의 서버는 모두 같은 GPU를 탑재했습니다. 차이는 냉각 방식에 있습니다. 나머지 3종이 공랭식인 반면, dg5W는 액체냉각으로 GPU를 식힙니다.
③ PCIe 카드형 GPU 액체냉각 서버, 세계 최초 등재
GPU는 열이 많이 나는 부품입니다. 이 열을 제때 빼내지 못해 온도가 한계에 이르면, GPU를 보호하기 위해 성능을 자동으로 낮추는 스로틀링(throttling)이 일어납니다.
대부분의 서버는 팬으로 공기를 순환시켜 식히는 공랭식입니다. dg5W는 GPU에 콜드플레이트(냉각판)를 직접 붙이고, 그 안으로 냉각수를 흘려 열을 식히는 액체냉각 서버입니다.
같은 평가 항목에 이 GPU로 제출된 서버 가운데 액체냉각을 적용한 것은 dg5W뿐입니다. dg5W는 서버의 확장 슬롯(PCIe)에 꽂는 카드형 GPU에 액체냉각을 적용했습니다. 이런 서버가 MLPerf Inference에 등재된 것은 글로벌 제조사를 포함해 처음이며, 국산 서버의 액체냉각 등재로도 첫 사례입니다. MLCommons가 공개한 역대 결과를 집계해 확인한 기록입니다.
성능을 뒷받침한 매니코어소프트의 액체냉각 기술
GPU는 엔비디아 제품이고, 같은 GPU는 누구나 구매할 수 있습니다. 서버 제조사의 기술은 그 GPU가 제 성능을 내도록 열을 관리하는 데서 갈립니다. 매니코어소프트의 기술은 이 냉각에 있습니다.
매니코어소프트의 액체냉각은 2012년 서울대학교 슈퍼컴퓨터 '천둥'의 발열 문제를 해결하기 위해 시작됐습니다. 이후 이 기술을 누구나 도입할 수 있는 서버 크기로 옮긴 것이 딥가젯입니다. 2020년에는 딥가젯의 냉각 구조에 대한 특허를 등록했고, 지금까지 대학·연구소·기업 등 190곳 이상에 공급해 왔습니다.이번 결과는 이 액체냉각 기술이 GPU 성능을 손실 없이 끌어낸다는 것을 국제 공인 평가로 확인한 것입니다.
평가는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 실증 지원 사업으로 진행됐고, 시험과 성능 최적화, 국제 심사 대응은 한국정보통신기술협회(TTA)가 맡았습니다.
"고성능 GPU는 해외에서 들여오더라도, 그 성능을 온전히 끌어내는 AI 서버는 국내 기술로 설계할 수 있다는 것을 공개 검증 절차로 확인받았습니다." — 박정호 매니코어소프트 대표
매니코어소프트는 앞으로도 공개 벤치마크를 통해 딥가젯의 성능을 검증받을 예정입니다.