45°C 냉각수로 GPU를 식힐 수 있을까?
45°C 물은 손에 꽤 뜨겁게 느껴집니다. 그래서 45°C 냉각수로 GPU를 식힌다는 말은 얼핏 모순처럼 들립니다.
NVIDIA는 Rubin 시스템이 최대 45°C 냉각수를 받아도 성능을 유지하도록 설계됐다고 설명합니다. 냉각수는 랙으로 들어갈 때 최대 45°C이고, GPU의 열을 받은 뒤에는 약 55°C로 돌아옵니다.
물이 서버를 지나며 더 뜨거워졌다는 것은 GPU의 열이 냉각수로 옮겨졌다는 뜻입니다.
서버가 45°C 냉각수에서도 GPU를 허용 온도 안에 유지하도록 설계됐다면, 냉각수 온도를 높이는 편이 데이터센터 전체에는 유리합니다. 드라이쿨러를 활용할 수 있는 시간이 늘고, 전력 소비가 큰 칠러는 덜 돌려도 됩니다.
그 이유는 GPU에서 나온 열이 건물 밖까지 이동하는 경로를 따라가면 쉽게 이해할 수 있습니다.
45°C 물이 GPU의 열을 가져가는 원리
냉각수는 식히려는 칩보다 온도가 낮으면 열을 받아갑니다. 사람 손에 차갑게 느껴질 필요는 없습니다. 연산 중인 GPU는 들어오는 냉각수보다 뜨겁기 때문에 열이 GPU에서 냉각수 쪽으로 이동합니다.
직접액체냉각(Direct Liquid Cooling, DLC)은 GPU 위에 콜드플레이트를 밀착시키고 그 안으로 냉각수를 흘립니다. 콜드플레이트가 칩의 열을 물로 옮기면 냉각수는 들어올 때보다 따뜻해져 서버 밖으로 나갑니다.
Rubin의 냉각수가 최대 45°C로 들어가 약 55°C로 돌아오는 것도 같은 원리입니다. 여기서 45°C는 GPU 온도가 아니라 랙 입구에서 잰 냉각수 온도입니다.
다만 냉각수가 따뜻해질수록 GPU와 물의 온도차는 줄어듭니다. 같은 열을 빼내려면 콜드플레이트 구조와 냉각수 유량, 압력까지 그 조건에 맞춰야 합니다. 따라서 45°C 운전은 제조사가 해당 온도에서 성능과 안정성을 검증한 서버에 적용해야 합니다.
GPU의 열은 이렇게 데이터센터 밖으로 나갑니다
서버에서 데워진 냉각수는 CDU(Coolant Distribution Unit)로 돌아갑니다. CDU의 열교환기는 이 열을 냉각 설비 쪽의 별도 회로로 넘깁니다.
두 회로의 물은 서로 섞이지 않습니다. 냉각 설비 쪽으로 넘어간 열은 드라이쿨러나 칠러를 거쳐 바깥 공기로 빠져나갑니다.
OCP 문서에서는 랙과 CDU 사이를 TCS(Technology Cooling System), CDU와 냉각 설비 사이를 FWS(Facility Water System)라고 부릅니다. GPU에서 나온 열은 이 두 회로를 차례로 지나 건물 밖까지 이동합니다.
CDU가 열을 넘기려면 냉각 설비에서 CDU로 들어오는 물이 랙에서 돌아온 냉각수보다 차가워야 합니다. 두 온도 사이에 몇 도의 차이가 필요한지는 CDU 열교환기 성능과 유량에 따라 달라집니다.
같은 45°C라도 재는 곳이 다릅니다
NVIDIA Rubin의 45°C와 ASHRAE의 W45는 숫자는 같지만 측정 위치가 다릅니다.
표기 | 45°C를 재는 곳 | 뜻 |
|---|---|---|
NVIDIA Rubin의 45°C | 랙으로 들어가는 서버 냉각수 | 서버가 성능을 유지하도록 검증한 최대 공급 온도 |
ASHRAE W45 | 시설이 액체냉각 시스템으로 보내는 물 | 시설 냉각수 공급 온도가 최대 45°C인 액체냉각 환경 등급 |
제품 설명의 45°C 지원은 CDU의 어느 쪽인지와 공급·환수 가운데 어느 지점인지를 함께 확인해야 정확한 의미를 알 수 있습니다.
따뜻한 냉각수는 칠러 가동 시간을 줄입니다
드라이쿨러는 자동차 라디에이터처럼 바깥 공기로 물의 열을 내보냅니다. 외기가 30°C인데 서버가 15°C 냉각수를 요구한다면 드라이쿨러만으로 그 온도를 만들 수 없습니다.
이때는 칠러의 압축기를 돌려 물을 더 차갑게 만들어야 합니다. 반대로 서버가 45°C 냉각수를 허용하면 냉각 설비 쪽에서도 더 따뜻한 물로 열을 내보낼 수 있습니다.
그만큼 드라이쿨러만으로 열을 버릴 수 있는 날이 늘고 칠러를 켜는 시간은 줄어듭니다.
ASHRAE는 50MW IT 부하를 가정한 예시에서 7~12°C 냉수와 칠러를 쓰는 설계를 총 70MW(PUE 1.40), 45°C 냉각수와 드라이쿨러를 쓰는 설계를 총 55MW(PUE 1.10)로 비교합니다. 연간 총전력은 약 613GWh와 481GWh로, 두 설계의 차이는 약 132GWh입니다.
그림 3. 같은 50MW IT 부하에서도 칠러가 필요한 냉수식과 45°C 무칠러 설계는 설비 전력에서 큰 차이가 납니다. 자료: ASHRAE, AI Data Center Energy Performance Framework
이 값은 냉각수 온도만 바꿔서 시뮬레이션한 값이 아니라 칠러 제거와 드라이쿨러, 서버 팬과 펌프까지 포함한 시스템 전체 변경 설계를 고려한 값입니다. 실제 절감 폭은 지역 기후와 장비 구성에 따라 달라지므로, 도입 검토에서는 칠러와 팬, 펌프를 합친 연간 전력으로 비교해야 합니다.
도입 전에 확인할 네 가지
45°C 운전 가능 여부는 다음 네 항목으로 판단합니다.
확인할 값 | 이 값으로 알 수 있는 것 |
|---|---|
서버가 허용하는 최대 공급 온도와 액체냉각이 처리하는 열의 비율 | 45°C에서 성능을 유지하는지, 서버실에 공랭 부하가 얼마나 남는지 |
최대 부하의 공급·환수 온도, 유량과 압력 | CDU와 펌프, 배관 용량이 충분한지 |
CDU 열교환에 필요한 두 회로의 온도차 | 서버 냉각수 조건을 맞추려면 냉각 설비 쪽 물을 몇 도로 공급해야 하는지 |
지역의 시간대별 외기 온도와 냉각 설비 전체 전력 | 드라이쿨러만으로 운전할 수 있는 시간과 예상 전기요금 |
서버 안의 모든 부품이 액체로 냉각되는지도 확인해야 합니다. GPU와 CPU만 액체로 식히는 서버는 메모리와 네트워크 부품을 위해 팬과 실내 공조를 계속 사용합니다. 다만 액체가 서버 열의 대부분을 가져가므로 공기가 처리할 열과 필요한 풍량은 크게 줄어듭니다. 남는 공랭 부하는 서버의 액체 열 회수율로 확인해야 합니다.
냉각수 성분이 배관과 콜드플레이트, 밀봉 재료에 맞는지도 장비 수명에 영향을 줍니다. 누수와 펌프 고장에 대비한 감지 장치, 예비 펌프와 안전 정지 조건도 함께 설계해야 합니다.
적정 공급 온도는 서버 성능과 신뢰성 조건을 먼저 통과한 후보 가운데 연간 냉각 전력이 가장 낮은 값으로 정합니다.
45°C 적용은 서버 사양과 냉각 설비가 함께 결정합니다
45°C 냉각수로도 GPU의 열을 빼낼 수 있습니다. 다만 서버가 45°C를 허용하고, CDU와 냉각 설비가 그 열을 건물 밖으로 내보낼 수 있어야 합니다.
매니코어소프트는 2012년부터 액체냉각 솔루션을 공급해 왔습니다. 2017년에는 현재 AI 데이터센터 업계가 주목하는 Warm Water Cooling을 적용한 완성품 액체냉각 서버 딥가젯의 개발을 마쳤고, 2018년부터 본격적으로 판매했습니다. 현재는 콜드플레이트와 액체냉각 서버, CDU, 관제 및 운영 시스템을 직접 개발하며 서버부터 효율적인 냉각 설비까지 함께 설계합니다. GPU 수와 목표 랙 전력만 정해진 초기 단계라도 적용 가능한 냉각 방식과 예상 전력부터 비교할 수 있습니다.