소형 AIDC에 고밀도가 필요한 이유
지난 9월 29일부터 30일까지 포항에서 ‘2026년 데이터센터 기반 AI 산업 기술교류회'가 열렸습니다. 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 주최하고, 포항테크노파크, 경북IT융합산업기술원, 한국정보통신기술협회(TTA), 한동대학교가 함께한 자리입니다. 이 자리에서는 데이터센터 테스트베드와 지역 소형 AI 데이터센터(AIDC) 사업의 현황, 그리고 수요기업의 현장 의견이 공유되었습니다.
이틀 동안 가장 크게 느낀 변화는 하나였습니다. AI 데이터센터가 더 이상 수도권의 대형 시설만을 뜻하지 않는다는 점입니다. 지금까지 국내 데이터센터는 약 60%가 수도권에 몰려 있었습니다 (에너지경제연구원, 2024년 기준). 하지만 AI 인프라는 이제 지역으로, 산업 현장 가까이로, 더 작은 규모로 넓어지고 있습니다. 그리고 규모가 작아질수록 오히려 더 중요해지는 조건이 있습니다. 바로 고밀도입니다.
지역으로 확산되는 소형 AI 데이터센터
이번 교류회에서는 '소형 데이터센터 기반 AI 산업 성장 지원 사업'에 참여한 경북, 강원, 제주 컨소시엄이 각 지역의 사례를 발표했습니다.
경북: 제조 현장과 지역 서비스를 잇는 AI 실증벨트
경북 컨소시엄은 한동대학교의 AI 가속기와 경산 초거대AI클라우드팜을 소형 AIDC로 활용합니다. B200, H200, H100 등의 GPU 자원을 AI 개발기업에 배분합니다. 이를 바탕으로 설비 예지보전, 공정 비전 검사, 스마트팜, 해양 안전, 대규모 행사 안전관리 등 10개 AI 서비스를 현장에서 실증하고 있습니다.
강원: 대학의 GPU를 지역 기업과 함께 쓰는 공동활용 모델
강원 컨소시엄은 강원대학교 강릉캠퍼스와 한림대학교의 GPU를 공동 활용합니다. 디지털헬스, 소재·제조, 안전 세 분야에서 7개 과제를 지원하고 있습니다. 현재 GPU는 26장 규모입니다. 2027년에는 Blackwell GPU를 추가해 30장으로 늘리고, 과제도 최대 12개로 확대할 계획입니다. 강원 지역 기업 수요조사에서 AI 도입 수요가 75.8%로 나타났다는 점도 눈에 띕니다.
제주: 그린에너지 산업에 특화된 소형 AIDC
제주 컨소시엄은 제주 소형 AIDC를 기반으로 그린에너지 분야 AI 서비스 8개를 개발하고 있습니다. 풍력 블레이드 점검, 태양광 패널 이상 검출, ESS 운영 최적화, 스마트팜 에너지 관리 등이 그 예입니다.
세 지역의 공통점은 분명합니다. 대학이나 지역 거점에 GPU 자원을 모으고, 여러 기업이 이를 함께 활용하는 구조입니다. 대형 데이터센터 한 곳이 모든 수요를 받아내는 방식이 아니라, 지역의 산업 현장 가까이에 작은 AI 데이터센터가 자리 잡는 흐름입니다.
소형 AI 데이터센터와 엣지 데이터센터가 늘어나는 이유
이런 흐름은 지역 지원사업에만 해당하는 이야기가 아닙니다. 현장에서 공유된 데이터센터 업계의 목소리도 같은 방향을 가리켰습니다.
AI 데이터센터 공간이 부족합니다
한 데이터센터 운영사 관계자는 국내 AI 데이터센터 수요는 매우 많지만, 실제로 GPU 서버를 넣을 공간을 구하기는 어렵다고 말했습니다. 최근 새로 짓는 데이터센터도 처음부터 고전력 랙을 기준으로 설계하는 추세입니다.데이터센터 전력 확보가 어렵습니다
특히 수도권은 대용량 전력을 새로 끌어오기 어렵습니다. 그래서 작은 규모로 짓고 밀도를 높이는 데이터센터가 늘고 있다는 설명이 이어졌습니다. 전력과 공간의 제약이 오히려 소형 AI 데이터센터를 늘리는 동력이 되고 있는 셈입니다.AI가 필요한 곳이 현장으로 옮겨가고 있습니다
제조 공장, 병원, 농장, 발전소처럼 데이터가 만들어지는 현장 가까이에서 AI를 학습하고 추론하려는 수요가 커지고 있습니다. 엣지 AI와 엣지 컴퓨팅 수요가 늘어날수록, 현장 가까이에 두는 엣지 데이터센터도 더 많아질 것입니다.
해외에서도 데이터센터는 작고 효율적으로
2일차 특강에서는 해외 데이터센터 동향도 소개되었습니다.
미국은 AI 데이터센터 건설 경쟁이 치열합니다. 발표에 따르면 버지니아주에만 수백 개의 데이터센터가 들어서 있습니다. 25만 제곱피트 규모의 시설을 50명 정도가 운영하는 사례도 있다고 합니다. 데이터센터가 커질수록 사람이 아니라 자동화가 운영을 맡고 있다는 뜻입니다.
한편 미국에서는 데이터센터에 대한 지역 주민의 반대도 커지고 있습니다. 전기요금 인상, 소음, 경관 문제가 주된 이유입니다. 이와 달리 일본 홋카이도 이시카리는 재생에너지만으로 데이터센터를 운영합니다. 산업단지와 주거지역을 명확히 나눠 주민과의 갈등도 줄였습니다.
국내외 사례가 공통으로 말하는 것은 같습니다. 앞으로의 데이터센터는 전력과 공간을 덜 쓰고, 사람 손을 덜 타는 방향으로 가야 한다는 것입니다.
소형 AI 데이터센터에 고밀도가 필요한 세가지 이유
규모가 작아진다고 문제가 단순해지지는 않습니다. 오히려 소형 AI 데이터센터에서는 대형 시설보다 제약이 더 뚜렷하게 드러납니다. 소형 AIDC에 고밀도가 필요한 이유도 바로 이 제약에서 나옵니다.
공간: 좁은 곳에 더 많은 GPU 서버를 넣어야 하기 때문입니다
소형 AIDC는 대학 전산실, 지역 센터, 산업단지 안의 제한된 공간에 들어섭니다. 공간을 늘리기 어려운 만큼, 같은 공간에서 더 많은 연산을 내려면 GPU 서버의 밀도를 높일 수밖에 없습니다.연산 수요: 필요한 연산은 계속 늘어나기 때문입니다
지역 기업의 AI 수요도 적지 않습니다. 강원 지역 기업 수요조사에서는 응답 기업의 75.8%가 AI 활용 의향을 밝혔고, 강원 컨소시엄은 2027년에 GPU를 추가로 늘릴 계획입니다. 공간은 그대로인데 연산 수요가 늘어나면, 같은 자리에서 더 많은 연산을 낼 수 있어야 합니다.운영: 관리할 사람이 많지 않기 때문입니다
지역의 소형 AIDC는 대형 데이터센터처럼 전담 운영 인력을 두기 어렵습니다. 장비가 여러 공간에 흩어져 있을수록 관리 부담은 커집니다. 적은 장비로 더 많은 연산을 내는 고밀도 구성은 관리할 대상 자체를 줄여줍니다.
고밀도를 가로막는 두 가지 벽: 발열과 전력
하지만 밀도를 높이는 일은 간단하지 않습니다. GPU 서버를 촘촘하게 넣을수록 두 가지 문제가 함께 커지기 때문입니다.
발열: GPU 서버의 열이 계속 커지고 있습니다
현장에서는 최신 GPU를 기준으로 랙 하나에 75kW 이상의 전력이 필요하다는 이야기가 나왔습니다. 수 kW 수준이던 일반 서버 랙과 비교하면 수십 배에 이르는 수준이고, 이 전력은 대부분 열로 바뀝니다. 이 정도 발열은 기존 공랭 방식만으로는 감당하기 어렵습니다. 그래서 데이터센터 업계는 수랭 방식으로 설계를 바꾸고 있습니다.전력: 냉각에 쓰는 전력이 곧 운영비입니다
열이 많아질수록 이를 식히는 데 드는 전력도 늘어납니다. 데이터센터 냉각에 쓰는 전력은 그대로 운영비가 됩니다. 업계가 수랭 도입을 판단할 때 전력효율지수(PUE)를 핵심 기준으로 보는 이유입니다. 현장에서는 수랭 데이터센터도 실제 운영 환경에서는 PUE가 1.3~1.5 수준이라고 보고 있었습니다. 그만큼 냉각 전력을 줄이는 일이 쉽지 않다는 뜻입니다. 전력이 한정된 소형 AIDC에서는 냉각 전력을 줄여야 그만큼 더 많은 연산에 전력을 쓸 수 있습니다.
결국 소형 AI 데이터센터의 고밀도는 발열과 전력이라는 두 가지 벽을 함께 넘을 수 있을 때 가능해집니다.
GPU 서버 고밀도, 무엇이 갖춰져야 할까
고밀도는 단순히 서버를 빽빽하게 넣는다는 뜻이 아닙니다. 같은 공간에 더 많은 GPU를 넣고도 안정적으로 돌아가게 하려면 다섯 가지가 함께 맞물려야 합니다.
열을 바로 식히는 냉각
GPU 서버의 밀도를 높이면 가장 먼저 부딪히는 벽이 열입니다. 공기로 식히는 방식은 랙당 전력이 높아질수록 팬 소음과 전력 소모가 급격히 늘어납니다. 그래서 고밀도를 구현하려면 공기보다 열을 훨씬 잘 옮기는 액체냉각이 필요합니다. 그중 직접액체냉각(DLC)은 GPU와 CPU처럼 열이 많이 나는 부품에 콜드플레이트를 붙여 열원을 바로 식히는 방식입니다. 기존 서버 형태를 그대로 유지할 수 있어, 공간이 제한된 소형 AIDC에 특히 현실적입니다.규모에 맞춰 확장되는 냉각 구성
소형 AI 데이터센터는 대형 시설처럼 별도의 냉각 플랜트를 갖추기 어렵습니다. 그래서 처음부터 큰 설비를 들이기보다, 서버 단위에서 냉각을 완결하는 구조로 시작하는 것이 현실적입니다. 냉각 설비 공사 없이 서버만 설치해도 고밀도 GPU 연산을 바로 운영할 수 있기 때문입니다. 이후 서버가 늘어나 클러스터 규모로 커지면, CDU(냉각수 분배 장치)를 더해 냉각을 확장하면 됩니다. 이때도 설치 환경에 맞게 공기로 열을 내보낼지(L2A), 시설 냉각수로 내보낼지(L2L)를 고를 수 있어야 합니다.공간에 맞는 서버 설계
한정된 공간에 몇 장의 GPU를 어떤 폼팩터로 넣을 수 있는지가 곧 밀도입니다. 서버 랙이 없는 사무 공간에도 둘 수 있는지, 랙에 넣었을 때 높이와 깊이를 얼마나 차지하는지까지 공간 조건에 맞춰 설계되어야 합니다.전력 효율
같은 연산을 더 적은 전력으로 내야 합니다. 냉각에 들어가는 전력을 줄이면 데이터센터 전체의 PUE가 낮아지고, 제한된 전력 안에서 더 많은 GPU 서버를 운영할 수 있습니다. 또 발열을 안정적으로 제어해야 GPU 클럭이 떨어지지 않아, 같은 전력으로 더 많은 연산을 낼 수 있습니다. 전력 확보가 어려운 소형 AIDC일수록 이 차이가 커집니다.적은 인력으로 관리할 수 있는 운영 환경
밀도가 높아질수록 온도, 유량, 누수 같은 상태를 꼼꼼히 살펴야 합니다. 그런데 소형 AIDC에는 전담 운영 인력이 많지 않습니다. 장비 상태를 자동으로 감시하고 이상을 미리 알려주는 운영 환경이 고밀도의 마지막 조건입니다.
매니코어소프트가 만드는 고밀도 AI 컴퓨팅
매니코어소프트는 슈퍼컴퓨터 '천둥'의 발열 문제를 해결하는 과정에서 액체냉각 기술을 다듬어 왔습니다. 그 경험을 서버 크기로 옮긴 것이 딥가젯입니다. 고밀도에 필요한 다섯 가지 조건 가운데 냉각, 확장, 서버 설계, 전력 효율은 매니코어소프트가 오랫동안 직접 풀어온 영역입니다.
냉각: 자체 개발한 콜드플레이트와 매니폴드 기술로 서버 단위 직접액체냉각(DLC)을 구현합니다.
확장: 딥가젯은 서버 자체에서 냉각을 완결해 별도 냉각 설비 없이 바로 운영할 수 있습니다. 클러스터로 확장할 때는 L2A형과 L2L형 CDU로 냉각 구성을 넓힐 수 있습니다.
서버 설계: dg5W는 AI 워크스테이션과 랙마운트를 겸하고, dg5R은 서버실용 랙마운트로 설계되었습니다. GPU뿐 아니라 NPU 등 이기종 가속기 구성에도 대응합니다.
전력 효율: 액체냉각으로 팬과 냉각에 들어가는 전력을 줄입니다. 또 발열을 안정적으로 제어해 GPU 클럭이 떨어지지 않게 하므로, 같은 전력으로 더 많은 연산을 제공합니다.
매니코어소프트는 자체 관제 소프트웨어 가제티니(Gadgetini)를 통해, 고객이 서버의 온도와 냉각 상태를 실시간으로 확인할 수 있는 환경을 이미 제공하고 있습니다. 다음 단계로 운영 자동화를 준비하며, 적은 인력으로도 관리할 수 있는 AI 인프라로 발전시키고 있습니다.
소형 AI 데이터센터와 엣지 데이터센터는 앞으로 더 많아질 것입니다. 매니코어소프트는 이런 새로운 형태의 AI 데이터센터에서 전력·공간·인력의 병목을 함께 푸는 고밀도 AI 컴퓨팅을 만들어 가고 있습니다.
덧붙여: TTA 테스트베드 실증 사례로 소개된 딥가젯
이번 교류회의 한국정보통신기술협회(TTA) 발표에서는 매니코어소프트 딥가젯 dg5W가 실증 사례로 소개되었습니다. dg5W는 TTA의 친환경·고효율 AI 데이터센터 테스트베드에서 직접액체냉각(DLC) 서버 실증을 마쳤습니다. 또한 국제 AI 성능 벤치마크인 MLPerf Inference v6.1에서 GPU 4장급 서버 처리량 1위를 기록했습니다.
