칩은 국산인데 서버는 외산? 국산 NPU로 자율운영 AI 데이터센터를 만드는 법
정부는 2027년 예산안에서 반도체·피지컬AI·AIDC 3대 메가프로젝트와 AI 분야에 21.3조 원을 배정했습니다. 올해보다 97% 넘게 늘어난 규모이고, 국산 AI 데이터센터(AIDC) 생태계 조성에도 5,000억 원이 들어갑니다. 국산 NPU(신경망처리장치)도 양산 단계에 들어서면서, 국산 칩으로 AI 데이터센터를 채우는 그림이 조금씩 현실이 되고 있습니다.
그런데 칩만 국산이면 충분할까요? 지난 9월 한 언론은 이 상황을 "칩은 국산인데 서버는 외산"이라는 제목으로 짚었습니다. 칩이 AI 데이터센터에서 제 역할을 하려면 칩을 담는 서버, 열을 빼는 냉각, 수천 대를 돌리는 운영까지 함께 갖춰져야 하기 때문입니다.
매니코어소프트 박정호 대표는 10월 22일 HARFKO 2026(2026 한국국제냉난방공조전)에서 '국내 서버의 데이터센터 적용 현황과 미래'를 주제로 발표했습니다. 이 글에서는 발표 내용을 바탕으로 국산 서버가 넘어야 할 벽과, 그 해법인 자율운영 AI 데이터센터에 대해 정리했습니다.
국산 NPU만으로는 AI 데이터센터를 만들 수 없다
국산 NPU는 이미 데이터센터 문턱에 와 있습니다. 퓨리오사AI의 2세대 NPU ‘RNGD(레니게이드)’는 올해 양산을 시작해 1차 물량 4,000장을 출하했습니다. 정부도 국산 NPU 기반 데이터센터를 클라우드 서비스로 만드는 K-클라우드 사업을 진행하고 있고, NPU 8,400개 규모의 국내 첫 NPU 전용 컴퓨팅센터도 검토하고 있습니다.
문제는 칩과 데이터센터 사이입니다. 세계 서버 시장에서는 대만 위탁생산업체(ODM)가 클라우드 기업에 직접 공급하는 물량이 이미 절반을 넘었습니다(2026년 2분기 IDC 기준 53.9%). 서버 완제품뿐 아니라 냉각 장치와 전원, 서버를 원격으로 관리하는 칩(BMC)까지 대만·미국 업체 비중이 높습니다.
분야별로 보면 국내 산업의 강점과 과제가 뚜렷합니다.
강점: 메모리와 저장장치는 세계 최고 수준이고, 데이터센터를 짓는 건설 역량도 갖추고 있습니다.
과제: 서버, 냉각, 운영 관리는 아직 해외 의존도가 높습니다. 서버 관리 칩은 약 70%를 대만 한 업체가 공급한다는 업계 추정도 있습니다.
칩도 있고 건물도 지을 수 있는데, 그 사이를 잇는 서버 시스템은 아직 해외에 기대고 있는 셈입니다
국산 NPU 서버의 벽: 격차는 칩이 아니라 연결에서 생긴다
국산 NPU 칩 한 장의 성능은 충분히 경쟁력이 있습니다. 퓨리오사AI RNGD는 카드 한 장에 48GB HBM3 메모리와 초당 1.5TB의 메모리 대역폭을 갖추고, 최대 180W 전력으로 FP8 기준 512TFLOPS를 냅니다. 중형 언어모델 추론은 카드 몇 장으로 충분히 처리할 수 있습니다.
차이는 칩을 여러 장 묶을 때 생깁니다. 엔비디아의 최신 랙 단위 시스템(Vera Rubin NVL72)은 GPU 72장을 칩당 초당 3.6TB 속도로 연결해 하나의 거대한 칩처럼 씁니다. 반면 PCIe 카드 형태의 국산 NPU는 표준 PCIe 5세대로 연결되고, 칩 사이 대역폭은 양방향 초당 128GB 수준입니다. 10배 이상 차이입니다.
이 차이를 메우는 것은 칩 회사가 아니라 NPU 서버를 만드는 회사의 몫입니다. 서버를 만드는 기술은 다섯 단계로 나눌 수 있습니다.
조립·시험: 부품을 사서 조립하고 시험합니다.
냉각·섀시: 서버의 몸체와 냉각 구조를 직접 설계합니다.
연결 보드(PCIe 스위치 보드): 여러 GPU·NPU를 하나로 묶습니다.
메인보드·펌웨어·BMC: 서버의 두뇌와 관리 칩을 설계합니다.
통합 운영·자동화: 여러 서버를 묶어 운영하고 자동화합니다.
국내 서버 업체 상당수는 2~4단계를 대만 기성품에 기대고 있습니다. 위로 갈수록 직접 만들기 어렵지만, 성능과 운영의 차이는 바로 이 단계에서 나옵니다. 연결 보드와 메인보드, 펌웨어를 내재화하는 것이 국산 서버의 다음 과제입니다.
AI 데이터센터, 운영비에서 경쟁력을 만든다
연결 기술을 내재화하는 데는 시간이 걸립니다. 그동안 국산 NPU 서버가 경쟁력을 만들 수 있는 곳은 어디일까요? 답은 비용, 그중에서도 운영비에 있습니다.
AI 데이터센터의 경쟁력은 결국 토큰 하나를 얼마나 싸게 만드느냐로 모입니다. 골드만삭스는 2030년 월간 토큰 소비량이 12경 개에 이르러, 지금보다 약 24배 늘어날 것으로 내다봤습니다. 토큰 생산 효율은 이렇게 정리할 수 있습니다.
분자인 칩 성능을 끌어올리는 데 시간이 걸린다면, 분모인 비용을 줄여 경쟁력을 만들 수 있습니다. 그리고 분모 가운데 운영비는 앞으로 점점 커질 항목입니다.
장애가 일상이 됩니다: 메타가 Llama 3를 학습한 54일 동안 예상치 못한 중단이 419번, 약 3시간에 한 번꼴로 일어났습니다. 서버가 수천에서 수만 대가 되면 사람이 하나하나 고칠 수 없습니다.
AI 데이터센터가 지방으로 갑니다: 2024년 8월부터 2026년 3월까지 수도권 데이터센터 전력 공급 신청 522건 중 최종 승인은 10건(1.9%)에 그쳤습니다. 2027년 2월 시행되는 AI 데이터센터 특별법은 비수도권 데이터센터의 전력계통영향평가를 면제합니다.
지방에는 사람이 부족합니다: 전력을 따라 지방으로 간 데이터센터는 운영 인력을 넉넉히 확보하기 어렵습니다.
앞으로의 AI 데이터센터는 적은 인력으로도 돌아가야 합니다. 사람이 일일이 손대지 않아도 돌아가는 자율운영이 선택이 아니라 필수가 되는 이유입니다.
자율운영을 전제로 설계한 서버의 조건
자율운영은 관제 소프트웨어 하나로 완성되지 않습니다. 서버와 랙의 생김새부터 바뀌어야 합니다. 사람이 고치는 서버에서 로봇이 갈아 끼우는 서버로 넘어가는 것입니다.
로봇이 다룰 수 있는 형상
지금의 서버는 뒤쪽에 전원 케이블과 냉각수 배관, 광케이블이 얽혀 있어 사람 손이 필요합니다. 자율운영 AI 데이터센터에서는 전원·냉각수·광을 랙 뒤에서 한 번에 꽂고 빼는 블라인드 메이트(blind mate) 구조가 기본이 됩니다. OCP Open Rack v3 같은 개방형 랙 표준이 이런 연결 방식을 담고 있고, 해외에서는 소프트뱅크가 로봇 친화 랙을 AI 데이터센터에서 시험하고 있습니다. 서버는 얇은 1OU 크기로 만들어 랙 밀도는 높이고, 한 번에 교체하는 단위는 줄입니다.
무상태(stateless) 서버
빼고 넣기가 쉬워도 교체 후 복구에 시간이 걸리면 소용이 없습니다. 그래서 데이터와 설정을 서버 안이 아니라 서버 밖에 둡니다. 서버는 계산만 하고, 고장 나면 로봇이 빼낸 뒤 새 서버를 넣으면 곧바로 같은 일을 이어받습니다. 고치는 대신 바꾸는, 교체가 곧 복구가 되는 구조입니다.
칩을 직접 식히는 액체냉각
데이터센터 냉각 방식도 공기 중심에서 액체 중심으로 바뀌고 있습니다. 칩에 냉각판(콜드플레이트)을 붙여 냉각수로 열을 바로 빼내는 방식입니다. 공기 의존을 줄이면 같은 공간에 더 많은 칩을 넣을 수 있고, 칩 온도가 일정해 성능도 안정적으로 유지됩니다. 서버가 45°C 냉각수를 받아들일 수 있으면 냉동기 대신 바깥 공기로 열을 식히는 시간이 크게 늘어납니다. ASHRAE의 50MW 설계 예시에서는 이 방식으로 PUE가 1.40에서 1.10까지 낮아집니다.
자율운영 소프트웨어
센서로 온도·유량·전력을 실시간으로 보고, 이상을 감지하면 스스로 대응합니다. 펌프가 멈추거나 누수가 생기거나 정전이 됐을 때 서버와 데이터센터 냉각 시스템이 어떤 순서로 움직일지도 미리 정해 둡니다.
공랭으로 충분한 NPU를 왜 액체냉각할까?
보통 NPU는 최신 GPU보다 열이 훨씬 적어, 지금은 일반 공랭 랙에서도 충분히 돌아갑니다. 하지만 같은 공간과 전력에서 더 많은 토큰을 만들려면 랙 하나에 더 많은 칩을 담는 고밀도 구성이 필요합니다. 여기에 칩 성능이 오르면 전력과 열도 함께 늘어납니다. 공랭은 국산 NPU를 기존 전산실에 바로 넣는 길이고, 액체냉각은 국산 NPU를 고밀도 자율운영 AI 데이터센터로 가져가는 길입니다.
칩·서버·설비·운영을 처음부터 함께 설계해야 한다
자율운영 AI 데이터센터는 한 회사의 제품만으로 만들 수 없습니다. 서버가 견디는 냉각수 온도와 데이터센터 냉각 시스템이 만드는 온도, 유량과 압력이 맞아야 하고, 장애가 났을 때 서버와 설비가 함께 움직여야 합니다. 그래서 각자의 역할을 같은 시험 조건에서 함께 검증해야 합니다.
서버사: 요구하는 냉각수 온도·유량·압력손실을 명시하고, 원격 관리와 통채로 교체가 가능한 구조를 갖춥니다.
데이터센터 운영사: 액체냉각을 전제로 배관과 바닥 하중을 설계하고, 기존 센터는 단계적으로 전환합니다. 운영 데이터는 Redfish·OpenBMC 같은 프로토콜로 모읍니다.
설비사: 서버사와 같은 조건으로 냉각 성능을 검증하고, 펌프 정지·누수·정전 같은 장애 상황의 동작까지 설계합니다.
서버는 이제 칩 사양만으로 평가받지 않습니다. 실제 설치 환경에서 성능을 안정적으로 내는 능력, AI 데이터센터와 함께 설계되고 검증된 결과로 평가받게 됩니다.
매니코어소프트가 가는 길
매니코어소프트는 2012년 슈퍼컴퓨터 '천둥'의 발열 문제를 풀면서 액체냉각 기술을 쌓기 시작했습니다. 그 경험을 서버 크기로 옮긴 것이 딥가젯이고, 지금은 냉각부터 서버, 운영까지 한 사슬로 잇는 작업을 하고 있습니다.
액체냉각: 콜드플레이트와 냉각수분배장치(CDU)를 자체 설계·개발합니다.
서버: GPU·NPU를 탑재하는 액체냉각 서버 딥가젯 dg5W·dg5R을 공급합니다.
랙·클러스터: 대규모 GPU·NPU 클러스터를 랙, CDU, 전력과 함께 구축합니다.
AI 데이터센터 통합 운영: 냉각·전력·서버를 함께 보는 통합 관제와 운영 최적화 기술을 개발하고 있습니다.
지금까지 190곳이 넘는 고객사에 3,000장 이상의 GPU를 구축하고 운영해 왔고, 자사 산출 기준 PUE 1.16을 확보했습니다. 국제 AI 성능 벤치마크 MLPerf Inference v6.1에도 결과를 등재했습니다.
국산 NPU 서버가 AI 데이터센터에서 경쟁력을 가지려면 칩 사양을 넘어 서버, 냉각, 운영이 함께 바뀌어야 합니다. 매니코어소프트는 그 끝에 있는, 사람이 일일이 손대지 않아도 돌아가는 자율운영 AI 데이터센터를 향해 가고 있습니다.