AI 클러스터 구축 사례 - 서버 한 대에서 GPU 클러스터까지, HD한국조선해양이 매니코어소프트와 5년간 함께한 이유

프롤로그: 배를 만드는 회사에 왜 GPU 클러스터가 필요한가요?

배를 설계하려면 유체역학·구조해석 시뮬레이션이 필요합니다. 실물 모델로 풍동 실험을 하는 대신 소프트웨어로 대체하는 게 업계 표준입니다. 문제는 이런 시뮬레이션에 GPU 가속이 쓰이기 시작하면서, 연산 속도는 빨라졌지만 그만큼 다뤄야 할 발열도 함께 커졌다는 점입니다. 최근에는 여기에 AI 모델 학습까지 더해지면서, 설계 조직 하나가 감당해야 할 연산량 자체가 빠르게 늘고 있습니다.

GPU 한 장의 발열량은 실제로 가파르게 치솟고 있습니다. 2017년 V100이 300W였던 것이 2022년 H100 700W, 2024년 B200 1,200W까지 올랐습니다. 공랭식 냉각의 한계선은 통상 600W 안팎으로 알려져 있어, 이 지점을 넘어서는 순간부터 액체냉각은 선택이 아니라 필수가 됩니다.

1. 서버 한 대일 땐 보이지 않던 것 (2021) 

HD한국조선해양이 처음 매니코어소프트를 찾은 것도 이 지점이었습니다. 연구소에서 상용 CAE 소프트웨어에 GPU 가속을 붙이자 예상대로 발열이 뒤따랐고, 기대만큼 속도가 나지 않는 스로틀링이 발목을 잡았습니다. 이때 해석용으로 들인 것이 딥가젯 dg4F 였습니다. 

도입한 딥가젯 서버는 A100 GPU 9장을 한 대에 장착한 구성이었습니다. 동급 대안이던 8기 구성 제품보다 GPU를 한 장 더 넣은 만큼, 발열 부담도 그만큼 컸습니다. 하지만 딥가젯의 액체냉각 구조 덕분에 GPU를 한 장 더 태우고도 스로틀링 없이 안정적으로 돌아갔습니다.

문제는 발열만이 아니었습니다. 당시 고밀도 GPU 서버는 대부분 팬 소리가 비행기 이륙 수준이라, 귀마개 없이는 옆에서 일하기도 어려운 수준이었습니다. 이 서버는 딥가젯의 액체냉각 구조 덕에 훨씬 조용했습니다. 별도 서버실 없이 사무실 한켠에 두고 전원만 연결하면 그걸로 끝이었던 것도 도입에 결정적 역할을 한 이유이기도 합니다. 네트워크를 따로 구성할 것도, 스토리지를 연동할 것도, 작업 스케줄러를 고민할 것도 없었습니다.

2. 규모가 커질수록 벌어진 격차 (2023~2025) 

이후 분당 GRC와 울산 두 거점으로 서버 도입이 확대됐고, 이어 기존 인프라의 증설도 진행됐습니다. 서버 대수가 늘어날수록 "서버 개별 성능"보다 "서버들을 어떻게 하나로 묶을 것인가"의 비중이 조금씩 커지기 시작한 시기였습니다.

그리고 2025년 6월, 학습용 고성능 GPU 클러스터 구축을 위한 턴키 계약이 체결됐습니다. 엔비디아 고성능 GPU를 탑재한 서버와 고속 네트워크, 대용량 스토리지를 하나로 연결한 본격적인 AI 클러스터 구축 프로젝트였습니다. 단순히 GPU 서버 몇 대를 들여놓는 게 아니라, 컴퓨팅·네트워크·스토리지·관리 네트워크가 유기적으로 맞물려야 하는 작업이었습니다. 

3. GPU가 8분의 1의 힘만 내고 있었던 이유

구성이 복잡해질수록, 개별 부품들을 하나의 시스템으로 조율하는 과정에서 시행착오가 반복됐습니다. GPU 노드를 늘릴수록 오히려 데이터 전송 효율이 떨어지는 현상이 나타난 것입니다. 특정 하드웨어 조합에서 인식 오류가 발생하며, PCIe 레인이 설계값인 x16에서 x2로 급감하는 문제가 반복됐습니다. 단순 계산으로도 이론상 대역폭의 8분의 1 수준으로 떨어진다는 의미로, 수억 원대 GPU 서버를 도입하고도 실제로는 스펙의 일부만 활용하는 상황이었습니다.

글로벌 벤더의 지원 체계는 표준 구성에서의 장애 대응에는 강했지만, 이런 미세한 현장 조합 이슈 —특정 펌웨어 버전, 특정 슬롯 배치, 특정 워크로드 패턴이 겹쳐야 재현되는 문제— 를 원격으로 잡아내기엔 대응 속도와 현장 밀착도가 부족했습니다. 이러한 상황에서는 티켓을 열고 회신을 기다리는 동안 연구 일정은 계속 밀릴 수 밖에 없습니다.

매니코어소프트 엔지니어링팀은 GPU 서버 공급과 동시에 현장에 상주하며 문제를 하드웨어-펌웨어-드라이버 세 개 층위로 나눠 재현했습니다. 고객사와 밀착해 원인을 하나씩 좁혀가는 집중 대응을 통해 레인 협상이 실패하는 지점을 정확히 찾아냈고, 부품 교체와 BIOS 레벨의 PCIe 자원 할당 최적화 튜닝을 함께 적용해 레인 인식을 정상화했습니다. 여기에 100G 네트워크 본딩(다중 링크 결합) 구성으로 노드 간 데이터 전송 속도를 이론적 한계치까지 끌어올렸습니다.

이 대응이 가능했던 배경에는 매니코어소프트가 축적해온 다양한 HPC 구축 경험이 있습니다. GPU 3,000개 이상 설치, 서버 500대 이상 구축·운영, InfiniBand 스위치 64개·포트 1,690개 이상을 구성한 GPU 클러스터 빌드 이력이 그 바탕이었습니다.

여기에 더해, 거점별로 물리적으로 나뉘어 있던 연구 환경을 통합 스케줄러 기반 HPC 스택으로 묶어, 연구원들이 물리적 위치와 무관하게 하나의 시스템으로 자원을 예약·사용할 수 있게 됐습니다.

4. 격차를 메워온 5년 (2026)

이 성장은 한 팀의 반복 구매만으로 이뤄진 건 아니었습니다. 검증된 사례가 사내 여러 팀으로 자연스럽게 소개됐고, 담당 조직이 커지면서 도입 규모도 함께 늘어났습니다. 2026년에는 기존 딥가젯 교체와 신규 AI 인프라 구축이 함께 진행되며, 거래 규모가 전년도 대비 2배 이상으로 커졌습니다. 처음 서버 한 대로 시작했던 것과 비교하면 이제는 수십 배 규모의 인프라를 함께 운영하고 있는 셈입니다.

이 시기 작업은 훨씬 더 정교해졌습니다. dg5R 신형 서버 도입과 함께 스위치 교체로 네트워크 백본을 새로 짰고, AI 플랫폼 전용 네트워크를 별도로 분리해 기존 사내망과 뒤섞이지 않도록 재설계했습니다. 관리망과 서버 하드웨어 관리 포트도 별도 네트워크로 나눠, 장애가 발생했을 때 영향 범위를 최소화할 수 있는 구조로 바꿨습니다.

동시에 기존에 흩어져 있던 GPU 서버들—A100, H100, L40S, RTX 6000 등 여러 세대에 걸친 GPU 장비—을 재배치하고 개조해 네트워크 스토리지에 연결하는 작업도 병행했습니다. 서로 다른 시기에 도입된 이기종 GPU 서버들을 하나의 네트워크·스토리지 체계 안으로 통합하는, 그야말로 AI 인프라 시스템 통합 작업이었습니다. 서버 대수가 늘어날수록, 그리고 조직이 커질수록, 개별 장비의 스펙보다 이걸 하나로 묶어내는 능력의 비중이 계속 커진 것입니다.

5. 결국 문제는 장비 스펙이 아니라, 그 장비가 제 성능을 내게 만드는 일이었다

연구소 개발용 서버 한 대로 시작한 관계는, 규모가 커지면서 반복된 시행착오를 하나씩 풀어내는 과정을 거쳐 어느새 연 수십억 원 규모의 AI 인프라 파트너로 이어졌습니다.

학습용이나 연구용 GPU 인프라 구축을 검토하는 조직이라면 한 번쯤 물어볼 필요가 있습니다. GPU 서버 스펙표는 이미 충분히 좋은데, 그 서버들이 실제로 스펙만큼의 성능을 내고 있는지. 서버 한 대에서 시작된 이 관계는 이제 개별 클러스터를 넘어, 조선업이 AI 인프라 자체를 어떻게 확장해 나갈지에 대한 더 큰 논의로 이어지고 있습니다.