일반 데이터센터와의 차이는 AI 작업에 맞춘 구성
일반 데이터센터도 웹 서비스, 업무 프로그램, 저장장치와 네트워크를 운영합니다. AI 데이터센터는 그중 모델 학습·추론에 필요한 연산량, 메모리 대역폭, 장비 간 통신과 발열에 맞춰 구성을 조정한 시설입니다. 모든 장비가 다른 종류로 바뀐다는 뜻은 아닙니다. 학습은 데이터를 바탕으로 모델의 매개변수를 조정하는 과정이고, 추론은 학습한 모델을 이용해 입력에 대한 결과를 내는 과정입니다. 대규모 학습은 여러 가속기의 협업이 중요하며, 추론 서비스는 응답 지연과 동시에 처리할 요청량도 따져야 합니다. 같은 AI 용도라도 작업 규모와 운영 목표에 따라 필요한 설비가 달라집니다.
데이터는 저장장치에서 메모리와 연산 장치로 이동합니다
Micron은 데이터센터를 연산·메모리·저장장치·네트워크가 함께 작동하는 흐름으로 설명합니다. 저장장치는 모델과 데이터를 보관하고, 메모리는 실행 중 필요한 데이터를 프로세서 가까이에 둡니다. 아래는 역할을 이해하기 위한 간단한 구분입니다.
| 단계 | 주로 맡는 구성 요소 | 구분할 점 |
|---|---|---|
| 모델·데이터 보관과 읽기 | SSD·공유 저장장치 | 보관 용량과 읽어 오는 속도는 다름 |
| 실행할 데이터 준비 | CPU·시스템 메모리 | 전처리·서비스 제어에도 메모리가 필요 |
| 모델 연산 | GPU 등 가속기·작업 메모리 | 연산 성능뿐 아니라 메모리 용량·대역폭도 필요 |
| 여러 장비의 결과 교환 | 장비 간 연결·네트워크 | 나누어 계산한 결과를 전달할 시간이 필요 |
HBM과 빠른 네트워크가 GPU 대기 시간을 줄이는 이유
연산 장치가 데이터를 기다리는 시간이 길면 GPU 수량만 늘려도 처리량이 그만큼 늘지 않습니다. 메모리 대역폭은 프로세서에 데이터를 공급하는 속도와 관련되고, 네트워크는 여러 장비가 모델이나 계산 결과를 나눌 때 중요합니다. NVIDIA 설계 안내도 대규모 학습과 다중 노드 추론의 통신·저장장치 성능을 함께 다룹니다. 다만 “GPU에는 HBM, CPU에는 DDR5”를 고정 규칙으로 외우면 안 됩니다. H200은 HBM3E를 사용하는 GPU이지만, Intel Xeon Max는 CPU 패키지에 HBM2e를 통합한 사례입니다. 메모리 종류와 연결은 제품 설계에 따라 달라집니다. 아래 관련 글에서 HBM·DDR5의 구조와 제품 사례를 따로 비교할 수 있습니다.
전력 전망은 데이터센터 전체와 AI 시설을 구분해야 합니다
IEA가 2026년 4월 발표한 Key Questions on Energy and AI는 전 세계 데이터센터 전력 소비를 2025년 485TWh에서 2030년 약 950TWh로 늘어나는 경로로 전망합니다. 2030년 값은 예측이며, 약 3%라는 비중은 그해 전 세계 전력 수요에 대한 것입니다. AI 전용 시설만의 소비량이나 한국의 수치가 아닙니다. 같은 보고서는 AI 중심 데이터센터의 전력 소비가 이 기간 약 세 배가 될 것으로 별도 전망합니다. 건설 뉴스의 MW와 연간 사용량인 MWh도 다릅니다. MW는 전력의 크기이고, MWh는 일정 시간 동안 사용한 에너지입니다. 가령 시설 전체가 평균 5MW를 24시간 사용했다고 가정하면 5 × 24 = 120MWh입니다. 이것은 단위 설명용 계산이지 특정 센터의 측정값이 아닙니다. “100MW 규모”라는 설계 용량만으로 연간 실사용량을 단정할 수는 없습니다. 시설 수치를 비교할 때는 IT 장비만인지 냉각 등 보조설비까지 포함하는지, 설계 용량인지 실제 평균 사용전력인지, 어느 기간의 값인지 함께 확인하세요.
AI 데이터센터가 모두 수랭인 것은 아닙니다
고밀도 장비의 열을 계속 빼내려면 냉각 설계가 연산 장비와 맞아야 합니다. NVIDIA의 기업용 AI 팩토리 설계 안내는 액체 냉각과 고효율 공랭을 모두 제시합니다. H200 NVL 제품 소개에도 공랭 엔터프라이즈 랙 구성이 나옵니다. 따라서 AI용이라는 이름만으로 수랭이 필수라고 단정할 수 없습니다. 냉각 방식은 장비가 내는 열, 랙 구성과 시설 조건에 맞춰 결정됩니다. 제조사의 한 구성을 모든 데이터센터에 적용하거나, 냉각 방식 이름만으로 전력·물 사용량까지 같다고 판단하지 마세요. 이 글은 시설별 냉각 성능이나 환경 영향을 측정한 비교가 아닙니다.
AI 팩토리는 데이터에서 AI 결과를 만드는 전체 과정을 강조합니다
NVIDIA 용어집은 AI 팩토리를 데이터 수집부터 학습·미세조정·대규모 추론까지 AI 생애주기를 다루는 인프라로 설명합니다. 건물이나 GPU 수량만보다 소프트웨어와 운영 과정까지 묶어 말하는 표현입니다. 발표 자료에 AI 팩토리라고 적혀 있더라도 실제로 무엇을 학습하고 어떤 추론 서비스를 운영하는지는 별도로 살펴야 합니다. GPU 수량, 전력 규모, 생성 토큰 수는 서로 다른 지표입니다. 같은 장비 수라도 모델·입력 길이·처리 방식이 다르면 응답 속도를 직접 비교할 수 없습니다. 이름보다 작업과 측정 조건을 읽는 편이 시설의 역할을 이해하는 데 정확합니다.