적층 패키지와 DIMM 모듈은 연결 방식부터 다릅니다
Micron은 HBM을 여러 DRAM 다이를 수직으로 쌓고 TSV와 미세 접점으로 연결하는 구조로 설명합니다. 인터포저를 통해 CPU나 GPU와 같은 패키지에 배치해 짧고 넓은 연결을 만드는 것이 특징입니다. 여기서 적층하는 것은 메모리 다이이며, 항상 GPU 위에 메모리를 올려놓는다는 뜻은 아닙니다. DDR5 역시 DRAM 기술입니다. 서버나 PC에서 접하는 DDR5 DIMM은 이 메모리를 모듈로 구성한 형태입니다. 아래 비교는 일반적인 DIMM 기반 시스템과 프로세서 패키지에 통합한 HBM을 대상으로 합니다. 모든 기기의 메모리 형태를 두 종류로 제한하는 표는 아닙니다.
| 비교 항목 | HBM | DDR5 DIMM |
|---|---|---|
| 구성 | DRAM 다이를 적층하고 프로세서 패키지에 통합 | DRAM을 모듈로 구성해 지원 시스템에 장착 |
| 연결의 특징 | 프로세서 가까이의 넓은 데이터 인터페이스 | CPU 메모리 컨트롤러·채널·모듈 구성에 맞춘 연결 |
| 구성을 바꿀 때 | 가속기·프로세서 제품 설계에 포함된 메모리 확인 | CPU·보드·모듈 종류·장착 규칙을 함께 확인 |
AI 가속기가 HBM을 쓰는 이유는 데이터 공급량
연산 장치가 빠르더라도 필요한 데이터가 늦게 도착하면 기다려야 합니다. HBM의 넓은 인터페이스는 많은 데이터를 계속 옮겨야 하는 작업에 유리합니다. 이는 메모리에서 가져오는 속도가 병목일 때의 이점이지, 모든 AI 작업이 같은 비율로 빨라진다는 뜻은 아닙니다. NVIDIA H200 제품 페이지는 HBM3E를 사용하며 GPU 메모리 141GB, 메모리 대역폭 4.8TB/s로 안내합니다. 141GB는 저장할 수 있는 양이고, 4.8TB/s는 초당 전송량입니다. 십진 단위로 4,800GB/s이며 4.8TB 용량이라는 뜻이 아닙니다. 페이지에는 사양이 변경될 수 있다는 주석도 있어 실제 도입 시 해당 구성의 문서를 다시 확인해야 합니다. 이 값은 H200 GPU 전체의 사양입니다. HBM 한 스택의 수치나 DDR5 DIMM 한 개의 수치와 분모를 맞추지 않은 채 나누면 시스템 성능 배수가 나오지 않습니다. 용량·대역폭뿐 아니라 연산 성능, 데이터 이동 경로와 실행 소프트웨어를 같이 봐야 합니다.
GDDR7을 쓰는 GPU, HBM을 쓰는 CPU도 있습니다
GPU라는 이유만으로 HBM이 필요한 것은 아닙니다. NVIDIA RTX 5090은 AI 작업을 지원하는 GPU이지만 공식 메모리 구성은 32GB GDDR7입니다. 반대로 Intel Xeon Max는 CPU 패키지에 소켓당 최대 64GB HBM2e를 통합한 사례입니다. Intel 문서는 HBM만 쓰는 모드, HBM과 DDR을 별도 영역으로 쓰는 Flat 모드, HBM을 캐시로 쓰는 모드를 구별합니다. 이 사례는 CPU에도 HBM이 쓰인다는 설명이지 모든 서버를 HBM만으로 구성하라는 권장안이 아닙니다. 아래 제품들은 용도와 출시 시기가 다른 적용 사례이며 구매 후보의 성능 순위표가 아닙니다.
| 제품 사례 | 메모리 표기 | 이 사례에서 알 수 있는 점 |
|---|---|---|
| NVIDIA H200 GPU | HBM3E, GPU당 141GB | HBM을 쓰는 데이터센터 GPU |
| NVIDIA GeForce RTX 5090 | GDDR7, 32GB | AI 작업을 지원해도 모든 GPU가 HBM을 쓰지는 않음 |
| Intel Xeon Max CPU 제품군 | HBM2e, 소켓당 최대 64GB | HBM은 GPU 전용 메모리라는 분류가 아님 |
DDR5를 더 꽂는다고 GPU 메모리가 같은 만큼 늘지는 않습니다
별도 그래픽카드를 쓰는 PC에서 시스템 DDR5와 그래픽카드의 전용 메모리는 같은 슬롯이나 연결을 쓰지 않습니다. 예를 들어 시스템 메모리 32GB와 전용 GPU 메모리 8GB를 갖춘 구성에서 두 숫자를 더해 “GPU 전용 메모리 40GB”라고 표시하면 틀립니다. 이 예는 CPU와 GPU가 메모리를 공유하도록 설계된 통합 메모리 시스템과 구별해야 합니다. 실행 도구가 시스템 메모리로 일부 작업을 옮기는 기능을 제공할 수는 있습니다. 하지만 용량을 쓸 수 있다는 사실과 GPU 가까운 메모리처럼 빠르게 접근한다는 사실은 다릅니다. GPU 메모리 부족으로 프로그램이 멈춘다면 오류 메시지, 모델·프로젝트 크기, 전용 메모리 사용량, 해당 도구의 메모리 분산 기능부터 확인하세요. DDR5 추가 구입만으로 해결된다고 단정하지 않습니다. HBM 역시 DDR5 슬롯에 꽂는 교체 부품이 아닙니다. 두 메모리를 비교하는 것은 동일한 슬롯용 제품의 선택 문제가 아니라, 프로세서와 시스템 구성의 선택 문제에 가깝습니다.
서버 사양은 메모리 종류보다 작업의 병목과 연결하기
Micron의 AI 데이터센터 설명은 연산·메모리·저장장치·네트워크가 함께 데이터를 처리하는 구조를 제시합니다. 모델 파일을 보관하는 SSD, CPU가 처리할 데이터를 담는 시스템 메모리, 가속기의 작업 메모리는 서로 다른 역할을 맡을 수 있습니다. 사양을 비교할 때는 용량의 기준이 모듈·스택·GPU·소켓·서버 중 무엇인지 표시하세요. 그다음 작업이 메모리에 들어가는지, 충분히 빠르게 옮길 수 있는지, 계산과 통신은 어디에서 기다리는지 순서로 확인하면 됩니다. 대역폭이 커도 용량 부족이 사라지는 것은 아니며, 용량이 커도 처리 지연이 자동으로 줄지는 않습니다. HBM3E와 HBM4처럼 같은 계열의 세대 차이가 궁금하다면 아래 관련 글에서 인터페이스 폭과 제품별 대역폭을 이어서 비교할 수 있습니다. 이 글은 HBM과 DDR5의 역할 차이에 초점을 둡니다.