HBM은 메모리, GPU는 계산을 맡는 프로세서
Micron은 HBM을 여러 DRAM 다이를 수직으로 쌓고 TSV와 미세 접점으로 연결한 구조로 설명합니다. TSV는 칩을 위아래로 잇는 실리콘 관통 연결입니다. 이렇게 쌓은 메모리는 인터포저라는 연결 구조를 통해 CPU나 GPU 가까이에 배치됩니다. “적층 메모리”를 반드시 GPU 위에 메모리를 포개 놓았다는 뜻으로 읽으면 안 됩니다. 실제 제품 이름으로 구분하면 더 쉽습니다. NVIDIA H200은 GPU 제품명이고, 그 제품에 쓰인 HBM3E는 메모리의 종류입니다. H200 사양표의 141GB는 GPU 메모리 용량, 4.8TB/s는 메모리 대역폭입니다. HBM이라는 단어 하나에 GPU 모델명·메모리 용량·속도까지 모두 들어 있는 것은 아닙니다. 일반 PC의 DDR5 메모리 대신 HBM을 사서 꽂을 수 있는지 궁금하다면 아래 HBM·DDR5 비교 글로 이어가세요. 이 글에서는 부품 선택보다 뉴스 속 용어의 역할을 구분합니다.
용량은 담는 양, 대역폭은 초당 옮기는 양
20GB를 담을 수 있다는 것과 초당 20GB를 옮길 수 있다는 것은 다른 사양입니다. GB는 용량, GB/s나 TB/s는 전송률입니다. 대역폭 숫자가 커졌다는 이유만으로 저장할 수 있는 모델 크기까지 같은 비율로 커지는 것은 아닙니다. 전송량을 대역폭으로 나누는 계산을 가정해 보겠습니다. 충분한 메모리 용량이 있고, 총 20GB를 한 번 읽으며, 표시한 대역폭을 전송 내내 온전히 쓸 수 있다고 가정합니다. 1TB는 1,000GB인 십진 단위로 계산했습니다. 아래 0.02초와 0.01초는 이 조건의 데이터 전송 시간이지 AI 답변 한 번의 응답시간이 아닙니다. NVIDIA 성능 문서는 메모리 대역폭뿐 아니라 연산 처리량과 지연도 성능을 제한할 수 있다고 설명합니다. 데이터 이동이 병목일 때 대역폭 개선이 유용하지만, 계산이 오래 걸리거나 작업을 충분히 병렬로 나누지 못한다면 같은 개선이 나오지 않을 수 있습니다. 실제 프로그램은 데이터를 여러 번 읽기도 하므로 모델 파일 크기를 대역폭으로 나눈 값을 곧바로 토큰 생성속도로 바꾸지 않습니다.
| 가정한 전송률 | 계산 | 전송 시간 |
|---|---|---|
| 1TB/s = 1,000GB/s | 20GB ÷ 1,000GB/s | 0.02초 = 20밀리초 |
| 2TB/s = 2,000GB/s | 20GB ÷ 2,000GB/s | 0.01초 = 10밀리초 |
하이닉스 발표는 날짜·세대·단수·공급 단계를 나눠 읽기
SK하이닉스가 HBM 뉴스에 등장하는 것은 실제로 HBM을 개발·생산해 공급하는 기업이기 때문입니다. 용어를 읽는 사례로 2024년 9월 26일의 공식 발표를 살펴보겠습니다. 최신 공급 현황을 뜻하는 자료는 아닙니다. 회사는 당시 HBM3E 12단 36GB 제품의 양산 시작을 발표하면서 고객 공급은 그해 안에 진행할 계획이라고 별도로 적었습니다. 여기서 HBM3E는 제품 세대, 12단은 쌓은 DRAM 칩의 수, 36GB는 해당 제품의 용량입니다. “12단”을 GPU 12개로, “36GB”를 초당 전송량으로 읽으면 다른 뜻이 됩니다. 같은 발표 안의 양산 시작과 공급 계획도 같은 시점의 완료 사실이 아닙니다. 2024년 자료의 “연내”는 2024년을 가리키므로 검색한 오늘의 일정으로 옮겨 읽지 마세요. 새 기사를 읽을 때도 제조사·제품 구성·발표일·완료 사실과 계획을 한 줄씩 나누면 과장을 줄일 수 있습니다. 위 발표만으로 현재 고객사별 물량이나 시장점유율을 알 수 없고, 특정 기업의 투자 성과를 판단할 수도 없습니다. HBM3E와 HBM4의 데이터 통로·제품별 대역폭 차이는 아래 세대 비교 글에서 따로 다룹니다.