요즘 제가 로컬 LLM 추론 엔진을 만들면서 가장 자주 마주치는 벽은 메모리입니다. 모델이 RAM이나 VRAM에 들어가느냐도 중요하지만, 막상 들어간 뒤에는 가중치를 얼마나 빨리 연산기로 가져오느냐가 속도를 좌우하거든요.
로컬 LLM 하드웨어를 비교했던 글에서도 비슷한 장면을 봤습니다. 연산 성능이 높아도 메모리 대역폭이 좁으면 토큰 생성 속도가 기대만큼 나오지 않았어요. 제가 runNburn을 만들기 시작한 이유도 빠른 메모리에 전부 들어가지 않는 모델을 어떻게 다룰지 궁금했기 때문입니다.
2026년 8월 5일 삼성전자가 FMS 2026에서 공개한 zHBM도 같은 메모리 병목을 다룹니다.
“HBM을 가속기 옆에 놓지 말고 아예 위에 올리면 어떨까?”
아이디어 자체는 단순합니다. 기존 HBM이 가속기 옆에 있었다면 zHBM은 위에 올립니다. 달라지는 건 메모리 위치만이 아니라 패키지 전체 구조예요.
여기서 AI 가속기는 GPU만 뜻하지 않습니다. 삼성 자료에는 AI accelerator와 xPU라고 적혀 있습니다. GPU, TPU, NPU, AI ASIC처럼 AI 연산을 맡는 프로세서를 묶어 부르는 표현이에요.
zHBM 핵심 요약
- zHBM은 HBM을 AI 가속기 옆이 아니라 바로 위에 수직 적층하는 3D 메모리 구상입니다.
- 삼성은 HBM5 대비 약 8배 성능, 3배 전력 효율, 10배 이상 메모리 밀도를 목표로 제시했습니다. 실제 제품에서 측정한 값은 없습니다.
- zHBM은 메모리 속도 경쟁을 패키지 구조 경쟁으로 넓힙니다.
HBM도 원래 세로로 쌓습니다
이름 때문에 헷갈릴 수 있습니다. 기존 HBM도 여러 장의 DRAM 다이를 위로 쌓고 TSV로 연결합니다. 이렇게 만든 HBM 스택 여러 개를 GPU나 AI 가속기 옆에 놓고, 넓은 실리콘 인터포저로 연결합니다.
차이는 완성된 HBM 스택을 어디에 놓느냐입니다.
- 기존 HBM: DRAM 다이끼리는 세로로 쌓지만, 완성된 HBM 스택은 가속기 옆에 놓습니다.
- zHBM: 완성된 HBM 구조 자체를 가속기 위에 올립니다.
기존 HBM은 인터포저 위에서 가속기와 나란히 배치됩니다. zHBM은 맞춤형 인터레이어를 사이에 두고 가속기 위로 올라가며 데이터 경로를 가로에서 세로로 바꿉니다.
HBM 세대가 올라가고 AI 가속기 한 개가 요구하는 대역폭이 커질수록 인터포저 면적, 배선 길이, 전력, 패키지 크기도 함께 커집니다.
zHBM은 데이터 경로를 가로에서 세로로 돌립니다. 가속기와 메모리를 더 짧고 넓게 연결해 데이터 이동 시간과 전력을 줄이는 구조예요.
zHBM의 구성
삼성 발표 자료의 zHBM 구조는 크게 세 부분으로 나뉩니다.
- 위쪽의 HBM 메모리 적층
- 가운데의 맞춤형 인터레이어
- 아래쪽의 AI 가속기인 xPU
가운데 인터레이어가 zHBM의 차별점입니다. 삼성은 고객별 IP를 이 층에 넣어 메모리 용량을 확장하거나 가속기 성능을 높일 수 있다고 설명했습니다.
기존 HBM도 세대가 올라가면서 베이스 다이의 역할이 커지고 있습니다. zHBM은 메모리와 가속기 사이의 연결층까지 고객 시스템에 맞춰 설계합니다.
삼성은 z의 풀네임을 밝히지 않았습니다. 공개된 구조는 평면을 넓히는 대신 z축으로 메모리를 쌓는 방식입니다.
삼성전자가 FMS 2026에서 전시한 zHBM 콘셉트 모형입니다. 아래쪽 xPU 위로 인터레이어와 메모리 구조가 수직 적층된 모습을 보여줍니다. 출처: Samsung Global Newsroom.
전시된 것은 구조 설명용 모형입니다. 삼성 보도자료도 zHBM을 concept model로 부릅니다.
8배 목표치의 기준
발표 자료에 적힌 목표치는 다음과 같습니다.
| 항목 | 삼성 발표 기준 | 지금 확인 가능한 범위 |
|---|---|---|
| 성능 | HBM5 대비 약 8배 | zHBM을 포함한 차세대 인터페이스 시스템의 성능이라고만 표현 |
| 메모리 밀도 | HBM5 대비 10배 이상 | 차세대 웨이퍼 본딩 적용을 전제로 한 목표 |
| 전력 효율 | HBM5 대비 3배 | 측정 조건과 워크로드는 공개되지 않음 |
| 열저항 | HBM5 대비 절반 이하 | 구체적인 적층 및 냉각 구현은 공개되지 않음 |
자료에는 8배의 기준이 없습니다. 삼성은 메모리 대역폭 대신 performance라고만 적었습니다. 시스템 처리량인지, AI 작업 성능인지, 인터페이스 성능인지 구분할 정보도 없어요.
Tom’s Hardware도 같은 점을 지적했습니다. 현재 자료만으로는 여러 개선을 합친 시스템 성능인지 특정 인터페이스의 처리량인지 구분할 수 없다고 봤습니다.
비교 기준인 HBM5도 아직 완성된 상용 규격이 아닙니다. 열저항은 적층, 접합, 패키지, 냉각 구조에 따라서도 달라집니다.
이 8배는 제품 사양이 아니라 삼성의 목표치예요. 실제 비교는 규격과 실측 결과가 나온 뒤에 가능합니다.
가속기 위에 쌓은 메모리의 열 문제
가장 큰 기술 문제는 열입니다.
AI 가속기는 패키지 안에서 많은 열을 냅니다. 그 위에 메모리를 올리면 가속기와 메모리의 열을 같은 적층 구조에서 빼내야 해요.
삼성은 차세대 웨이퍼 본딩으로 HBM5보다 열저항을 절반 이상 낮추겠다고 밝혔습니다. 접합 방식과 냉각 구조는 공개되지 않았습니다.
상용화까지 확인해야 할 문제는 네 가지입니다.
- 가속기와 메모리를 함께 식힐 실제 열 경로
- 여러 다이를 접합한 뒤에도 수율을 유지할 공정
- 불량 다이를 걸러내고 완성 패키지를 검사하는 방법
- 가속기 고객마다 달라질 인터레이어 설계 비용
여러 다이를 한 패키지로 묶기 때문에 한쪽의 불량이 전체 수율과 비용에 영향을 줄 수 있습니다. 본딩과 적층 공정이 안정되면 넓은 인터포저에 의존하던 패키지 구조를 줄일 여지도 있어요.
양산 일정, 고객사, 구체적인 접합 공정은 아직 나오지 않았습니다.
SK하이닉스 iHBM과의 차이
비슷한 시기에 나온 차세대 HBM 이름을 나란히 놓으면 같은 종류의 제품처럼 보이지만, 해결하려는 병목은 조금씩 다릅니다.
| 방향 | 핵심 변화 | 해결하려는 문제 | 공개 상태 |
|---|---|---|---|
| 삼성 zHBM | HBM을 AI 가속기 위에 적층 | 데이터 이동 거리, 패키지 면적, 시스템 효율 | FMS 2026 콘셉트 모델 |
| SK하이닉스 iHBM | HBM 패키지 안에 ICE 냉각 요소 삽입 | D2D PHY 주변의 열 집중 | 차세대 HBM 적용 계획 |
| 커스텀 HBM | 고객별 베이스 다이와 패키지 최적화 | 워크로드, 전력, 열, 총소유비용 | HBM4E 이후 핵심 방향 |
SK하이닉스의 iHBM은 HBM과 가속기의 배치를 통째로 바꾸기보다 열이 몰리는 D2D PHY 영역에 ICE라는 냉각 요소를 넣는 방식입니다. SK하이닉스는 이 구조가 열저항을 30% 줄이고 기존 SiP 설계와도 호환성이 높다고 설명했습니다.
커스텀 HBM은 더 큰 흐름입니다. HBM4부터 중요해진 로직 베이스 다이와 패키징을 고객의 AI 칩, 워크로드, 전력 및 열 설계에 맞춰 조정합니다. 삼성 zHBM의 맞춤형 인터레이어도 이 고객 공동 설계 흐름과 맞닿아 있어요.
세 기술의 초점은 각각 배치 구조, 열 경로, 고객별 시스템 최적화입니다.
HBM 경쟁의 범위도 DRAM 다이 속도에서 파운드리, 패키징, 냉각, 가속기 공동 설계까지 넓어집니다.
로컬 LLM과 같은 메모리 병목
zHBM은 당분간 데이터센터용 기술입니다. 소비자용 그래픽카드 계획도, 양산 시점도 나오지 않았습니다.
로컬 AI에서도 같은 종류의 병목을 경험합니다.
LLM 추론에서는 모델 용량만큼 데이터 이동이 중요합니다. 토큰을 하나 만들 때마다 필요한 가중치를 메모리에서 읽어야 하고, KV 캐시가 커지면 용량과 대역폭을 함께 사용합니다. 빠른 메모리에 다 들어가지 않으면 더 느린 RAM이나 저장장치로 내려가면서 지연이 커집니다.
제가 runNburn에서 메모리보다 큰 모델을 다루며 계속 보는 것도 같은 문제예요. 제한된 메모리에서 실행 가능성을 만드는 것과, 데이터를 충분히 빠르게 공급하는 것은 별개의 축입니다.
zHBM은 빠른 메모리와 연산기 사이의 거리를 줄이는 접근입니다. 개인용 제품과는 거리가 있지만, AI 칩의 성능에는 연산량뿐 아니라 메모리 구조도 영향을 줍니다.
현재 공개된 범위
현재 확인할 수 있는 것은 콘셉트 모형, 구조 설명, HBM5 대비 목표치입니다. 양산 일정, 가격, 고객사, 벤치마크는 없습니다.
현재 공개 내용은 구매 정보보다 HBM4 이후 패키징 경쟁을 설명하는 기술 로드맵에 가깝습니다.
기술 경쟁의 질문도 “HBM을 몇 단까지 쌓을까?“에서 “가속기와 메모리를 어디까지 한 몸처럼 만들까?“로 바뀝니다.
zHBM이 바꾸려는 것
삼성 zHBM은 HBM을 AI 가속기 옆에서 위로 옮기는 차세대 3D 메모리 구상입니다. 맞춤형 인터레이어를 사이에 두고 메모리와 가속기를 더 짧고 넓게 연결하는 구조예요.
약 8배 성능, 3배 전력 효율, 10배 이상 메모리 밀도는 삼성의 목표치입니다. 비교 기준과 실측값은 나오지 않았고, 열, 수율, 테스트, 고객별 설계 비용도 풀어야 합니다. AI 메모리 경쟁의 단위는 HBM 스택 하나에서 가속기, 로직, 본딩, 냉각을 묶은 시스템으로 커지고 있습니다.
로컬 LLM에서는 연산기가 메모리에서 데이터가 오기를 기다리는 일이 흔합니다. zHBM은 데이터센터 패키지에서 같은 병목을 줄이려는 구조입니다. 아직은 콘셉트 단계지만, 경쟁 범위가 HBM 스택 자체에서 가속기와의 결합 방식까지 넓어졌습니다.
댓글