AI의 메모리 병목: HBM이 필요한 이유와 생산 기업

AI 칩은 데이터를 빠르게 공급받아야 하는데, HBM은 메모리를 수직으로 쌓고 프로세서 옆에 붙여 이 병목을 줄인다. 제조는 매우 어렵고 SK하이닉스, 삼성, Micron 세 회사가 대부분을 공급하며, 이 구조가 수출 통제와 공급망 문제로 이어진다. 영상은 원리와 시장 구조, 앞으로의 관전 포인트를 함께 정리한다.

⏱ 00:04AI 붐의 상징인 그래픽 프로세서 주변에는 칩을 수직으로 쌓아 올린 메모리 타워가 함께 놓여 있다. 이것이 HBM(고대역폭 메모리)이며, 이 메모리가 없으면 최신 AI 칩은 데이터를 기다리느라 많은 시간을 허비하게 된다. 이 메모리는 사실상 세 회사가 대부분 공급한다.

영상은 HBM이 무엇인지, 왜 AI에 그렇게 많이 필요한지, 그리고 누가 공급을 쥐고 있는지를 차례로 다룬다.

⏱ 00:45DRAM은 데이터를 셀의 미세한 전하로 저장하는 작업 메모리로, 프로세서가 계산하려면 반드시 이곳에서 데이터를 받아야 한다. 프로세서 성능은 수십 년간 메모리 전송 속도보다 빠르게 올라왔고, 이 격차를 메모리 장벽이라 부른다. 비유하자면 아무리 빠른 요리사도 식재료가 좁은 문으로 천천히 들어오면 기다릴 수밖에 없다.

대규모 언어 모델은 수십억 개의 매개변수를 쓰고 단어 하나를 만들 때마다 많은 값을 메모리에서 프로세서로 옮긴다. 그래서 AI 작업의 한계는 연산 속도보다 메모리 대역폭, 즉 데이터 전송 속도에 걸리는 경우가 많다. 학습과 추론 모두 이 문제가 있으며, 세대가 바뀔수록 메모리에 가해지는 부담은 커진다.

⏱ 02:47HBM은 두 가지 아이디어로 이 문제를 푼다. 첫째는 메모리 칩을 옆으로 늘어놓지 않고 8층, 12층 이상 수직으로 쌓는 것이다. 층 사이는 실리콘을 관통하는 미세한 수직 배선인 TSV(실리콘 관통 전극)로 연결된다.

둘째는 이 적층 구조를 프로세서 바로 옆에 같은 패키지로 붙이는 것이다. 인터포저라는 실리콘 중간층을 통해 연결하면 거리가 짧고 연결선 수가 많아, 한 번에 훨씬 많은 데이터를 적은 에너지로 옮길 수 있다. 좁은 시골길을 천 개 차선의 고속도로로 바꾸고 창고를 공장 옆으로 옮긴 것과 비슷한 발상이다.

⏱ 04:06HBM 제조는 매우 어렵다. 층 하나의 두께가 사람 머리카락보다 얇고, 적층 중 한 층이라도 불량이면 스택 전체를 버릴 수 있다. 또 아래층에서 발생한 열이 탑 가운데에 갇히기 쉬워 메모리가 열에 취약한 문제도 있다. 세대가 올라갈수록 층수를 늘리면서도 높이는 프로세서 옆에 맞게 얇게 유지해야 해서 층을 계속 얇게 갈아내야 한다. 여기에 프로세서와 HBM을 붙이는 첨단 패키징 공정의 생산 능력도 AI 공급망에서 가장 빠듯한 부분 중 하나다.

초기 HBM은 2013년 JEDEC 표준으로 나와 고성능 그래픽카드와 슈퍼컴퓨터에 쓰였다. 이후 AI 칩이 더 많고 더 빠른 HBM을 요구하면서 성장했다. 예를 들어 H100은 80GB의 HBM3를 약 3.35TB/s로, B200은 180GB의 HBM3E를 최대 8TB/s로 구동한다고 소개됐다. HBM4는 2025년 표준으로 발표됐고 인터페이스 폭이 2048비트로 두 배가 되어 스택당 약 2TB/s를 목표로 한다.

⏱ 06:22시장조사기관 Counterpoint의 추정에 따르면 2025년 HBM 매출의 절반 이상을 SK하이닉스가 차지했고, 삼성전자와 Micron이 각각 대략 5분의 1 안팎이었다. 이는 분기에 따라 달라지는 추정치다. SK하이닉스는 Nvidia와 긴밀히 협력하며 HBM3와 HBM3E 품질 인증을 먼저 통과해 앞서 나갔다. 삼성은 일반 메모리에서는 세계 최대지만 AI 메모리에서는 출발이 늦어 추격 중이며, Micron도 빠르게 성장했다.

고객 칩 설계사의 품질 인증은 여러 달에 걸친 테스트를 거치므로 점유율이 크게 출렁일 수 있다. 각 세대가 경쟁을 새로 시작하기 때문에 한 세대의 우위가 다음 세대를 보장하지는 않는다. HBM은 일반 메모리보다 수익성이 높아 메모리 업체 실적의 큰 변동 요인이 되고 있다. 또 같은 웨이퍼를 쓰기 때문에 AI 수요가 급증하면 스마트폰과 PC용 일반 메모리의 공급과 가격에도 영향을 줄 수 있다.

⏱ 08:142024년 12월 미국 상무부는 반도체 규제 패키지의 일환으로 중국으로의 고대역폭 메모리 수출 통제를 추가했다. 이 통제는 고밀도 첨단 메모리를 겨냥한 것으로, 중국의 첨단 AI 하드웨어 접근을 제한하려는 더 큰 노력의 한 부분이다. 중국 메모리 업체들은 국산 대안을 만들려 하고 있으며, 기술 격차가 얼마나 크고 얼마나 빨리 좁혀질지에 대해서는 분석가들의 의견이 갈린다.

한국에게 HBM은 주요 수출품이 되었고, 미국에서는 Micron이 국내에 새 메모리 공장을 짓고 있다. 일본과 대만은 장비와 패키징 공급망에서 중요한 위치에 있다. 클라우드 AI를 쓰는 사람들에게도 HBM의 가격과 공급 여부가 AI 서비스의 비용 구조에 간접적으로 영향을 준다. 결국 메모리를 가장 높고 안정적으로 쌓을 수 있는 쪽이 AI 산업의 속도에 실질적인 영향력을 갖는다.

⏱ 09:27영상은 예측보다 열린 질문으로 세 가지 신호를 제시한다. 첫째, HBM4를 어느 회사가 가장 먼저 대량 공급하고 차세대 AI 칩의 인증을 받는가. 둘째, 메모리가 충분해도 첨단 패키징 능력이 AI 칩 생산량을 제한할 수 있는가. 셋째, 중국 메모리 업체가 경쟁력 있는 HBM을 대량 생산해 세 회사 중심의 시장 구조가 바뀔 수 있는가.

네 번째는 수요 자체다. 메모리는 호황과 불황을 반복해 온 역사가 있으므로 AI 투자가 둔화되면 지금의 부족이 과잉으로 바뀔 수 있다. 새로운 AI 칩 소식을 들을 때는 프로세서 성능과 함께 탑재된 메모리의 용량과 속도도 확인해 보라는 것이 영상의 결론이다.