축적된 시간이 만든 AI 핵심 메모리, HBM의 내일

HBM은 AI가 요구하는 대량 데이터 전송을 위해 대역폭을 넓히는 방향으로 발전해 왔습니다. 초기의 시행착오를 거쳐 HBM3 양산에 이르렀고, HBM4에서는 로직 공정과 고객 협업 설계가 핵심 축으로 떠올랐습니다.

⏱ 00:48트랜스포머 기반의 생성형 AI 모델은 수천억 개 이상의 파라미터를 연산하며, 이 과정에서 방대한 데이터를 계속 주고받아야 합니다. 그래서 메모리 대역폭이 AI 성능을 좌우하는 핵심 요소가 되었고, 이 요구에 맞는 메모리로 HBM이 주목받게 되었습니다.

⏱ 02:02메모리 대역폭은 데이터 핀의 개수와 핀 하나의 전송 속도를 곱한 값으로 볼 수 있습니다. 그래픽용 GDDR은 핀 속도를 높여 대역폭을 끌어올리는 방식인 반면, HBM은 핀 하나의 속도를 다소 낮추더라도 핀 수를 크게 늘려 전체 대역폭을 확보하는 방향을 택했습니다.

⏱ 02:32HBM은 실리콘 인터포저 위에 GPU와 메모리를 함께 올리고 금속 배선으로 연결합니다. 이렇게 하면 많은 입출력 단자를 좁은 면적에 배치할 수 있고 거리가 짧아 전력 효율과 속도 면에서 이점이 생깁니다.

TSV 기술은 다이에 구멍을 뚫고 구리를 채워 다이끼리 수직으로 직접 연결하는 구조입니다. 고층 건물의 엘리베이터에 비유할 수 있으며, 칩을 층층이 쌓아 고용량을 구현하기에도 유리합니다.

⏱ 03:42SK 하이닉스는 2009년 HBM 프로토타입 설계에 착수했고, 2013년 업계 표준으로 채택된 뒤 세계 최초의 HBM1을 발표했습니다. 기술적 성과와 달리 당시 그래픽 메모리는 전체 메모리 시장의 5% 정도에 불과해 HBM의 사용처가 분명하지 않았습니다.

비용 부담이 큰 상황에서 HBM2 단계에서는 많은 혁신 기술을 채택했지만, 그만큼 시행착오도 겪었습니다. 내부의 회의적인 시선 속에서도 개발팀은 무엇이 문제였는지 분석했고, 그 경험이 이후 HBM3, HBM4의 밑거름이 되었다고 설명합니다.

⏱ 05:38오랜 기간 축적한 기술과 경험을 바탕으로 HBM3가 개발되었고, 2021년 10월 세계 최초로 발표된 뒤 2022년 6월 양산에 들어갔습니다. 생성형 AI의 확산으로 HBM3의 필요성이 크게 부각되었습니다.

에러 정정 기능인 ECC와 TSV 자동 테스트 및 리페어 기능 등이 적용되어 기술 리더십을 입증했고, 이는 AI 산업에서 필요한 파트너로 인식되는 계기가 되었습니다.

⏱ 07:21세대가 거듭될수록 대역폭과 용량은 급격히 늘었지만, AI 가속기의 높은 전력 소모로 데이터센터가 추가 발전까지 고려하는 상황이 되었습니다. 이에 설계 단계에서 전력을 줄이는 기술과 발열을 빠르게 배출하는 패키지 기술이 도입되었습니다.

고속 동작을 위해 많은 TSV가 들어가는 만큼, 불량 TSV를 구제하는 리던던시 설계가 수율과 양산성에 중요합니다. 난이도가 높아지며 설계, 패키지, 테스트, 공정, 품질, 양산이 함께 움직이는 원팀 협업이 핵심이라고 강조합니다.

⏱ 08:50HBM4는 입출력 단자가 1024개에서 2048개로 두 배 늘어 데이터 통로와 대역폭이 두 배로 확대되었습니다. 가장 큰 변화는 베이스 다이에 로직 파운드리 공정을 적용한다는 점입니다.

베이스 다이에는 메모리 셀이 없어 여유 공간이 있으므로, SoC 고객과 함께 베이스 다이를 설계할 수 있게 되었습니다. 이제는 빠른 속도와 저전력뿐 아니라 고객의 눈높이에 맞춘 협업 설계가 중요해졌으며, HBM의 역사는 단순 칩 산업에서 시스템 성능을 함께 설계하는 산업으로 이동하는 과정이라고 정리합니다.