AI 칩에 고층 빌딩 같은 메모리가 필요한 이유 (HBM 해설)

AI 칩의 성능은 빠른 계산뿐 아니라 데이터를 얼마나 빨리 공급받느냐에 좌우됩니다. 그 핵심인 HBM은 칩을 층층이 쌓는 구조라 수율이 낮고 실리콘을 많이 쓰며, AI 서버용 메모리 수요가 일반 메모리 공급을 밀어내 스마트폰과 PC 가격에도 영향을 준다는 것이 영상의 요지입니다.

⏱ 00:03AI 칩 경쟁은 보통 연산 속도에 집중되지만, 영상은 그보다 조용하지만 AI 성장 속도를 좌우할 수 있는 문제로 메모리 부족을 꼽습니다. 여기서 말하는 메모리는 계산을 하는 칩이 아니라 데이터를 기억해 두는 칩입니다.

영상은 이전 Cerebras 편에서 다룬 메모리 벽의 후속편 격으로, 메모리를 충분히 만들 수 없을 때 무슨 일이 벌어지는지 다룹니다.

⏱ 00:55시장조사기관 IDC는 올해 스마트폰 출하량이 약 17% 줄고 평균 가격은 4분의 1 넘게 올라 약 580달러에 이를 것으로 내다봤습니다. 2월 전망보다 감소폭이 커졌는데, 부품 부족이 심해진 탓입니다. PC도 IDC와 Gartner가 올해 출하량이 10~11% 안팎 줄 것으로 예상했습니다.

기업이 이유 없이 가격을 올리지는 않으며, 그 원인은 화면이나 카메라가 아니라 기기 안의 메모리 칩 가격 상승에 있다고 설명합니다.

⏱ 01:51컴퓨터에는 계산하는 프로세서와 데이터를 보관하는 메모리 두 가지가 필요합니다. 영상은 요리사와 창고에 비유해, 요리사가 아무리 빨라도 재료가 늦게 오면 기다리게 된다고 설명합니다.

AI 모델은 수천억 개에 이르는 가중치 숫자로 이루어진 거대한 표이며, 답변을 한 단어씩 만들 때마다 이 표의 큰 부분을 반복해서 읽어와야 합니다. 그래서 AI 서버에는 프로세서마다 바로 옆에 대용량 메모리가 함께 붙어야 합니다.

⏱ 04:10일반 메모리가 땅 위에 넓게 펼쳐진 단층 주택이라면, HBM은 칩을 층층이 쌓아 프로세서 바로 곁에 세운 고층 빌딩에 가깝습니다. 한 개의 HBM 스택은 메모리 다이를 8층에서 12층, 최신 표준에서는 16층까지 쌓고, 실리콘을 관통하는 미세한 수직 구멍인 TSV로 층을 연결합니다. 맨 아래의 베이스 다이가 프로세서와의 연결을 담당합니다.

영상에 따르면 12층 HBM3e 한 스택은 약 36GB를 담고 초당 1TB 남짓을 전송합니다. 차세대 HBM4는 데이터 연결 통로를 두 배로 늘려 넓은 도로로 데이터를 나르는 방식입니다.

⏱ 06:23HBM 제조의 핵심 난제는 수율입니다. 층마다 얇게 깎고, 구멍을 뚫고, 마이크로미터 단위로 정확히 맞춰 붙여야 하며, 한 층에 치명적 결함이 생기면 그 위아래 멀쩡한 다이까지 함께 못 쓰게 됩니다. 그래서 제조사는 각 다이를 쌓기 전에 미리 검사합니다.

업계 추정으로는 16층 스택의 양품 비율이 8층보다 크게 떨어집니다. 현재는 층 사이를 작은 솔더 범프로 잇고 있으며, 구리를 범프 없이 직접 붙이는 하이브리드 본딩은 더 높은 층수에 필요할 수 있지만 도입 시점이 미뤄졌다고 설명합니다.

⏱ 07:34HBM은 같은 비트 수를 만드는 데 일반 DDR5보다 실리콘을 약 세 배 더 씁니다. 웨이퍼는 한정돼 있고 팹은 짓는 데 수년이 걸리는데, HBM과 일반 메모리가 같은 공장에서 만들어지므로 HBM에 쓰인 웨이퍼는 스마트폰 메모리가 되지 못합니다.

공급사는 SK하이닉스, 삼성전자, 마이크론 세 곳뿐입니다. Counterpoint에 따르면 SK하이닉스의 점유율은 올해 1분기 58%에서 2분기 50%로 낮아졌고, 삼성은 21%에서 33%로 올랐습니다. SK하이닉스는 2029년까지 DRAM과 HBM 물량이 사실상 매진됐다고 밝혔으며, 신규 팹 대부분은 2027년 무렵 가동될 것으로 보고되어 공급 부족은 단계적으로 완화될 전망입니다.

⏱ 12:48일반 메모리는 웨이퍼에서 자른 다이를 검사해 양품만 골라 패키징하지만, HBM은 여기에 적층 단계가 더해집니다. 양품 다이를 쌓고 수직 배선으로 잇고 한 묶음으로 다시 검사하기 때문에, 한 개의 불량이 스택 전체를 망칠 수 있고 수요가 뛰어도 메모리를 빨리 늘리기 어렵습니다.

영상이 꼽은 관전 포인트는 세 가지입니다. 16층 이상 고층 스택을 높은 수율로 만들 수 있는지, 대형 신규 팹이 실제로 가동돼 공급이 늘어나는지, 그리고 AI 칩 설계가 메모리를 더 효율적으로 써서 요구량 자체를 줄일 수 있는지입니다. 영상은 이것이 투자 조언이 아니라 반도체 산업에서 이 이야기가 어디와 맞닿아 있는지를 보여주는 지도라고 밝힙니다.