AI가 RAM 가격을 두 배로 올린 이유: 패키징의 벽

AI 가속기의 연산 속도를 따라가려면 메모리 대역폭이 필요하고, 그 대역폭을 내는 HBM은 수직 적층과 본딩, 최종 패키징을 거쳐야 한다. 이 과정은 수율 손실이 크고 대만과 TSMC에 집중되어 있으며, 웨이퍼를 HBM에 우선 배분하면서 일반 D램 공급이 줄어 소비자 제품 가격에 영향을 준다고 정리된다.

⏱ 00:002025년 중반 32GB DDR5 키트는 95~250달러에 팔렸지만, 영상 제작 시점에는 같은 키트가 550~650달러에 팔리는 것으로 소개된다. 트렌드포스 집계를 인용해 2026년 1분기 D램 계약 가격이 약 90% 올랐다고 하며, 이는 그 기관이 기록한 분기 상승폭 중 가장 가파른 수치라고 한다. 영상은 원인을 소비자 수요가 아니라 일반 구매자가 보기 어려운 고대역폭 메모리(HBM)의 생산 제약에서 찾는다.

AI 가속기는 연산이 매우 빠르지만 데이터를 메모리에서 계속 받아와야 한다. UC 버클리 연구진의 분석으로는 20년 동안 서버 연산 성능은 약 2년마다 3배씩 늘었지만 D램 대역폭은 약 1.6배에 그쳤다. 이 격차를 메모리 벽(memory wall)이라 부르며, 기존 메모리는 회로기판 위 수 cm 떨어진 곳에 있어 신호 손실과 전력 소모를 줄이기 어렵다.

⏱ 03:11HBM은 메모리 칩을 수직으로 쌓고 프로세서와 같은 패키지 위에 수 mm 거리로 붙여 거리 문제를 해결한다. 연결 폭은 1024비트에서 현세대인 HBM4의 2048비트로 늘었고, HBM4 표준에서는 한 스택이 초당 최대 2TB를 옮길 수 있다고 한다. 개념은 2008년 AMD와 SK하이닉스의 개발에서 시작되어 2013년 표준화, 2015년 첫 제품 출하로 이어졌다.

제조는 표준 D램 웨이퍼에서 출발해 각 다이를 수십 마이크로미터 두께로 얇게 갈고 수천 개의 실리콘 관통 전극(TSV)을 뚫는 과정으로 진행된다. 8, 12, 16단의 다이가 베이스 다이 위에 쌓이며, 층 사이 본딩 방식에서 업체가 갈렸다. 삼성은 비전도성 필름을 층마다 올려 다이를 하나씩 압착·가열하는 열압착 방식을 택했고, SK하이닉스는 전체 스택을 한 번에 가열해 접합한 뒤 열 방출에 유리한 몰딩 소재로 틈을 채우는 매스 리플로우 몰디드 언더필 방식을 택했다고 설명된다.

⏱ 04:592024년 초 분석가 추정으로 SK하이닉스의 HBM3 수율은 60~70%, 삼성은 10~20%였다고 소개된다. 같은 해 삼성 HBM이 엔비디아 인증 테스트에서 발열과 전력 소모 문제로 어려움을 겪었다는 보도가 나왔고, SK하이닉스가 엔비디아에 HBM3를 처음 공급하면서 시장이 그 뒤를 따랐다고 한다.

스택에서는 한 층의 불량이 전체를 망친다. 12층 스택에서 층당 신뢰도가 99%이면 100개 중 약 89개가 정상이고, 98%이면 약 78개로 떨어진다. 실장 후 실패하면 가장 비싼 칩인 프로세서까지 함께 버려지므로, 다이 단위 검사만으로는 본딩 결함을 미리 걸러낼 수 없다는 점이 구조적 문제로 제시된다. 이 때문에 HBM은 같은 용량의 일반 메모리보다 웨이퍼를 훨씬 많이 쓰며, 업계 추정으로는 HBM3E가 DDR5의 약 3배 웨이퍼를 소모한다고 한다.

⏱ 06:48완성된 스택도 아직 끝이 아니다. HBM 스택과 프로세서는 실리콘 인터포저 위에 나란히 놓여 수천 개의 연결을 이루는데, 이 최종 조립 단계가 대만에 집중되어 있다고 영상은 강조한다. 자막에서 COAS로 표기된 TSMC의 칩온웨이퍼온서브스트레이트 공정이 그 중심이며, 인터포저가 없으면 넓은 연결도 대역폭도 없다는 논리다.

이 공정 용량은 2024년 말 월 3만5천~4만 장에서 2026년에는 12만~14만 장으로 늘어날 것으로 제시된다. 트렌드포스 추정에 따르면 공급과 수요의 격차는 6월 기준 약 20%에서 연말 약 10%로 좁아질 전망이다. 엔비디아가 이 용량의 약 60%를 점유한다는 추정도 함께 소개되며, 나머지를 AMD, 구글, 아마존 등이 나눠야 하는 배분 구조가 또 다른 병목으로 설명된다.

⏱ 09:222025년까지 SK하이닉스는 HBM 매출의 절반 이상을 차지했지만, 2026년 2분기에는 점유율이 절반 수준으로 떨어졌다고 소개된다. 같은 기간 삼성은 시장의 약 5분의 1에서 한 분기 만에 3분의 1로 올라섰다. 삼성이 HBM4 검증을 먼저 마치고 2분기에 출하를 시작한 반면, SK하이닉스는 인터페이스 동기화 문제로 HBM4 양산이 3분기로 밀렸다고 한다.

HBM4에서는 스택 맨 아래 베이스 다이가 단순 메모리 공정 칩에서 파운드리가 만든 로직 칩으로 바뀌었다. SK하이닉스의 HBM4 베이스 다이는 TSMC가 12나노급 공정으로 생산한다고 한다. 고객이 베이스 다이에 맞춤 로직을 요구하면서 메모리는 어디서나 구할 수 있는 범용 부품에서 특정 고객만을 위한 부품에 가까워졌고, 선두 업체도 베이스 다이와 패키지 두 단계에서 TSMC에 의존하게 되었다.

⏱ 11:37HBM과 일반 D램은 같은 생산라인과 같은 웨이퍼에서 출발하므로, 메모리 업체는 웨이퍼 단위로 어떤 제품을 만들지 결정한다. 마이크론은 2025년 12월 2025년과 2026년 HBM 생산능력이 모두 예약 완료되었다고 밝혔다. 삼성 자료를 인용하면 HBM은 현재 업계 전체 D램 웨이퍼 용량의 약 20%를 차지하고, 2027년에는 약 30%에 이를 전망이다. HBM 1GB가 일반 메모리의 약 3배 웨이퍼를 쓰기 때문에, HBM을 조금만 늘려도 일반 메모리 공급은 크게 줄어든다.

같은 달 마이크론은 소비자용 메모리 브랜드 크루셜의 철수를 발표하고 데이터센터와 AI 제품에 집중하겠다고 했다. 영상의 설명대로라면 PC, 스마트폰, 콘솔 제조사가 구매하는 D램은 AI 가속기 공급 후 남은 용량이며, 메모리 공장은 정유 공장이 증류 구간을 조정하듯 생산 배분을 정하는 곳으로 비유된다.

⏱ 13:03영상은 메모리가 호황과 불황을 반복하는 사이클 산업이라는 통념에 반론을 제기한다. 새 D램 공장은 짓는 데 수년이 걸리고, 완공 후에도 제조사가 생산 배분을 다시 정하므로 AI 구매자가 더 길고 비싼 계약을 맺는 한 새 웨이퍼도 HBM으로 먼저 흘러간다는 것이다. HBM 세대가 올라갈수록 스택이 높아져 비트당 웨이퍼 소모가 늘어나므로, 전체 생산이 늘어도 나머지 시장에 돌아가는 몫은 줄 수 있다고 정리된다.

결국 AI 가속기의 출하 속도는 연산 칩 하나가 아니라 가장 느린 메모리 공급 경로가 정하며, 그 경로는 소수 공급사, 대만 집중 패키징, 장기 계약 배분이라는 제약이 겹쳐 있다고 요약된다. 영상은 다음 편에서 이 모든 칩의 출발점인 실리콘 단결정을 키우는 석영 도가니 공급으로 넘어간다고 예고한다.