AI 메모리 부족의 원인과 의미

AI 데이터센터 수요로 메모리 가격이 급등한 배경을 정리한 영상입니다. 칩 성능과 메모리 대역폭의 격차, HBM 제조의 어려움, 장기 계약과 증설 지연이 맞물려 공급이 쉽게 늘지 않는 구조를 설명합니다. 이 호황이 구조적 변화인지 일시적 사이클인지에 대한 찬반 논거도 함께 다룹니다.

⏱ 00:002026년 6월 Apple이 Mac과 iPad 가격을 올렸는데, 이유는 관세나 물가가 아니라 AI 데이터센터가 메모리 칩을 대량으로 사들였기 때문이라고 소개합니다. Tim Cook은 이 부족 사태를 '100년 만의 홍수'에 비유했습니다.

발표자는 투자자 Gavin Baker가 AI의 가장 중요한 병목이 전력이나 GPU가 아니라 메모리라고 주장한 내용을 사실 검증하는 형식으로 접근합니다. 일부는 맞고 일부는 과장이라는 전제에서 출발합니다.

⏱ 00:37Jensen Huang의 'AI 5단 케이크' 구조에서 메모리는 GPU와 같은 칩 계층에 속합니다. Epoch AI 추정에 따르면 Nvidia B200 제조 원가 약 6,400달러의 거의 절반이 고대역폭 메모리(HBM)입니다. Baker가 Nvidia는 메모리에 TSMC 칩 제조비보다 더 많이 쓴다고 한 주장도 이 추정과 맞아떨어집니다.

지난 20년 동안 연산 성능은 메모리보다 훨씬 빠르게 좋아졌고, 이 격차를 '메모리 벽'이라고 부릅니다. 가장 강력한 GPU도 데이터를 기다리며 놀게 되는 경우가 많습니다. AI는 이 문제를 키웁니다. 토큰을 생성할 때마다 모델 가중치와 대화의 단기 기억인 KV 캐시를 읽어야 하고, 긴 대화, 추론 모델, AI 에이전트는 KV 캐시를 더 크게 만듭니다.

⏱ 02:15Nvidia는 H100에서 차세대 Vera Rubin까지 GPU당 메모리 용량을 3.5배 이상, 대역폭을 6.5배 이상 늘렸습니다. 한 Micron과 Meta 연구에서는 데이터가 메모리 밖 저장장치로 넘칠 때 작업이 38배 느려졌다는 결과도 소개됩니다.

HBM은 메모리 칩을 얇게 깎아 8단, 12단, 현재 16단까지 쌓고 수천 개의 미세 수직 배선으로 연결합니다. 적층 중 한 칩이 불량이면 스택 전체를 잃을 수 있어 수율 관리가 까다롭습니다. 같은 용량의 일반 메모리보다 웨이퍼 면적을 약 3배 쓰고, 웨이퍼에서 완성 패키지까지 6개월 이상 걸립니다. 대량 공급이 가능한 곳은 SK hynix, Samsung, Micron 세 곳뿐입니다. SK hynix가 선두지만 Samsung은 1년 만에 점유율을 15%에서 33%로 끌어올렸고, 2026년 6월 기준 Nvidia는 세 회사 모두를 최신 칩 공급사로 인증했습니다.

⏱ 03:122026년 1분기 메모리 계약 가격은 한 분기 만에 거의 두 배가 되었고, 다음 분기에도 약 60% 올랐습니다. 상승 폭은 줄었지만 여전히 오르는 중입니다. Jensen Huang도 메모리 가격 상황을 '극단적'이라고 표현했다고 합니다.

부담은 소비자에게 넘어갔습니다. Apple은 Mac과 iPad 가격을 올렸고, Microsoft는 콘솔 메모리 원가가 2.5배 올랐다고 밝혔으며, PC 제조사들은 가격을 15~20% 인상했습니다. 발표자는 이를 AI 데이터센터가 일상 기기에 부과하는 'AI 세금'으로 비유합니다.

⏱ 04:03Baker는 메모리가 늘 호황과 불황을 반복했다고 봅니다. 가격이 오르면 모두 공장을 짓고, 공급이 넘치면 가격이 무너집니다. 그런데 2026년 6월 Micron은 가격 하한과 상한이 있는 장기 'take-or-pay' 계약을 발표했습니다. Baker는 이 계약이 소수 고객 네 곳으로 매출의 절반을 덮는다고 했는데, 발표자는 '부분적으로 맞다'고 평가합니다. 50%는 목표치이고 대형 고객 네 곳은 16건 계약 중 일부였습니다. 9월에는 계약이 26건으로 늘었고, 고객들이 선급금 320억 달러를 냈습니다. 매출총이익률은 87%에 이르렀습니다.

증설에는 수년이 걸립니다. Micron의 아이다호 공장은 2022년 착공해 첫 출하가 2027년 중반으로 예상되고, 뉴욕 프로젝트는 2026년 1월 착공해 첫 생산이 2030년 무렵입니다. Baker가 뉴욕 공장이 착공 당일 중단됐다고 한 말은 부정확하며, 소송은 제기됐지만 공사는 계속됐습니다. 세 회사의 설비투자는 연간 약 1,300억 달러로 과거 호황기의 3~4배지만, 신규 공급 대부분은 2028년 이후에야 나올 전망입니다.

⏱ 06:03Elon Musk는 Tesla와 SpaceX용 칩 공장 'Terrafab'을 텍사스에 세운다고 밝혔습니다. 발표자는 Terrafab이 메모리 중심이라는 Baker의 말은 일부만 맞다고 봅니다. 메모리는 로직 칩, 패키징과 함께 세 축 중 하나이고, 대량 생산까지는 수년이 남았기 때문입니다.

더 가까운 변수는 중국 메모리 기업 CXMT입니다. 2026년 7월 상장 후 첫날 400% 넘게 올랐고, 세계 DRAM의 약 10%를 생산합니다. 저가 소비자용 메모리 가격을 누를 수 있지만, AI용 고성능 메모리에서는 뒤처져 있고 미국 수출 규제가 추격 속도를 제한합니다.

호황 지속론은 고객이 원하는 AI 메모리가 현재 공급의 두 배라고 보며, 계약과 선급금이 수요를 묶어 둔다고 주장합니다. 메모리가 하이퍼스케일러 설비투자의 30% 이상이 될 수 있다는 전망도 있지만 집계 방식에 따라 달라집니다. 공급 과잉론은 신규 투자 1,300억 달러, Samsung의 복귀, 중국의 확대, 메모리를 덜 쓰는 소프트웨어를 근거로 듭니다. 일부 한국 전문가는 2029년 무렵 공급 홍수를 경고합니다. Jensen Huang은 공급 과잉에 대해 '그렇게 생각하지 않는다'고 짧게 답했습니다.

⏱ 07:45자막에 따르면 메모리 업체는 예상 이익의 5~6배에 거래되는 반면, 반도체 장비 업체는 20배 이상입니다. 2018년과 2022년에는 메모리 주가가 약 절반 떨어졌고, 두 번의 하락 모두 이익이 사상 최고였을 때 시작됐습니다. 2026년 10월에는 닷새 만에 SK hynix가 26% 하락했다는 사례도 소개됩니다.

발표자는 메모리가 모든 흐름이 통과하는 '정유 공장'인지, 상품을 파는 '유전'인지 묻습니다. 현재 HBM은 소수 공급자, 맞춤형 칩, 선급 다년 계약 때문에 정유 공장에 가깝지만, 낮은 배수는 시장이 아직 유전으로 보고 있다는 신호로 해석됩니다. 주목할 네 가지는 Samsung의 점유율, 계약 갱신, 중국의 진전, 2028년 무렵의 신규 공장입니다.