AI 칩이란 무엇인가: 왜 메모리가 병목이 되었나

AI 칩은 행렬 연산에 특화된 프로세서로, GPU·TPU·NPU·ASIC 등으로 나뉩니다. 최근에는 칩보다 HBM 같은 메모리 공급이 병목으로 떠올랐고, 랙 단위 판매, 막대한 설비 지출, 대만 생산 집중에 따른 지정학 리스크가 함께 거론됩니다.

⏱ 00:11엔비디아의 데이터 센터 칩 매출이 한 분기 890억 달러로 1년 전보다 117% 늘었다는 수치로 시작합니다. 그런데 지금 가장 구하기 어려운 것은 칩 자체가 아니라 칩 옆에 붙는 메모리라는 점이 핵심 질문으로 제시됩니다.

⏱ 00:41AI 칩은 거대한 숫자 격자를 곱하는 수학 연산을 매우 잘 처리하도록 설계된 프로세서이며, 챗봇, 이미지 생성, 로봇의 기본 작동 원리가 여기에 있습니다. CPU는 8~192개의 강력한 코어로 복잡한 작업을 순서대로 처리하는 데 강하고, 엔비디아 H100은 16,896개의 단순 코어가 동시에 움직입니다.

행렬 연산을 하드웨어에서 직접 수행하는 텐서 코어까지 더해지면 GPU는 AI 작업에서 CPU보다 10배 이상 빨라집니다. GPU는 원래 비디오 게임의 픽셀을 그리기 위해 만들어졌는데, 그 수학 연산이 AI와 같다는 점이 발전의 출발점이었습니다.

⏱ 01:32AI 칩은 GPU, 구글이 설계한 TPU, 휴대폰과 노트북에 들어가는 NPU, 특정 기업 업무용 ASIC의 네 종류로 나뉩니다. 여전히 엔비디아 GPU가 가장 많이 팔리지만, 최대 고객사들이 자체 칩을 만들기 시작했습니다.

구글의 Ironwood TPU는 칩당 192GB 메모리를 탑재하고 9,216개씩 묶어 하나의 포드로 구성합니다. 아마존 Trainium 3는 서버 한 대에 144개 칩을 넣고, 마이크로소프트 Maia 200은 216GB 메모리를 갖췄습니다. 마이크로소프트는 저정밀 연산에서 아마존 칩보다 낫다고 주장하지만, 영상은 이것이 독립 테스트가 아닌 회사 측 주장임을 짚습니다. 자체 칩은 운영 비용을 낮추고 엔비디아에 지불할 비용을 줄이려는 목적이 큽니다.

⏱ 03:26이제 판매 단위는 칩이 아니라 랙입니다. 엔비디아 GB200 NVL72는 GPU 72개를 담은 액체 냉각 캐비닛으로, 약 120kW의 전력을 소비합니다. 차세대 Vera Rubin도 랙당 72개 GPU를 넣으며, HBM4 288GB와 50페타플롭스의 저정밀 AI 연산 능력을 갖추고 올 가을 출하가 시작될 예정이라고 엔비디아는 밝혔습니다.

다만 리서치 업체 SemiAnalysis는 회로 기판 문제로 다음 랙 모델 Kaiba의 출시가 2028년으로 밀렸다고 보도했고, 엔비디아는 로드맵에 이상이 없다고 답했습니다.

⏱ 04:12GPU는 프로세서 바로 옆에 고대역폭 메모리인 HBM 스택을 필요로 하며, 이를 생산하는 기업은 SK하이닉스, 삼성, 마이크론 세 곳뿐입니다. 엔비디아 재무 책임자는 현재의 메모리 부족이 주로 AI 인프라 구축 자체에서 비롯된다고 설명했습니다. 엔비디아의 공급 업체 약정 규모는 한 분기 만에 1,190억 달러에서 2,790억 달러로 급증했고, 대부분이 메모리 관련 비용입니다.

마이크론은 지난 분기 메모리 매출이 전년 대비 343% 늘어 약 400억 달러를 기록했고, 연간 매출 총이익률은 81%였습니다. CNBC는 마이크론의 2026년 HBM 물량이 매진되어 구매자들의 납품이 늦어지고 있다고 보도했으며, 마이크로소프트도 기대했던 외부 GPU 공급 일부가 2027년 상반기로 연기되었다고 밝혔습니다.

⏱ 05:16마이크로소프트, 알파벳, 아마존, 메타는 올해 7,400억 달러 이상을 지출할 예정이고, 엔비디아는 상위 5개 고객사의 내년 지출이 올해 8,000억 달러에서 1조 3,000억 달러로 늘어날 것으로 예상합니다. 거래 규모는 제품 개수가 아니라 전력량(기가와트)으로 측정되는 추세입니다. OpenAI는 AMD 6GW, 브로드컴을 통한 자체 칩 10GW, 엔비디아 칩 최소 10GW에 대한 의향서를 맺었습니다.

한편 현금 흐름 압박도 거론됩니다. 최근 보고서에 따르면 아마존의 잉여 현금 흐름은 약 420억 달러 적자로 돌아섰고, 브로드컴은 Anthropic이 자사 칩을 대여하도록 최대 420억 달러를 대출해 줄 수 있다고 공시했습니다. 칩 제조사가 고객의 구매를 돕기 위해 자금을 빌려주는 구조입니다.

⏱ 06:18첨단 AI 칩 대부분은 대만에서 생산되며, 경쟁 강대국으로부터 불과 130km 떨어져 있다는 지정학 리스크가 있습니다. 패키징 역량도 제한적이어서 공급망이 특정 지점에 집중되어 있습니다. 미국은 2022년 자국 내 칩 생산에 520억 달러를 투입했고 구매 대상에 대한 통제를 이어가고 있습니다. 지난 12월 백악관은 승인된 중국 고객에게 H200 판매를 허용하되 미국이 수익의 25%를 가져가는 조건을 걸었고, 이후 엔비디아는 대중 선적이 데이터 센터 매출의 1% 미만이며 전망치에는 포함하지 않았다고 밝혔습니다.

병목은 시기에 따라 옮겨 갑니다. 2023년에는 패키징이 문제였고, 현재는 메모리이며, 다음은 전력이 될 수 있습니다. 영상은 Rubin 아키텍처의 제때 출시, 2027년 메모리 부족의 완화, 막대한 설비 지출의 성과를 지켜볼 세 가지 질문으로 제시합니다.