구글 TPU엔 삼성, 아마존 칩엔 하이닉스? 엔비디아 독점 균열

앤트로픽 상장신고서를 보면 AI 칩 임대 계약에서 구글 TPU 몫이 엔비디아를 앞서는 구도가 드러납니다. TPU와 아마존 트레이니엄은 엔비디아 GPU보다 비용과 추론 효율을 내세우고, 이 칩들에 들어가는 HBM은 삼성전자와 SK하이닉스가 나눠 공급합니다. 특히 트레이니엄4에서 HBM이 8개로 늘어나는 점이 주목할 변화입니다.

⏱ 00:00AI 칩 시장은 그동안 엔비디아가 사실상 혼자 팔아 온 곳이었습니다. 그런데 클로드를 만든 앤트로픽이 상장을 앞두고 낸 신고서에는 AI 칩을 빌리는 데 약속한 돈이 적혀 있었고, 1위는 엔비디아가 아니었습니다.

1위는 브로드컴과 맺은 1,612억 달러 계약인데, 여기서 빌려주는 칩은 구글이 설계한 TPU입니다. 미국 인디애나에서는 작년 10월부터 엔비디아 칩이 하나도 없는 아마존 데이터센터가 돌아가고 있습니다.

⏱ 01:01앤트로픽은 칩을 직접 사지 않고 장비째로 빌려 쓰며, 11월 2일 고쳐 낸 신고서에 누구에게 얼마를 낼지가 나와 있습니다. 2위는 구글과 직접 맺은 1,213억 달러, 3위는 스페이스X의 최대 1,205억 달러입니다. 스페이스X는 자기가 들여놓은 엔비디아 GPU를 빌려주는 곳입니다.

브로드컴 계약도 결국 구글 TPU를 빌려주는 것이라, 1위와 2위를 합치면 구글 칩 몫은 약 2,825억 달러로 엔비디아 쪽의 두 배가 넘습니다. 구글이 설계하고 브로드컴이 만들어 공급하는 구조여서 숫자상 주력은 이미 구글 쪽이라는 해석입니다.

⏱ 02:21돈 때문으로 보입니다. 엔비디아는 GPU에서 매출총이익률 70%를 남기는데, 업계에서는 이를 엔비디아 세금이라고 부릅니다. 분석기관 세미애널리시스는 구글이 TPU v7을 내부에서 쓰면 같은 작업에서 엔비디아 GB200보다 비용이 44% 적게 든다고 봤고, 마진을 붙여 외부에 팔아도 30% 싸다고 계산했습니다.

더 중요한 이유는 추론입니다. AI 회사의 비용은 모델을 만드는 학습과 질문마다 답을 내는 추론으로 나뉘는데, 점차 추론이 비용의 중심이 되고 있습니다. 추론은 같은 계산을 반복하므로, 범용인 GPU보다 행렬 계산에 특화된 TPU가 유리하다는 설명입니다.

⏱ 03:44구글은 올해 4월 앤트로픽에 400억 달러 투자를 결정했습니다. 200억 달러는 이미 들어갔고, 남은 200억 달러는 앤트로픽의 구글 TPU 사용량과 연동된 구조입니다. 구글이 자기 돈을 넣어 자기 칩을 더 쓰게 만드는 셈입니다. 브로드컴도 리스료 가운데 420억 달러 정도를 현금 대신 전환사채로 받을 수 있게 계약해, 현금이 아쉬운 고객의 부담을 덜어 주었습니다.

계약 기간에도 차이가 있습니다. 브로드컴 TPU 계약은 해지할 수 없는 조건이지만, 스페이스X의 엔비디아 GPU 임대 계약은 내년 3월까지만 묶여 있고 이후에는 90일 전 통보로 끊을 수 있습니다. 이를 원전과 LNG 발전소에 빗대어, TPU는 한 번 깔면 빼기 어려운 인프라이고 GPU는 필요에 따라 조절하기 쉬운 자원으로 설명했습니다.

⏱ 05:32아마존의 트레이니엄은 원래 AI 칩으로 출발하지 않았습니다. 인수한 이스라엘 설계회사 안나푸르나랩스가 데이터센터용 네트워크 칩을 만들던 팀이었고, 그 팀에서 나온 AI 칩이 트레이니엄입니다. 2024년 말 나온 트레이니엄2가 실질적인 데뷔작이며, 인디애나 데이터센터에는 이 칩이 50만 개 깔려 앤트로픽 클로드 학습에 쓰이고 있습니다.

트레이니엄은 싸고 쓸 만하다는 평가와 함께 쓰기 불편하다는 지적을 받았습니다. 내년에 나올 트레이니엄4는 엔비디아의 칩 연결 기술 NVLink Fusion을 지원해 엔비디아 칩과 섞어 쓸 수 있게 됩니다. 고객이 한쪽만 고르지 않아도 되어 갈아타는 부담이 줄어드는 변화입니다.

⏱ 07:29HBM은 메모리를 층층이 쌓아 만든 고속 메모리로, AI 칩 바로 옆에 붙습니다. 몇 층으로 쌓았는지는 단, 칩 옆에 몇 덩어리를 붙였는지는 스택으로 구분합니다. 트레이니엄2에서 3으로 가면서 단은 8단에서 12단으로 높아졌고, 스택은 4개로 같았습니다. 트레이니엄4에서는 스택이 4개에서 8개로 늘어납니다.

비유하면 칩은 공장, HBM은 옆에 붙은 창고입니다. AI 칩이 느린 경우가 많은 것은 계산이 느려서보다 창고에서 재료가 늦게 와 기계가 노는 메모리 벽 때문입니다. 층을 올리는 것만으로는 도로가 그대로라 배송이 크게 빨라지지 않고, 창고 동수를 늘려 진입 도로를 늘려야 운송 효율이 오릅니다.

⏱ 09:25트레이니엄4에는 다음 세대 HBM4가 8개 들어갈 것으로 예상됩니다. HBM4는 스택 하나의 도로 폭이 HBM3E의 두 배라, 도로 수와 폭이 모두 늘어나 아마존은 트레이니엄4의 메모리 대역폭이 네 배라고 설명합니다. 엔비디아 B300과 구글 TPU v7은 이미 HBM 8개 구성이어서, 트레이니엄도 같은 체급이 되는 셈입니다.

삼성전자와 SK하이닉스 입장에서 보면 트레이니엄3 한 개에 HBM 4개가 들어가던 것이 트레이니엄4에서는 8개로, 단가가 높은 HBM4가 두 배 들어갑니다. 현재 구도는 엔비디아와 아마존이 SK하이닉스, 구글 TPU는 삼성전자가 주력으로 보입니다. 고객이 여럿으로 나뉘어 한 고객의 교섭력이 줄어드는 점은 긍정적입니다. 다만 앤트로픽과 오픈AI가 이 칩들을 살 돈이 내년에도 충분할지가 관건으로 남아 있습니다.