요약
⏱ 00:001. GPU보다 먼저 막히는 메모리
⏱ 00:00영상은 엔비디아의 고가 GPU가 계산은 순식간에 끝내고도 다음 데이터를 기다리며 놀고 있는 현상을 출발점으로 삼습니다. 연산 능력보다 메모리 공급 속도가 실제 병목이라는 주장입니다.
⏱ 01:202. KV 캐시와 에이전트가 키우는 수요
⏱ 01:20대화 중 모델은 입력을 키와 값 형태의 KV 캐시로 저장해 두고 후속 질문에서 재사용합니다. 짧은 대화에서는 문제가 작지만, 수백 쪽 문서를 읽고 여러 도구를 쓰며 긴 기억을 유지하는 AI 에이전트가 늘면 캐시 크기가 기가바이트에서 테라바이트, 데이터센터 단위로는 페타바이트까지 커집니다.
영상은 화웨이가 주류 모델이 100만 토큰 이상의 컨텍스트를 지원한다고 말했다고 전합니다.
⏱ 02:203. HBM이 병목이 되는 이유
⏱ 02:20캐시는 프로세서가 빠르게 접근할 수 있는 곳에 있어야 하며, 전통적으로 GPU 옆에 적층된 HBM과 DRAM이 그 역할을 맡습니다. HBM은 매우 빠르지만 비싸고, 전력 소모가 크며, 용량이 제한적입니다. 최고급 엔비디아 GPU도 수백 기가바이트 수준의 HBM만 탑재합니다.
⏱ 03:124. 칩 주변에 메모리 풀을 키우는 구조
⏱ 03:12화웨이의 접근은 칩에 메모리를 더 넣는 대신 칩 주변에 훨씬 큰 메모리 풀을 만드는 것입니다. 영상은 이를 빠른 작업자에게 작은 책상만 주는 대신 근처에 큰 창고를 짓고 컨베이어 벨트로 연결하는 비유로 설명합니다.
핵심 요소는 DRAM과 SSD를 계층형으로 묶은 유니파이드 버스와, 데이터 온도에 따라 위치를 정하는 KV 인식 스토리지입니다. 자주 쓰는 핫 데이터는 빠른 메모리에, 덜 쓰는 콜드 데이터는 SSD에 두고 캐시를 클러스터 전체가 공유하게 합니다. 화웨이는 NPU당 캐시 용량이 기가바이트에서 테라바이트 수준으로 늘어난다고 주장합니다.
⏱ 04:515. SSD를 빠르게 만드는 데이터 경로
⏱ 04:51SSD는 HBM보다 훨씬 느리기 때문에 용량을 늘리면 지연 시간이 문제가 됩니다. 일반적인 경로는 NPU에서 CPU, 네트워크, 스토리지를 거치며 단계마다 프로토콜 처리와 데이터 이동이 생깁니다.
화웨이는 CPU, 네트워크 컨트롤러, 플래시 컨트롤러를 더 직접 연결해 NPU와 SSD 사이를 한 번의 홉으로 잇는다고 설명합니다. 이 구조로 지연 시간이 60마이크로초까지 줄고 대역폭이 초당 40테라바이트에 이르며, 경쟁 솔루션보다 1.5배 높다고 주장합니다. 코딩 작업에서는 토큰 처리량이 두 배, 첫 토큰 생성 시간이 절반이라는 보고도 함께 제시됩니다.
⏱ 06:036. 쓰기 내구성과 비용 문제
⏱ 06:03SSD는 저장 용량당 가격이 낮지만, AI 추론의 잦은 쓰기와 재쓰기는 플래시 셀을 빠르게 마모시킬 수 있습니다. 데이터센터가 SSD를 자주 교체하면 비용이 급격히 늘어납니다.
화웨이는 캐시 데이터의 유효 기간을 예측해 쓰기를 여러 매체에 분산하는 KV 인식 적응형 스토리지를 내세우며, 하루 24회 드라이브 쓰기와 일반 대비 16배 수준의 내구성으로 3년 운영이 가능하다고 주장합니다. 영상은 이것이 실제 환경에서도 유지될 때에만 교체 감소와 토큰당 저장 비용 절감으로 이어진다고 강조합니다.
⏱ 06:497. 수출 통제와 아직 확인되지 않은 것
⏱ 06:49영상은 이 시도를 미국의 수출 통제 전략과 연결합니다. 첨단 리소그래피 접근 제한, HBM 제한, 엔비디아 GPU 제한이 겹쳐 있는데, 화웨이는 HBM 없이도 메모리 병목을 우회할 수 있다는 방향을 제시하고 있다는 해석입니다. 딥시크의 Tile Lang 같은 도구 최적화와 함께 보면 CUDA 의존을 줄이는 더 큰 흐름으로 볼 수 있다고 설명합니다.
다만 영상은 확인되지 않은 부분이 많다고 경고합니다. 실제 워크로드에서 60마이크로초 지연과 64페타바이트 캐시가 구현되는지, 전체 전력 소비, 수천 개 SSD의 고장률, 모델별 성능 변화에 대한 독립 테스트는 아직 없습니다. 소프트웨어 생태계 연동도 필요합니다. 엔비디아 역시 메모리 용량과 상호연결을 키우고 있어, 이번 발표는 방향성을 보여주는 신호로 읽는 것이 적절하다는 결론입니다.
