AI 병목은 한국 메모리에 있다는 버클리 교수의 경고

버클리 교수의 강의 형식으로 전개되며, AI 가속기의 성능이 메모리 용량만이 아니라 대역폭과 첨단 패키징 공정에 함께 좌우된다는 점을 짚습니다. 한국 메모리의 중요성은 HBM의 구조와 실제 병목 위치를 따져 보아야 판단할 수 있다는 결론으로 정리됩니다.

⏱ 00:00영상은 엔비디아가 AI 가속기를 설계하지만, 그 안에 들어가는 메모리의 생산 일정은 직접 정하지 못한다는 점에서 출발합니다. 설계는 미국, 첨단 패키징은 대만, 고대역폭 메모리(HBM)는 한국이 쥐고 있는 구도로 소개되며, HBM은 이미 내년 생산분까지 예약이 시작됐다고 전합니다.

⏱ 00:17버클리 캠퍼스의 교수는 인공지능의 병목이 한국 메모리에 있다고 주장하지만, 강의실의 청중은 메모리는 필요하면 다른 곳에서 사오면 된다고 여겼습니다. 이때 대만 출신 패키징 엔지니어 쉬자하오가 가속기 단면도를 짚으며, 패키징은 마지막에 붙이는 조립이 아니라 메모리가 성능을 내기 위해 먼저 통과해야 하는 관문이라고 반박합니다.

⏱ 03:01에번 크로스필드 박사과정생은 자신의 성능 모델에 메모리 구성을 넣는 칸은 있었지만, 그 구성을 누가 언제 얼마나 확보할 수 있는지는 확인하지 않았다는 점을 교수의 질문을 받고 깨닫습니다. 그는 메모리는 조달의 몫이라고 말했지만, 그 빈칸이 모델의 가장 큰 공백이었다고 인정합니다.

교수는 이 문제를 여섯 개의 질문으로 나누어 강의를 진행하겠다고 밝힙니다. 계산기는 왜 기다리는가, 메모리는 모두 같은 물건인가, 대만이 막히면 한국이 풀 수 있는가, 미국산으로 바꾸면 끝나는가, 돈을 쓰면 바로 늘어나는가, 누가 누구의 생산 시간을 기다리는가가 그 질문입니다.

⏱ 05:02교수는 용량을 창고가 담을 수 있는 크기에, 대역폭을 일정 시간에 옮길 수 있는 양에 비유합니다. 창고가 아무리 커도 문이 좁으면 공장은 기다리게 되므로, 프로세서가 데이터를 충분히 빨리 받지 못하면 연산 성능을 다 쓰지 못할 수 있습니다.

크로스필드는 모든 작업이 메모리에 막히는 것은 아니라고 반박하고, 교수도 작업에 따라 계산이 모자랄 수도 데이터가 모자랄 수도 있다고 인정합니다. 이어 엔비디아 H 시리즈 SXM 사양표가 메모리 용량 80GB와 초당 약 3.35TB의 대역폭을 함께 적어 둔 사례가 제시됩니다. 크로스필드는 자기 모델이 대역폭을 빠뜨렸다고 인정하면서도, 사양을 채우는 메모리라면 어느 회사 제품이든 들어갈 수 있으니 여전히 구매 문제라고 맞섭니다.

⏱ 08:40교수는 사양을 채우는 메모리가 HBM이라고 답하면서도, 이름만으로는 증명이 되지 않으니 그 안의 구조를 봐야 한다고 말합니다. HBM은 디램 칩을 여러 층 쌓고 층 사이를 연결해 넓은 데이터 통로를 만드는 제품으로 설명되며, 만드는 순서와 검사 방식도 일반 디램과 다르다고 합니다.

시장조사 기관 트렌드포스의 집계로 2024년 1분기 세계 디램 매출의 절반을 넘는 곳이 삼성전자와 SK하이닉스라는 수치가 언급되지만, 교수는 이것이 HBM 점유율이나 생산량, 특정 가속기 납품 실적이 아니라 일반 디램 전체 매출이라며 증거로 쓰지 않겠다고 밝힙니다. 두 한국 회사가 HBM을 개발하고 생산한다는 사실은 공개된 내용이지만, 같은 이름이 같은 고객에게 같은 자격으로 납품된다는 뜻은 아니라는 점도 강조됩니다.

⏱ 14:50쉬자하오는 좋은 메모리라도 프로세서와 맞물리는 접합부가 한 곳만 어긋나면 기계가 출하되지 못한다고 지적합니다. 그는 패키징을 프로세서 공장과 메모리 공장에서 따로 완성된 부품을 얇은 실리콘판 위에 나란히 올리고 수천 가닥의 선으로 잇는 일로 설명합니다. 완성 뒤에는 전체를 다시 시험해야 하며, 여기서 떨어지면 부품은 좋아도 기계는 쓸 수 없게 됩니다.

그는 패키징을 마지막 조립으로 부르는 것은 직접 해보지 않은 사람의 말이라고 지적합니다. 대만 TSMC의 CoWoS가 고성능 반도체와 HBM을 함께 묶는 첨단 패키징 기술로 소개되며, 얇은 판은 두 부품이 올라서는 바닥이자 두 부품 사이를 잇는 길 역할을 한다고 설명됩니다.

⏱ 19:08영상은 TSMC가 2023년 인공지능 수요에 비해 첨단 패키징 생산 능력이 부족하다고 공개적으로 설명했다는 점을 언급합니다. 교수는 HBM을 충분히 확보해도 패키징이 모자라면 완성된 가속기를 원하는 만큼 내보낼 수 없으며, 이 부분은 한국 메모리가 풀 수 없는 독립된 병목이라고 인정합니다.

크로스필드는 병목이 한 곳이어야 한다는 가정이 자기 모델에 들어 있었다고 되돌아보고, 교수는 한 곳이 좁다고 다른 곳을 살피지 않는 것도 잘못이라고 답합니다. 마지막에 메모리를 만드는 회사가 한국에만 있는지를 묻는 질문이 나오지만, 미국 업체에 관한 답은 자막에 나오지 않고 영상이 끊깁니다.