이번에는 HBM이 AI 시대 핵심으로 불리는 이유를 정리해봤어요. AI 반도체 이야기를 보면 GPU만 주목받기 쉽지만, 실제로는 데이터를 빠르게 공급하는 메모리도 성능을 좌우합니다. 1) AI 연산은 데이터 이동 속도가 중요하다 AI 모델은 엄청난 양의 데이터를 계속 읽고 계산합니다. GPU가 아무리 빨라도 필요한 데이터가 늦게 도착하면 연산 장치가 기다리게 됩니다. 이 병목을 줄이기 위해 높은 대역폭을 제공하는 HBM이 중요해졌습니다.2) HBM은 메모리를 수직으로 쌓는 구조다 HBM은 여러 개의 DRAM 칩을 위로 쌓고, 넓은 통로로 데이터를 주고받는 고대역폭 메모리입니다. 일반 메모리보다 한 번에 훨씬 많은 데이터를 빠르게 이동시킬 수 있습니다. 그래서 AI 가속기처럼 데이터 처리량이 큰 칩에 ..