지오의 기술노트

AI 반도체, 고성능 그래픽카드, 데이터센터에서 요즘 빠지지 않고 언급되는 기술,바로 **HBM(High Bandwidth Memory)**이다.기존 메모리와는 구조도 다르고, 성능과 전송 속도 모두 혁신적인 이 메모리는왜 주목받고 있을까? HBM이란? HBM은 High Bandwidth Memory, 즉 고대역폭 메모리라는 뜻이다.기존의 DRAM(대표적으로 DDR4, DDR5)이 수평으로 배치되어 CPU나 GPU와 연결되는 반면,HBM은 **여러 개의 DRAM 칩을 수직으로 쌓은 형태(3D 스택)**를 가진다. 이 스택을 실리콘 인터포저와 함께 TSV(Through Silicon Via, 실리콘 관통 전극) 기술로 연결해고속 데이터 처리가 가능하게 만든 구조다. 기존 메모리와의 차이점구분일반 DRA..

AI 칩의 성능은 왜 메모리에 달려 있을까?CPU나 GPU가 아무리 빨라도, 데이터를 빠르게 주고받지 못하면 성능은 제약된다. 이때 중요한 역할을 하는 것이 바로 HBM(High Bandwidth Memory), 고대역폭 메모리다.  🧠 HBM이란 무엇인가? HBM은 기존의 DRAM보다 훨씬 높은 데이터 전송 속도를 제공하는 메모리 기술이다. 이름 그대로 “Bandwidth(대역폭)”, 즉 한 번에 처리할 수 있는 데이터 양을 비약적으로 높여주는 데 초점이 맞춰져 있다. 기존 DRAM: 옆으로 나란히 배치 → 데이터 이동 거리 ↑HBM: 칩 위에 메모리를 수직으로 쌓는 3D 구조 → 데이터 전송 거리 ↓, 속도 ↑ 이러한 구조 때문에 HBM은 일반 메모리보다 전력 효율도 좋고, 발열도 적다.  🏎️ ..