3회차 6절 · HBF

HBM과 HBF를 섞으면

HBF는 HBM을 대체하는 물건이 아니라 메모리 계층에 한 단을 추가하는 물건이다. 한 번의 디코딩 스텝에서 읽는 바이트 가운데 비율 f 가 HBF에서, 나머지 1−f 가 HBM에서 온다고 하자. 두 곳을 차례로 읽는다고 보면 걸리는 시간은 두 몫의 합이다.

Beff = 1 / [ (1−f)/BHBM + f/BHBF ] · C = CHBM + CHBF · HBM4 스택 대역폭 = 핀 속도 × 2,048비트 ÷ 8

HBF에서 읽는 몫과 실효 대역폭

작은 f 를 넓게 보이려고 슬라이더와 그림의 가로축을 제곱근 눈금으로 두었다.
슬라이더 범위 = 2026-08 OCP 공개 사양의 세 등급 범위(약 0.4~3.0 TB/s). 중간 등급의 값은 공개 자료에서 확인하지 못했다.
HBM4 스택 대역폭 BHBM
HBM4 스택 용량 CHBM
24~36 GB는 삼성 양산 12단, 64 GB는 표준(32Gb 16단) 최대. HBF 스택 용량 CHBF 는 공개 사양 최대 512 GB로 고정.
실효 대역폭 Beff
HBM만 읽을 때 대비
용량 합 C
스텝 시간 중 HBF 몫

본문과 대조 ()
계산 예: f = 0.1, HBM4 3.3 TB/s·36 GB(삼성 발표 최대), HBF 0.4 TB/s(가정값)·512 GB. 「본문」 열은 3회차 6절 「두 계층을 섞으면」 계산 예, 「현황과 사양」, 4절 「세대별 사양」 표와 아래 목록의 값이다.
항목계산본문

f 를 작게 유지할 수 있는 데이터

느린 계층에서 읽는 몫이 조금만 커져도 그 계층이 전체 속도를 정한다. 그래서 f 를 작게 유지할 수 있는 데이터 — 예컨대 MoE에서 이번 스텝에 쓰이지 않는 전문가 가중치처럼, 대부분은 담아 두기만 하고 가끔 읽는 것 — 가 HBF의 자리다. 어떤 데이터가 그런지는 3회차 실습 4 「HBF 적합성 판정」이 읽기/쓰기 비율·재사용 거리·접근 단위·지연 민감도의 네 축으로 가린다. 판정 규칙 한 줄은 「읽기 전용이고, 크고, 언제 필요한지 미리 알 수 있는가」다.

이 계산이 빼놓은 것