칩 수 슬라이더는 용량상 최소치에서 몇 장을 더 얹을지 정한다. 이 계산은 칩 N장이 가중치를 나눠 동시에 읽는다고 보고 대역폭을 N배로 더하므로, 칩을 얹을수록 대역폭 쪽 상한이 장수에 비례해 오른다(405B fp16, 배치 1이면 11장 45 → 12장 50 tok/s). 실제로는 칩 사이 통신이 붙어 그만큼 오르지 않는다(아래 「이 도표가 말하지 않는 것」). 최소 장수에서는 모델 크기와 정밀도를 바꿔도 배치 1 상한이 칩 한 장의 용량 ÷ 대역폭(H100은 약 42 tok/s) 바로 위에 모이는 것을 70B·405B에서 확인해 볼 것. η는 본문의 「대역폭 이용률 60~80%」를 넣어 보라고 둔 손잡이다.
풀이표와 대조 ()
이 그림의 계산을 2회차 6절 표·본문, 실습 1·2 풀이와 대조한 것이다(실습 2는 H100 SXM, 배치 1, η 100%). 「풀이」 열은 풀이표의 반올림 값이다.
항목
계산
풀이
이 도표가 말하지 않는 것
루프라인은 오래 도는 커널이 넘을 수 없는 상한을 준다. 실제 속도를 예측하는 모형은 아니다. 2회차 부록 B가 꼽은 한계를 여기 옮긴다.
첫 토큰까지의 지연시간. 정상상태만 다룬다.
캐시 계층. HBM·L2·SRAM을 대역폭 B 하나로 뭉갠다.
노드 간 통신. 칩을 늘릴 때 붙는 텐서 병렬 통신 비용이 빠져 있다.
커널 실행·동기화 오버헤드, 전력 제한에 따른 클럭 하향.
KV 캐시 트래픽. 디코딩에서 가중치만 읽는다고 가정했다. 문맥이 길면 KV 캐시 읽기가 더해져 실제 연산강도는 더 낮다(실습 3).
저정밀 연산기의 피크. INT8·INT4를 골라도 Ppeak은 BF16 dense 값으로 고정했다. 가중치만 저정밀로 읽고 연산은 BF16으로 하는 경우다. 하드웨어가 지원해 연산까지 같은 정밀도로 하면 피크와 연산강도가 함께 늘어, 이용률은 fp16일 때와 비슷해진다. 2회차 실습 3 풀이의 이용률 열(I ≈ Bsz)은 그쪽 어림이고, 이 페이지보다 낮게 나온다.