들어가며

이 책의 사용법

이 책은 「일요일은 AI」 스터디의 반도체 회차를 위해 엮은 자습서로, AI 인프라와 반도체를 일곱 회차로 다룹니다. 통계·전산·AI 배경은 있지만 반도체를 전공하지 않은 분을 위해 썼고, 용어를 외우게 하는 대신 몇 개의 식을 세워 숫자를 직접 넣어 보게 합니다. 회차마다 계산 실습과 전체 풀이가 붙어 있어 혼자서도 답을 검증할 수 있습니다. 화면본(HTML)에서는 식 가까이에 놓인 인터랙티브 그림에서 값을 바꿔 볼 수 있고, 인쇄본(PDF)에는 같은 자리에 처음 상태의 그림이 실려 있습니다. 다른 모임에서 같은 방식으로 읽으시거나 혼자 읽으셔도 좋습니다.

이 책이 다루는 것

일곱 회차는 하나의 질문을 따라간다. "AI를 돌리는 물리적 설비의 한계는 어디에서 정해지는가."

2·4회차에서 세운 두 식이 나머지 전부를 지배한다. 시간이 없다면 그 둘만이라도 손으로 풀어 볼 것.

회차마다 무엇이 들어 있나

각 회차는 같은 구조를 따른다.

「자습 부록 A」의 풀이는 접혀 있다. 화면에서는 제목을 눌러 펼치고, 종이로 인쇄하면 자동으로 모두 펼쳐진다.

8주 진행표

일곱 회차지만 8주로 잡는 편이 낫다. 5회차(전공정)가 다른 회차의 1.5배 분량이기 때문이다.

주당 약 2시간이다. 회차 하나를 한 번에 다 읽기 어려우면 각 회차의 「읽는 순서」 표에 있는 단계 단위로 끊어 읽으면 된다.

매주 같은 그림 한 장을 갱신할 것

자습에서 가장 쉽게 무너지는 것이 "읽었는데 남지 않는다" 이다. 대응책은 하나뿐이다. 종이 한 장(또는 화면 한 장)에 아래 골격을 그려 두고, 매주 새로 배운 층을 덧그린다.

[사용자 요청] → [모델·소프트웨어] → [연산 칩] → [메모리] → [패키지]
                                                              ↓
[전력·냉각] ← [데이터센터·랙] ← [서버·보드] ← [제조·공급망] ←┘

갱신 규칙 세 가지

1. 각 화살표에 숫자 하나를 붙인다. (예: 연산 칩 → 메모리 화살표에 "리지 포인트 ≈ 295 FLOP/byte")
2. 각 상자에 병목 여부를 표시한다. 회차가 진행되며 병목 표시가 옮겨 다니는 것이 보여야 한다.
3. 지난주 그림을 지우지 않는다. 색을 바꿔 덧그린다.

7회차 말미의 「일곱 회차를 한 줄로 꿰기」가 최종 정답지다. 8주차에 그것을 보지 않고 복원할 수 있으면 끝난 것이다.

막혔을 때

수치에 관한 일러두기 — 반드시 읽을 것

이 책의 계산 실습에는 가정값이 많이 쓰인다. 결론의 방향을 보이기 위한 예시이지 실측치가 아니다.

기준일은 2026년 10월 8일이다. 양산·출하 현황, 전력 수요 전망, 표준과 제품 사양처럼 시점에 따라 바뀌는 서술은 이 날짜에 1차 출처(제조사 발표·표준 문서·기관 보고서)로 다시 확인했고, 본문에 확인한 시점을 함께 적었다.

가정값이며 그대로 인용하면 안 되는 것

• 웨이퍼 한 장 가격(15,000달러), 전기요금(kWh당 0.08달러), 가속기 노드 가격(25만 달러)
• ASIC·GPU 단가와 NRE, 결함 밀도 $D_0$, 조립 수율, 인터페이스 오버헤드 비율
• 각 실습에 명시된 그 밖의 설정값

공개 스펙시트 기준이며 세대 교체 시 달라지는 것

• 가속기의 연산 성능과 메모리 대역폭(A100·H100·B200). 모두 dense(희소성 미적용) 기준이다. 벤더 자료는 희소성 적용 시 2배 수치를 병기하므로 반드시 확인할 것
• HBM 규격, 레티클 한계, 마이크로범프·하이브리드 본딩 피치

구조적으로 안정적인 것 — 인용해도 되는 것

• 식 자체: 루프라인, 수율 모형, 레일리 판정식, 열저항, PUE 정의
• 그 식에서 나오는 관계의 방향: 면적이 커지면 수율이 지수적으로 떨어진다, NA를 키우면 초점심도가 제곱으로 나빠진다, 배치가 작으면 대역폭에 묶인다 등

시장 규모·점유율의 절대 수치는 이 책이 의도적으로 싣지 않았다. 자료마다 정의와 집계 기준이 달라 편차가 크기 때문이다. 1회차 4절이 그 이유를 다룬다.

다른 자료와 함께 볼 것

이 책이 상대적으로 얇은 부분은 아래와 같다.

1회차

AI 반도체 산업 지형

학습목표

이 회차가 끝나면 다음에 답할 수 있어야 한다.

1. "AI 반도체 시장이 몇 조 달러"라는 기사를 봤을 때, 무엇을 먼저 확인해야 하는가?
2. 밸류체인의 각 층에서 이익률과 대체 불가능성은 어떻게 다른가?
3. 학습(training)에서 추론(inference)으로 수요가 이동하면 하드웨어 요구사항은 어떻게 바뀌는가?
4. 반도체 공급망 리스크는 어떤 유형으로 나뉘고, 각각의 성격이 어떻게 다른가?

0. 자습 안내 — 혼자 읽는 사람에게

선행 지식 점검 — 다음 다섯 개를 한 줄로 설명할 수 있는가

막히는 것이 있으면 아래 답을 읽고 넘어가면 된다. 이 회차를 읽는 데는 이 정도면 충분하다.

읽는 순서 (총 100분 권장)

혼자 읽을 때는 앞에서부터 순서대로 읽는 것이 최선이 아니다.

절대 건너뛰지 말 것: 3절 「왜 이 전환이 메모리를 왕좌에 앉혔나」. 여기서 나온 "연산강도 $I\approx B$" 한 줄이 2회차의 루프라인, 3회차의 HBM, 6회차의 패키징, 7회차의 전력 문제로 전부 이어진다. 이 문단이 이해되지 않으면 2회차를 읽어도 계속 겉돈다.

3절이 어려우면 — 우회 경로

3절은 아직 세우지 않은 개념(연산강도, 리지 포인트)을 미리 당겨 쓰기 때문에 첫 독에서 막히는 것이 정상이다. 다음 비유로 감만 잡고 넘어간 뒤, 2회차를 읽고 다시 돌아와서 읽으면 풀린다.

도서관에서 책 한 권을 통째로 옮겨 와 한 문장만 읽고 돌려보낸다고 하자. 책을 옮기는 데 10분, 읽는 데 1초다. 이때 병목은 "읽는 속도"가 아니라 "옮기는 속도"다. 추론의 디코딩이 정확히 이렇다. 토큰 하나를 만들려고 모델 가중치 전체를 메모리에서 읽어 온다. 그러니 칩이 아무리 빨라도 소용이 없고, 메모리에서 얼마나 빨리 실어 오느냐가 전부를 결정한다. 해결책은 하나뿐이다 — 책을 한 번 옮겨 온 김에 여러 사람이 나눠 읽는 것(배치). 배치가 왜 그렇게 중요한지가 여기서 나온다.

1. 직관 잡기 — "AI 반도체"라는 말의 정체

하나의 물건이 아니다

"AI 반도체"라는 말은 최소 네 가지를 가리킨다.

기사나 보고서가 "AI 반도체 시장 규모 OO억 달러"라고 할 때 넷 중 무엇인지 밝히지 않는 경우가 많다. 정의가 다르면 수치는 몇 배씩 차이난다. 이 책이 들이려는 첫 번째 습관은 숫자를 볼 때마다 "이건 어느 범위인가?"를 묻는 것이다.

왜 이 산업이 갑자기 이렇게 커졌나 — 세 줄 요약

1. 트랜스포머는 행렬곱 덩어리다. 대규모 병렬 곱셈-누산으로 환원되는 연산이라 전용 하드웨어의 이득이 극단적으로 크다.
2. 스케일링 법칙이 "더 큰 모델 = 더 좋은 성능"을 경험적으로 뒷받침했다. 컴퓨트 투입이 곧 성능이라는 믿음이 자본 지출을 정당화했다.
3. 그런데 그 하드웨어를 만들 수 있는 곳이 극소수다. 수요는 폭발했는데 공급은 물리적·자본적으로 탄력이 없다. 그래서 가격과 이익이 특정 지점에 몰렸다.

이 책은 3번의 "왜 극소수인가"를 일곱 회차에 걸쳐 해부하는 과정이라고 봐도 좋다.

2. 밸류체인 — 누가 어디서 돈을 버는가

3층 구조

그림의 1층과 2층 사이에는 얇은 층이 하나 더 있다. 디자인하우스(설계 서비스 회사)는 팹리스가 넘긴 논리 설계를 특정 파운드리의 공정에 맞춰 물리적으로 구현하고 검증한 뒤 제조로 넘긴다. 파운드리도 이들을 협력망으로 묶어 둔다. TSMC는 VCA(Value Chain Alliance, 이전 이름은 Value Chain Aggregator)의 회원을 독립 설계 서비스 회사로 소개하면서, 이들이 IP 개발·설계 백엔드부터 웨이퍼 제조·조립·테스트까지 단계별 서비스를 맡아 시스템 회사·ASIC 회사·신생 고객의 설계를 양산으로 이끈다고 설명한다(2026년 10월 확인). 플레이어와 파운드리별 제도는 4회차에서 다룬다.

핵심 통찰 — 이익률과 대체 불가능성은 다르다

• 이익률이 가장 높은 곳: 1층의 선두 팹리스와 2층의 선두 파운드리
• 대체 불가능성이 가장 높은 곳: 3층. 특히 EUV 노광장비는 사실상 ASML 단독이다. 매출 규모는 NVIDIA보다 훨씬 작지만, 이 회사가 멈추면 첨단 로직 전체가 멈춘다.

이 비대칭이 지정학적 통제가 완제품 칩에 그치지 않고 3층(장비)까지 겨냥하는 이유를 설명한다. 완제품 칩 통제는 지금 팔리는 칩의 흐름을 막고, 장비 통제는 그런 칩을 스스로 만들 능력을 묶는다(5절 ③).

한국의 위치

• 강함: 메모리(DRAM·NAND·HBM). SK하이닉스와 삼성전자가 세계 시장의 큰 몫을 차지한다. 예컨대 SK하이닉스는 2026년 1분기 매출 기준으로 HBM 세계 1위, DRAM(HBM 포함)과 NAND 세계 2위였다(IDC 집계. SK하이닉스가 2026년 7월 미국 상장 때 낸 투자설명서에 실린 수치, 2026-10-08 확인).
• 상대적으로 약함: 첨단 파운드리 점유율, 팹리스 생태계, 장비·소재 국산화율.
• 구조적 함의: 메모리는 전통적으로 사이클이 극심한 시장이다. AI 수요가 그 사이클을 구조적으로 바꿨는지, 아니면 진폭만 키운 것인지는 7회차 마지막 토론 주제다.

3. 수요의 구조 변화 — 학습에서 추론으로

이후 모든 회차의 문제의식이 이 절에서 나온다.

학습과 추론은 다른 기계를 원한다

왜 이 전환이 메모리를 왕좌에 앉혔나

학습은 큰 배치를 쓰기 때문에 연산 유닛을 채울 수 있다. 그러나 추론의 디코딩 단계는 토큰 하나를 만들기 위해 모델 가중치 전체를 메모리에서 읽어야 한다. 가중치를 한 번 읽어서 하는 연산은 배치 안의 시퀀스 수만큼뿐이다.

거칠게 말해 fp16 가중치 1바이트당 연산량은 배치 크기 $B$ 에 비례한다. 연산강도는 대략 $I\approx B$ 수준이다. 2회차에서 보겠지만 최신 GPU의 리지 포인트는 300 FLOP/byte 근처다. 배치가 300 미만이면 GPU는 대역폭에 묶여 연산 유닛이 논다.

그런데 지연시간 요구 때문에 배치를 무한정 키울 수 없고, KV 캐시가 메모리를 잡아먹어 배치 크기가 메모리 용량에 의해 제한된다. 결국 추론 서비스의 경제성은 "얼마나 빠른 칩이냐"가 아니라 "얼마나 넓고 큰 메모리를 붙였느냐" 로 결정된다.

이것이 HBM이 산업의 중심이 된 이유이고(3회차), 첨단 패키징이 병목이 된 이유이며(6회차), 데이터센터 전력 문제가 터진 이유다(7회차).

4. 시장 수치를 비판적으로 읽는 법

실제로 벌어지는 일

같은 해의 "AI 가속기 시장"을 두고 자료마다 수치가 크게 다르다. 이유는 다음과 같다.

1. 범위 차이 — 가속기 칩만인가, 모듈·보드까지인가, AI 서버 전체인가? 서버 전체로 잡으면 CPU·메모리·네트워크·전원이 다 들어가 몇 배가 된다.

   전력 수치에도 같은 함정이 있다. NVIDIA는 H100(SXM)의 최대 열설계전력(TDP)을 「최대 700W, 설정 가능」으로 공시하고, H100 8장을 담은 DGX H100 서버의 최대 입력 전력을 10.2kW로 적는다. 계산하면 칩 8장의 TDP 합은 5.6kW이고, 서버 최대 입력 전력과의 차이는 4.6kW다. CPU, 메모리, 네트워크, 팬, 전원 변환 손실 같은 항목이 이 차이에 든다. 다만 두 값이 모두 상한이라, 실제 작업 중에 칩 밖에서 4.6kW를 쓴다는 뜻은 아니다. 이 회차에서는 내역을 숫자로 나누지 않는다. 다음 세대 DGX B200의 시스템 최대 전력은 약 14.3kW다. 칩에서 서버로, 서버에서 냉각·배전을 포함한 시설로 경계를 넓힐 때마다 숫자가 커진다. 「AI 칩 하나가 쓰는 전력」이라는 말을 보면 어느 경계에서 잰 것인지부터 묻는다. 이 문제는 2회차 실습 4의 전력비 계산에서 다시 나온다. 제조 쪽도 구조가 같다. 웨이퍼 캐파, 양품 다이 수, 패키지 산출량, 출하량은 서로 다른 숫자다.

2. 집계 단위 차이 — 매출액인가, 출하 수량인가, 배포된 연산량(FLOPS)인가? 예를 들어 자체 칩(TPU 등)은 외부 판매가 없어 매출 기준 통계에서 과소평가되고, 배포 FLOPS 기준으로는 훨씬 크게 잡힌다.

3. 발표 주체의 이해관계 — 칩 회사, 시장조사기관, 투자은행은 각각 다른 유인을 가진다.

4. 시점 차이 — 반기마다 전망치가 크게 수정되는 시장이다.

확정할 수 있는 것과 없는 것

이 책은 다음과 같이 구분한다.

구조적으로 확정 가능 (여러 출처 일치)

• NVIDIA가 데이터센터 AI 가속기 매출의 압도적 다수를 점한다. 비율이 얼마이고 어느 쪽으로 움직이는지는 분모를 어떻게 잡느냐에 따라 달라지므로 여기에 넣지 않는다(실습 1).
• 하이퍼스케일러 자체 ASIC(Google TPU, AWS Trainium, Meta MTIA, Microsoft Maia)의 비중이 빠르게 늘고 있고, 그 설계 파트너로 Broadcom·Marvell 등이 부상했다.
• 추론이 AI 컴퓨트 지출에서 차지하는 비중이 학습을 넘어섰거나 넘어서는 중이다.
• HBM은 SK하이닉스·삼성·Micron 3사 과점이며, 매출 기준 선두는 SK하이닉스다(2026년 1분기 IDC 집계로 확인, 2026-10-08). 2·3위의 순서와 격차는 제품 세대가 바뀔 때마다 출렁이므로 여기서 단정하지 않는다.

확정 불가 (자료별 편차 큼 — 범위로만 언급)

• 연도별 시장 규모 절대 수치
• 업체별 점유율 정확한 퍼센트 (예: 같은 회사의 HBM 점유율도 분기 실적인지 연간 전망인지, 매출 기준인지 출하량 기준인지에 따라 수 %p씩 달라진다)
• 데이터센터 전력 소비 총량. 공신력 있는 추정도 폭이 넓다. 미국 로렌스버클리국립연구소(LBNL)는 2028년 미국 데이터센터 전력을 325~580TWh로 추정했다(6절 오해 6)

모임에서 읽는다면: 발제자에게 "이 수치의 출처와 정의를 한 줄로 말해달라"고 요구하는 규칙을 만들면, 이 회차의 학습 효과가 크게 올라간다.

5. 공급망 리스크의 세 축

① 지리적 집중

첨단 로직 제조가 대만에 크게 편중되어 있다. 이는 자연재해·지정학 양쪽에서 단일 실패점(single point of failure)이다. 각국의 자국 내 팹 유치 정책(미국 CHIPS법, EU 칩스법, 일본·한국의 지원)은 이 집중을 완화하려는 시도지만, 팹 하나를 짓고 수율을 올리는 데 수년이 걸린다는 점에서 단기 해법이 아니다.

② 단일 공급자 병목

여기서 중요한 점은 "기술적으로 만들 수 있는가"와 "실제로 얼마나 만들 수 있는가"가 다르다는 것이다. 예컨대 AI 가속기 공급량은 로직 웨이퍼가 아니라 CoWoS 패키징 캐파와 HBM 공급량에 먼저 걸린다. (6회차에서 자세히)

병목은 수요 쪽에서도 사슬을 이룬다. EUV → CoWoS → HBM은 공급 쪽에서 본 병목의 이동이다. 같은 이동을 수요 쪽에서 따라갈 수도 있다. 모델이 커지고 컨텍스트가 길어지면 연산량과 KV 캐시가 함께 늘고, 가중치와 KV 캐시를 담을 HBM의 용량·대역폭 요구가 커진다. HBM을 더 많이 붙이려면 패키지가 커지고 복잡해진다. 그런 가속기를 서버에 빽빽이 꽂으면 열밀도가 오르고, 끝내 랙과 시설의 전력·냉각이 한계에 닿는다. 한 고리의 요구가 늘면 압력이 다음 고리로 넘어간다. 그래서 시스템을 묶는 것은 대개 한 층 안의 성능이 아니라 층과 층이 만나는 접점이다. 메모리와 칩, 칩과 패키지, 서버와 시설 사이가 그렇다. 3회차(HBM), 6회차(패키징), 7회차(서버·시설)가 이 고리를 하나씩 맡는다.

③ 정책 리스크

수출통제는 완제품 칩만이 아니라 장비와 제조 능력까지 겨냥한다. 역외적용(해외직접생산품규칙 등) 때문에 제3국 기업도 영향을 받는다. 2026년 10월 현재 미국 수출관리규정(EAR)의 해외직접생산품(FDP) 규칙 조문(15 CFR §734.9)에는 첨단 컴퓨팅 FDP 규칙((h)항. 첨단 집적회로와 컴퓨터)과 반도체 제조장비(SME) FDP 규칙((k)항)이 따로 들어 있다. 미국의 특정 기술·소프트웨어로 만든 품목이거나 그런 기술로 지은 공장에서 만든 품목이면, 미국 밖에서 생산했어도 EAR의 적용을 받을 수 있다는 구조다. 조문은 8절 「후속 공부」의 eCFR 링크에서 볼 수 있다.

"슈퍼사이클의 역설"

호황일수록 모두가 병목 공정에 증설 투자를 한다. 팹·장비의 리드타임이 2~3년이라, 투자 결정 시점의 수요 신호와 캐파가 완성되는 시점의 수요가 어긋난다. 이것이 반도체 산업의 고전적 채찍효과(bullwhip effect)이며, 메모리에서 특히 심하다. AI 수요가 이 사이클을 없앴다는 주장과, 진폭만 키웠을 뿐이라는 주장이 대립한다. (7회차 마지막 토론)

6. 자주 하는 오해

오해 1: "AI 칩 = GPU" → GPU가 현재 지배적이지만 TPU·Trainium 같은 ASIC의 비중이 빠르게 늘고 있다. 더 중요한 것은, AI 시스템의 성능과 원가에서 메모리(HBM)와 패키징이 차지하는 비중이 크다는 점이다.

오해 2: "나노미터 숫자가 작을수록 무조건 좋은 칩" → 노드 이름은 물리 치수가 아니라 마케팅 명칭이다(4회차). 또한 AI 가속기 성능은 노드보다 메모리 대역폭과 패키징에 더 크게 좌우된다.

오해 3: "돈만 있으면 팹을 지으면 된다" → 장비 리드타임, 숙련 인력, 수율 램프업(양산 수율에 도달하기까지의 학습 곡선)이 자본보다 더 큰 제약이다. 팹 건물은 2년이면 짓지만 수율을 경쟁력 있는 수준으로 올리는 데는 그보다 오래 걸린다.

오해 4: "중국이 곧 따라잡는다 / 절대 못 따라잡는다" → 둘 다 단순화다. 성숙 노드(레거시)에서는 이미 상당한 캐파를 확보했고, 첨단 로직에서는 EUV 부재라는 구조적 제약이 있다. 층별로 나눠서 봐야 한다.

오해 5: "AI 반도체 호황은 곧 끝난다 / 영원하다" → 정직한 답은 "수요의 성격이 학습에서 추론으로 바뀌었으므로, 과거 사이클 모형이 그대로 적용될지가 불확실하다"이다. 추론 수요는 학습보다 지속적·운영비적 성격이 강해 사이클을 완화할 수 있지만, 증설 리드타임이라는 구조는 그대로다.

오해 6: "전력 효율이 좋은 칩이 나오면 데이터센터 총전력은 줄어든다" → 칩 한 장의 효율과 시설 전체의 총량은 다른 질문이다. LBNL이 미국 에너지부 지원으로 내놓은 2024년 미국 데이터센터 전력 보고서에 따르면, 미국 데이터센터 전력 사용량은 2014년 58TWh에서 2023년 176TWh로 늘었다. 2023년 미국 전체 전력의 약 4.4%다. 2028년에는 325~580TWh, 미국 전력의 6.7~12%로 추정된다(나머지 경제가 얼마나 성장하느냐에 따라 비율이 달라진다). 2017~2023년 사이에만 두 배 넘게 늘었고, 보고서는 그 주된 원인으로 AI 서버의 증가를 꼽는다. 이 기간에도 칩은 세대마다 전력 효율이 좋아졌다. 그런데도 총량은 세 배로 늘었으니, 효율과 총량은 따로 움직일 수 있다(이 해석은 이 책의 것이고 보고서의 결론으로 옮긴 것이 아니다). 2028년 추정의 폭이 두 배 가까이 벌어져 있다는 점도 눈여겨볼 만하다. 4절이 총량을 「확정 불가」로 분류하고 범위로만 쓰는 이유가 이것이다.

7. 토론 질문

1. 밸류체인 3층 중 어디에 투자·정책 자원을 넣는 것이 한 국가 입장에서 가장 효율적인가? 그 판단은 시간 지평(5년 vs 20년)에 따라 어떻게 달라지는가?
2. 하이퍼스케일러가 자체 칩을 만드는 것은 합리적인가? 어떤 조건에서 합리적이고 어떤 조건에서 아닌가? (4회차에서 정량적으로 다시 다룬다)
3. "AI 반도체 시장 규모" 추정치들이 크게 갈리는 것은 측정의 문제인가, 정의의 문제인가? 통계학을 공부한 사람으로서 이 추정치들을 어떻게 다뤄야 하는가?
4. 공급망 병목이 EUV(장비)에서 CoWoS(패키징)로, 다시 HBM(메모리)으로 옮겨가는 현상을 어떻게 이해해야 하는가? 병목은 왜 계속 이동하는가?
5. 메모리 산업의 전통적 사이클(호황→증설→과잉→침체)이 AI 수요로 인해 구조적으로 바뀌었다고 볼 근거가 있는가?

8. 후속 공부

• 산업 구조 개괄: Chris Miller, Chip War (2022) — 반도체 산업의 지정학을 다룬 표준 대중서. 이 회차의 배경 독서로 알맞다
• 기술 동향 정기 추적: SemiAnalysis, TrendForce, Counterpoint Research 등의 산업 분석. 단, 각각의 편향을 감안할 것
• 1차 자료: TSMC·SK하이닉스·Micron·NVIDIA의 분기 실적 발표 자료(특히 컨퍼런스콜 Q&A). 시장 보고서보다 정확한 경우가 많다
• 한국 관점: KDI 경제교육·정보센터, 산업연구원(KIET), ETRI 전자통신동향분석(ETRI Trends)의 반도체 산업 분석
• 전력 수요: LBNL, 2024 미국 데이터센터 전력 보고서 발표 — 6절 오해 6의 수치 출처
• 수출통제 조문: eCFR 15 CFR §734.9 — 해외직접생산품(FDP) 규칙의 현행 조문

자습 부록 A — 수치 감사 실습과 풀이

이 회차에는 계산 실습이 없다. 대신 4절에서 익힌 "정의를 먼저 묻는 습관"을 실제로 써 보는 세 문제를 둔다. 답을 보기 전에 종이에 먼저 써 볼 것.

실습 1 — 같은 회사, 다른 숫자

어떤 기사가 "A사의 AI 가속기 시장 점유율이 90%"라고 하고, 다른 기사가 "70%"라고 한다. 두 기사 모두 거짓말을 하지 않았다고 가정할 때, 어떤 정의 차이가 이 간극을 만들 수 있는가? 최소 세 가지를 제시하라.

실습 2 — 성장률의 함정

같은 해에 한 기사는 "AI 반도체 시장이 전년 대비 200% 성장했다"고 쓰고, 다른 기사는 "반도체 시장이 전년 대비 25% 성장했다"고 썼다. 두 기사 모두 반도체 산업을 다룬다. 모순인가? 답하기 전에 두 문장이 각각 무엇을 센 숫자인지부터 적어 볼 것.

실습 3 — 병목의 위치 추론

다음 세 가지 관찰이 동시에 보고되었다고 하자.

• 첨단 로직 웨이퍼 캐파는 여유가 있다.
• 가속기 리드타임은 40주가 넘는다.
• HBM은 이듬해 물량까지 선계약이 끝났다.

병목은 어디인가? 그리고 "웨이퍼 캐파를 늘리자"는 정책 제안은 왜 효과가 없는가?

자습 부록 B — 토론 질문 생각의 실마리

7절의 토론 질문은 정답이 있는 문제가 아니다. 다만 혼자 읽으면 "무엇을 근거로 답해야 하는지"조차 막막할 수 있으므로, 논점의 축만 제시한다. 결론은 각자 내리는 것이다.

자습 부록 C — 핵심 용어

이 회차에서 처음 나온 용어만 모았다. 2회차 이후로 계속 쓰인다.

자습 부록 D — 자가진단

각 항목에 자기 말로 답할 수 있으면 다음 회차로 넘어가도 좋다. 두 개 이상 막히면 위 「읽는 순서」의 해당 절로 돌아간다.

• ☐ "AI 반도체 시장 규모"라는 기사를 봤을 때 확인할 것 세 가지를 즉시 댈 수 있다 → 1·4절
• ☐ 밸류체인 3층을 그리고, 각 층에서 이익률과 대체 불가능성이 왜 어긋나는지 설명할 수 있다 → 2절
• ☐ 수출통제가 완제품 칩과 함께 제조장비까지 겨냥하는 이유, 그리고 장비 통제가 칩 통제와 달리 무엇을 묶는지를 한 문장으로 말할 수 있다 → 2·5절
• ☐ 학습과 추론이 요구하는 하드웨어가 어떻게 다른지 표를 안 보고 네 가지 이상 댈 수 있다 → 3절
• ☐ "토큰 하나를 만들려고 가중치 전체를 읽는다"가 왜 메모리를 병목으로 만드는지 설명할 수 있다 → 3절 ★
• ☐ 배치 크기를 키우면 왜 효율이 오르고, 왜 무한정 키울 수 없는지 말할 수 있다 → 3절 ★
• ☐ 공급망 리스크 세 축을 구분하고 각각의 대응 수단이 왜 다른지 설명할 수 있다 → 5절
• ☐ 병목이 EUV → CoWoS → HBM으로 이동한 현상을 "정상 작동"으로 설명할 수 있다 → 5절

★ 표시 두 개는 반드시 통과해야 한다. 2회차 전체가 이 두 문장의 정밀화다.

다음 회차로 넘어가기 전에

이 회차에서 이름만 나오고 정의되지 않은 채 남은 것이 셋 있다. 2회차가 이것들을 정식으로 세운다.

한 줄로 이어지는 질문: 칩이 아무리 빨라져도 메모리가 못 따라오면 소용없다면, 그 한계는 정확히 어디서 갈리는가?

출처

스터디 커리큘럼이 고른 입문 자료 ("AI 반도체" 항목)

2.0판에서 더한 1차 출처 (2026-10-08 확인)

• TSMC, Value Chain Alliance — 2절 디자인하우스 설명
• SK하이닉스, 미국 상장 투자설명서(Form 424B4, 2026) — SEC EDGAR 원문. 2026년 1분기 매출 기준 HBM 1위(점유율 56.4%), DRAM(HBM 포함) 2위(29.1%), NAND 2위(18.5%). 모두 IDC 집계를 인용한 것이다(2026-10-08 원문 대조)
• NVIDIA H100 제품 사양 · NVIDIA DGX H100/H200 사용자 안내서, Table 3 전원 사양 · NVIDIA DGX B200 사양 — 4절 측정 경계 사례
• LBNL, 「Berkeley Lab Report Evaluates Increase in Electricity Demand from Data Centers」(2025-01-15) — 6절 오해 6
• eCFR, 15 CFR §734.9 Foreign-Direct Product (FDP) Rules — 5절 ③

검증 상태

• 밸류체인 3층 구조와 각 층의 주요 기업 — 업계 표준 분류. 검증 완료
• 디자인하우스와 TSMC VCA의 성격 — TSMC 공식 페이지로 확인(2026-10-08). 옛 이름 「Value Chain Aggregator」는 Internet Archive 2019-07-30·2020-11-16 사본의 페이지 제목으로, 「Value Chain Alliance」는 2022-09-25 사본부터 확인(2026-10-22). 회원 명단은 시점에 따라 바뀌므로 본문에 쓰지 않음
• EUV 노광장비 ASML 단독 공급 — 검증 완료 (복수 출처 일치)
• HBM 3사 과점 구조와 선두(SK하이닉스) — 2026년 1분기 매출 기준 IDC 집계로 재확인(2026-10-08, SK하이닉스 투자설명서). 2·3위 순서는 1차 출처로 확인하지 않았으므로 본문에 쓰지 않는다. 정확한 점유율 수치는 자료별 편차가 커 본문에서 단정하지 않음
• H100 SXM TDP 「Up to 700W (configurable)」, DGX H100 최대 입력 전력 10.2kW, DGX B200 시스템 최대 전력 약 14.3kW — 제조사 사양 원문 확인(2026-10-08). 5.6kW·4.6kW는 계산값
• 미국 데이터센터 전력 58TWh(2014)·176TWh(2023, 약 4.4%)·325~580TWh(2028 추정, 6.7~12%), 2017~2023년 두 배 이상 증가와 주원인(AI 서버) — LBNL 보도자료 원문 확인(2026-10-08)
• 15 CFR §734.9의 첨단 컴퓨팅 FDP 규칙·SME FDP 규칙 — eCFR 현행 조문 확인(2026-10-05 기준 갱신본, 2026-10-08 열람). (h)항의 품목 범위가 ECCN 3A090·4A090 등 첨단 집적회로·컴퓨터이고 (k)항이 3B001 등 제조장비라는 점은 eCFR API의 2026-10-01 판 조문으로 다시 대조했다(2026-10-08)
• 추론이 AI 컴퓨트 지출의 다수를 차지하는 전환 — 복수 산업분석에서 일치하나 정확한 시점·비율은 자료별 상이. 구조적 추세로만 서술
• AI 가속기 시장 규모 절대 수치 — 미확인·편차 큼. 본문에서 특정 수치 제시하지 않음
• 업체별 정확한 점유율 퍼센트 — 미확인·편차 큼. 구조적 순위만 서술

2회차

AI 칩 — 연산 반도체

학습목표

1. CPU가 AI 연산에 비효율적인 이유를 "클럭이 느려서"가 아닌 에너지 관점에서 설명할 수 있다.
2. GPU 텐서 코어와 TPU 시스톨릭 어레이가 각각 어떤 방식으로 효율을 얻는지 구분할 수 있다.
3. 루프라인 모델을 세우고, 주어진 워크로드가 연산 바운드인지 대역폭 바운드인지 계산으로 판별할 수 있다.
4. 자체 ASIC 개발의 손익분기를 정량적으로 따질 수 있다.

0. 자습 안내 — 혼자 읽는 사람에게

직전 회차에서 가져오는 것

선행 지식 점검

읽는 순서 (총 120분 권장)

6절이 어려우면 — 세 문장으로 압축한 우회 경로

루프라인은 이름이 거창하지만 내용은 초등학교 산수다.

1. 일을 하려면 재료를 옮겨 오고(대역폭 $B$), 처리해야(연산 $P_{\text{peak}}$) 한다.
2. 둘 중 느린 쪽이 전체 속도를 정한다 — 그래서 $min$ 이다.
3. 어느 쪽이 느린지는 "재료 1kg당 얼마나 오래 처리하는가"($I$)로 갈린다. 처리가 오래 걸리는 일이면 연산이, 금방 끝나는 일이면 운반이 병목이다.

$$P_{\text{attainable}}(I)=min(P_{\text{peak}},B\times I)$$

이 식이 말하는 전부다. 나머지는 실제 숫자를 넣어 보는 일뿐이다.

1. 직관 잡기 — 계산은 싸고, 데이터 배달은 비싸다

물류 비유

공장에서 부품 하나를 가공하는 데 1초가 걸린다고 하자. 그런데 그 부품을 창고에서 가져오는 데 3분이 걸린다면, 공장 라인을 아무리 늘려도 생산량은 늘지 않는다. 개선 방법은 두 가지뿐이다.

• 창고를 가까이 옮긴다 (= 온칩 SRAM, HBM을 칩 옆에 붙이기)
• 한 번 가져온 부품으로 여러 작업을 한다 (= 데이터 재사용, 타일링, 배치 키우기)

AI 가속기 설계의 거의 모든 아이디어가 이 둘 중 하나다. 나머지는 전부 세부사항이다.

숫자로 보는 충격

Horowitz의 고전적 정리(ISSCC 2014, 45nm 공정 기준)에 따르면 연산과 메모리 접근의 에너지 차이는 다음과 같다.

위 세 줄(덧셈·곱셈)은 Horowitz 발표문의 그림 1.1.9에서 그대로 옮겼다. 메모리 두 줄은 같은 45nm 표를 인용한 Han 외(2015)의 32비트 접근 값이다. Horowitz의 그림은 메모리를 64비트 접근으로 적는다. 캐시는 8 KB 10 pJ, 32 KB 20 pJ, 1 MB 100 pJ이고 DRAM은 1.3~2.6 nJ이다. SRAM 5 pJ은 8 KB 캐시 값의 절반에 해당하므로, 캐시가 커지면 이 값도 커진다.

즉 DRAM에서 데이터를 한 번 읽는 비용이 부동소수 곱셈 한 번의 약 170배다. Horowitz의 DRAM 범위를 32비트로 반 나누어 세면 약 180~350배다. 공정이 미세화되면서 연산 에너지는 계속 줄었지만 오프칩 메모리 접근 에너지는 훨씬 덜 줄었기 때문에, 이 격차는 시간이 갈수록 벌어졌다.

여기서 따라 나오는 결론: 칩 설계자가 최적화해야 할 목적함수는 FLOPS가 아니라 "유효 연산당 총 에너지" 이고, 그 지배항은 데이터 이동이다.

2. 왜 CPU로는 안 되는가

오해부터 걷어내기

"CPU는 코어가 적어서 느리다"는 설명은 절반만 맞다. 더 근본적인 이유는 CPU가 지불하는 명령어당 고정 비용이다.

CPU가 c = a * b 한 줄을 실행할 때 실제로 일어나는 일:

1. 명령어 인출 (I-cache 접근)
2. 명령어 디코드
3. 분기 예측·레지스터 리네이밍·비순차 실행 스케줄링
4. 레지스터 파일 읽기
5. 실제 곱셈 ← 이것만이 "일"이다
6. 결과 쓰기, 커밋

1~4와 6이 5보다 훨씬 많은 에너지와 면적을 쓴다. CPU는 "다음에 무슨 일이 올지 모른다"는 가정 위에 설계되었고, 그 불확실성에 대비하는 비용이 곧 오버헤드다.

그런데 딥러닝은 다음에 무슨 일이 올지 안다

행렬곱은 데이터 의존적 분기가 없고, 접근 패턴이 정적으로 결정되며, 같은 연산이 수십억 번 반복된다. 불확실성이 없으므로 그 대비 비용을 전부 없앨 수 있다. 이것이 가속기가 존재하는 이유의 전부다.

위 1~6은 스칼라 명령어 하나를 기준으로 그린 그림이다. 실제 CPU도 명령어 하나에 여러 연산을 싣는다. SIMD 명령어는 벡터 하나를 통째로 처리하고, Intel AMX는 아예 행렬 단위로 간다. Intel AMX 코드 예제 문서에 따르면 AMX는 2차원 레지스터인 타일과 타일끼리 행렬곱을 하는 가속기 TMUL로 이루어지고, 팔레트 1 설정에서는 타일 레지스터 8개가 합쳐서 8 KB이고 타일 하나는 최대 16행 × 64바이트다. 같은 문서는 4세대 Xeon 스케일러블 프로세서와 Xeon Max 시리즈를 사용 대상으로 든다. 그러니 CPU가 연산을 하나씩 순차 처리한다는 설명은 입문용 축약이다. 다만 결론은 바뀌지 않는다. CPU는 범용성을 위한 제어 장치를 그대로 지고 있으므로, 같은 일을 가속기만큼 깊게 상각하지는 못한다.

정리: CPU→GPU→ASIC으로 갈수록 "유연성을 팔아 효율을 산다". 이 거래의 조건이 5절 ASIC 경제학이다.

3. GPU의 실체 — matmul 한 줄이 하드웨어에서 하는 일

SIMT 실행 모델

GPU는 스레드를 32개 묶음(워프, warp)으로 실행하며 한 워프의 32스레드가 같은 명령어를 동시에 수행한다. 명령어 인출·디코드 비용이 32개 연산에 분산되므로 오버헤드가 1/32이 된다.

GPU 코드를 짜 본 독자라면 익숙한 성능 함정이 여기서 나온다.

• 워프 다이버전스: 같은 워프 안에서 스레드가 서로 다른 분기를 타면 두 경로를 차례로 실행하고, 그동안 그 경로에 해당하지 않는 스레드는 쉰다. 길이가 같은 두 경로로 스레드가 반씩 갈리면 처리량이 절반이 되고, 경로 길이와 갈리는 비율에 따라 손실의 크기가 달라진다. → "GPU에서 if를 피하라"는 조언의 실체.
• 메모리 코얼레싱: 전역 메모리는 32바이트 단위 트랜잭션으로 읽힌다. 워프의 32스레드가 연속된 4바이트 값을 하나씩 읽으면 모두 128바이트라 트랜잭션 네 번으로 끝나지만, 주소가 32바이트 이상씩 흩어지면 스레드마다 한 번씩, 32번이 든다. → 텐서 레이아웃(NCHW vs NHWC)이 성능을 좌우하는 이유.
• 점유율(occupancy): 메모리 대기 시간을 다른 워프 실행으로 숨기는 구조라, 동시에 상주할 수 있는 워프 수가 중요하다. GPU에도 L1·L2 캐시와 공유 메모리가 있지만, CPU보다 작은 캐시로 지연을 다 줄이지는 못하므로 지연의 상당 부분을 병렬성으로 감춘다.

텐서 코어 — 상각의 극단

텐서 코어는 작은 행렬 블록의 곱셈-누산 $D=A\times B+C$ 를 한 명령어로 수행한다. 예컨대 $16\times 16$ 블록곱이라면 명령어 하나가 수천 번의 MAC을 담당하므로 명령어 오버헤드가 사실상 0에 수렴한다.

계층 구조로 보는 torch.matmul 한 줄:

torch.matmul(A, B)
  └─ cuBLAS/cuBLASLt 커널 선택 (타일 크기·스플릿 전략)
       └─ 그리드/블록 분해: 출력 행렬을 타일로 쪼갬
            └─ 글로벌 메모리(HBM) → 공유 메모리(SRAM) 타일 로드
                 └─ 공유 메모리 → 레지스터 프래그먼트
                      └─ 텐서 코어 MMA 명령 (블록 단위 곱셈누산)
                           └─ 누산 결과를 다시 위로

핵심: 이 계층 전체가 "HBM에서 한 번 가져온 타일을 최대한 많이 재사용한다"는 하나의 목적을 위해 존재한다. 타일 크기 $T$ 로 블록곱을 하면 $O(T^2)$ 바이트를 읽어 $O(T^3)$ 연산을 하므로, 연산강도가 $O(T)$ 로 커진다. 타일링은 곧 루프라인의 $I$ 를 키우는 소프트웨어적 방법이다.

정밀도의 계단

AI 가속기는 정밀도를 낮출수록 처리량이 대략 배수로 늘어난다(FP32 → TF32 → BF16/FP16 → FP8 → FP4). 이유는 두 가지다.

1. 연산기 면적: 곱셈기 면적은 비트 폭의 대략 제곱에 비례하므로, 비트를 절반으로 줄이면 같은 면적에 약 4배를 넣을 수 있다.
2. 메모리 트래픽: 데이터가 절반이면 대역폭 요구도 절반이다. 양자화의 진짜 이득은 연산이 아니라 대역폭에서 온다 — 이것이 추론에서 양자화가 그토록 중요한 이유다.

4. TPU와 시스톨릭 어레이 — 재사용을 하드웨어에 새기기

구조

시스톨릭 어레이는 처리요소(PE)를 격자로 배열하고, 데이터를 격자 안으로 흘려보내며 각 PE가 이웃에게 값을 넘겨주는 구조다. 심장이 피를 밀어내듯(systole) 데이터가 규칙적으로 흐른다고 해서 붙은 이름이다.

$N\times N$ 어레이에서 입력 원소 하나는 어레이를 통과하며 $N$ 번 재사용된다. 즉 메모리에서 한 번 읽은 데이터로 $O(N)$ 번 연산한다. 연산강도를 소프트웨어가 아니라 배선 구조가 보장한다.

Google TPU v1은 $256\times 256$ = 65,536개의 8비트 MAC 유닛을 이 방식으로 배열했다. 어레이 내부 데이터 이동은 인접 PE 간 짧은 배선이므로 에너지가 극히 낮다.

아래 그림은 가중치를 PE에 앉혀 둔 $4\times 4$ 어레이에 토큰 하나($M=1$, 디코딩)를 흘릴 때의 넷째 박자다. 화면본에서는 박자를 한 칸씩 넘기거나 토큰 수 $M$ 과 행렬 크기를 바꿔 가며 박자마다 몇 개의 PE가 일하는지 셀 수 있다.

GPU vs 시스톨릭 어레이 — 무엇을 주고 무엇을 받았나

시스톨릭 어레이의 약점: 행렬 크기가 어레이 차원의 배수가 아니면 가장자리 PE가 논다. 배치가 작거나 행렬이 가늘고 길면(디코딩!) 활용률이 크게 떨어진다. 이것이 추론 전용 설계가 학습용과 다른 형태를 갖는 이유다.

박자 수로 세면 이렇다. 가중치를 PE에 고정해 두고 $K\times N$ 타일 하나에 토큰 $M$ 개를 흘리면 채우고 비우는 데까지 $M+K+N-2$ 박자가 걸린다. TPU v1 크기($K=N=256$)로 계산하면 $M=1$ 일 때 511박자 동안 일하는 PE는 평균 0.2%이고, $M=\mathrm{4,096}$ 이면 약 89%로 오른다. 실제 칩은 다음 타일을 바로 뒤에 이어 넣어 채움·비움 시간을 겹치고, 가중치를 PE에 싣는 시간도 따로 든다. 그래도 $M$ 이 작으면 가중치 하나를 $M$ 번만 쓰고 버리므로 겹쳐서 얻는 이득이 작다. 데이터 흐름도 가중치 고정(weight-stationary) 말고 출력 고정 등 여러 방식이 있다(11절 Sze 외 교과서).

5. NPU와 ASIC — 전용화의 경제학

NPU

모바일·엣지용 신경망 가속기. 목표 함수가 다르다.

• 최적화 대상이 절대 성능이 아니라 TOPS/W (전력당 성능)
• 저정밀(INT8/INT4) 중심, 배터리·발열 제약
• SoC 안에 CPU·GPU·ISP와 함께 통합되어 메모리를 공유(LPDDR)
• 사용 패턴이 간헐적이라 지연시간과 웨이크업 오버헤드가 중요

서버 가속기와의 근본 차이: 서버는 처리량을 위해 전력을 쓰지만, 엣지는 전력 예산이 고정되어 있고 그 안에서 최대 성능을 짜낸다. 같은 "AI 칩"이라도 설계 목표가 정반대에 가깝다.

ASIC 손익분기 계산 (실습)

전용 칩을 만들지 사올지의 판단은 정량화할 수 있다.

• $C_{\text{NRE}}$ : 비반복 개발비 (설계 인력, EDA 라이선스, IP 라이선스, 마스크셋 제작비, 검증·시제품). 최신 노드에서는 마스크셋만으로도 수천만 달러 규모이며, 총 NRE는 억 달러 단위에 이를 수 있다.
• $c_A$ : ASIC 단위원가 (웨이퍼비 ÷ 굿다이 수 + 패키징 + 테스트)
• $c_G$ : 대안(상용 GPU)의 단위 취득원가
• $N$ : 예상 물량

여기서는 ASIC 한 대가 GPU 한 대의 일을 같은 처리량·지연·품질로 대신한다고 둔다(1:1 대체). 그래야 같은 물량 $N$ 이 같은 수요를 뜻한다.

총비용 비교: $C_{\text{NRE}}+N{c}_A<N{c}_G$

$$N^{*}=\frac{C_{\text{NRE}}}{c_G-c_A}$$

ASIC의 처리량이 GPU의 $r$ 배라면 같은 수요에 ASIC은 $N/r$ 대가 필요하다. 그때는 $c_A$ 자리에 $c_A/r$ 을 넣는다($r<1$ 이면 손익분기 물량이 커진다).

그런데 이 식은 절반만 맞다. 실제로는 세 항을 더 넣어야 한다.

1. 시간 축: 칩 개발에 2~3년이 걸리는데 모델 아키텍처는 그보다 빨리 바뀐다. 완성 시점에 그 워크로드가 여전히 지배적인가?
2. 전력비: 데이터센터에서 칩의 총소유비용은 취득가보다 수년치 전기요금이 더 클 수 있다. $c$ 에 운영비를 넣으면 전용 칩이 훨씬 유리해진다. 다만 장당으로 세면 손익분기 대수를 가르는 것은 주로 취득가 차이이고 전력비 차이는 몇 %에 그친다(실습 4 풀이). 전력비가 큰 금액이 되는 것은 수만 장을 몇 년 돌리는 규모의 총액에서다.
3. 협상력: 자체 칩이 있으면 상용 GPU 벤더와의 가격 협상에서 옵션 가치를 얻는다. 실제로 쓰지 않더라도 존재 자체가 가치다.

직접 해 보기: 위 세 항을 넣어 "왜 하이퍼스케일러는 자체 칩을 만들고, 대부분의 스타트업은 안 만드는가"를 설명해 보라. 답의 핵심은 $N$ 과 $C_{\text{NRE}}$ 의 규모 차이, 그리고 워크로드가 안정적인지 여부다.

유연성-효율 스펙트럼

FPGA는 흥미로운 중간 지점이다. 하드웨어를 재구성할 수 있어 마스크셋이 필요 없지만, 같은 기능을 ASIC보다 훨씬 큰 면적·전력으로 구현한다. 소량 다품종이나 알고리즘이 유동적인 초기 단계에 적합하다.

6. 루프라인 모델 — 이 책의 공용 도구

정의

성능 상한은 두 제약의 최솟값이다.

$$P_{\text{attainable}}(I)=min(P_{\text{peak}},B\times I)$$

• $P_{\text{peak}}$ : 칩의 최대 연산속도 [FLOP/s]
• $B$ : 메모리 대역폭 [byte/s]
• $I$ : 연산강도 [FLOP/byte] = (수행 연산 수) / (메모리에서 옮긴 바이트 수)

로그-로그 좌표에 그리면 기울기 1의 직선(대역폭 한계)과 수평선(연산 한계)이 만나는 지붕 모양이 된다. 꺾이는 지점이 리지 포인트 $I^{*}=P_{\text{peak}}/B$ 다.

실제 칩의 리지 포인트

주의: 벤더 자료는 희소성(structured sparsity) 적용 시 2배 수치를 병기한다. 위는 dense 기준이다. 스펙시트를 볼 때 반드시 확인할 것.

용량도 칩과 시스템이 다르다. NVIDIA의 Blackwell 아키텍처 기술 개요(V2.1)는 HGX B200의 GPU 메모리를 「최대 192 GB」로 적는다. 반면 완제품 서버인 DGX B200의 사용자 안내서와 데이터시트는 8장 합계 1,440 GB, 계산하면 GPU당 180 GB로 적는다. 용량을 넣어 계산할 때는 칩 공표값인지 시스템 사양인지를 밝힌다. 대역폭도 문서마다 다르다. 기술 개요 V2.1은 같은 HGX B200 GPU의 대역폭을 7.7 TB/s로, DGX B200 데이터시트는 8장 합계 64 TB/s(계산하면 GPU당 8.0 TB/s)로 적는다. 이 책의 표와 그림은 용량과 같은 출처인 기술 개요의 칩 값(192 GB, 7.7 TB/s)을 쓴다. 8.0 TB/s로 계산하면 $I^{*}\approx 281$ 이어서, 300 근처라는 아래 결론은 어느 쪽이든 같다. 연산 2,250 TFLOP/s는 같은 표의 희소 4.5 PFLOPS를 반으로 나눈 값이다(표의 dense 칸은 2.2로 적는다).

주목할 점: 세대가 바뀌어도 $I^{*}$ 가 300 근처에서 거의 변하지 않는다. 연산이 2.3배 늘 때 대역폭도 2.3배 늘려서 간신히 균형을 유지했다는 뜻이다. 그리고 그 대역폭을 얻기 위해 HBM3에서 HBM3e로, 다시 HBM4로 가는 막대한 비용이 들어갔다. 3회차의 주제다.

LLM 워크로드를 루프라인에 찍어보기

(가) 학습 / 프리필(prefill) 단계

시퀀스 길이 $S$, 배치 $B_{\text{sz}}$ 의 토큰들을 한꺼번에 처리하므로 큰 GEMM이 된다. 가중치 행렬 $W\in {ℝ}^{n\times n}$ 를 $M$ 개 토큰에 적용할 때:

• 연산량 ≈ $2M{n}^2$ FLOP
• 메모리 이동 ≈ $2n^2$ 바이트 (fp16 가중치 1회 로드)
• 연산강도 $I\approx M$ (활성화 이동을 셈에서 뺄 때)

활성화를 뺀 것은 근사다. $M\times n$ 입력을 HBM에서 읽고 같은 크기의 출력을 다시 쓰면 이동량이 $2n^2+4Mn$ 바이트가 되어 $I=Mn/(n+2M)$ 이다. 이 값은 $M$ 과 $n/2$ 가운데 작은 쪽을 넘지 못한다. 그래서 $I\approx M$ 은 $n$ 이 $M$ 보다 훨씬 클 때나, 커널 퓨전으로 활성화를 온칩에 붙잡아 둘 때 맞는다. LLM은 $n$ 이 수천 이상이므로($n=\mathrm{8,192}$, $M=\mathrm{4,096}$ 이면 $I=\mathrm{2,048}$) 어느 쪽으로 세든 $I\gg I^{*}$ → 연산 바운드. GPU의 연산 유닛이 잘 채워진다.

(나) 추론 / 디코딩(decode) 단계

토큰을 한 개씩 생성한다. 배치 $B_{\text{sz}}$ 개 시퀀스를 동시에 처리해도 각 스텝에서 처리하는 토큰은 시퀀스당 1개다.

• 연산량 ≈ $2B_{\text{sz}}{n}^2$ FLOP
• 메모리 이동 ≈ $2n^2$ 바이트 (가중치를 통째로 다시 읽어야 함)
• 연산강도 $I\approx B_{\text{sz}}$

fp16 가중치라면 배치가 300 미만일 때 대역폭 바운드다. 배치 32로 서비스한다면 $I\approx 32$ 이므로 이론 성능의 대략 $32/295\approx 11\%$ 만 쓰는 셈이다. 나머지 89%의 연산 유닛은 메모리를 기다리며 논다.

아래 그림은 H100에서 fp16 가중치로 디코딩을 배치 32로 돌릴 때 워크로드가 지붕 아래 어디에 떨어지는지 보여 준다. 화면본에서는 칩·단계·배치·가중치 정밀도·모델 크기를 바꿔 가며 점이 리지 포인트를 언제 넘는지 볼 수 있다.

디코딩 속도의 상한 — 대역폭으로 세는 어림식

가중치 $P$ 개(파라미터), 바이트/파라미터 $b$ 인 모델의 초당 최대 토큰 생성 수는 대역폭만으로 결정된다.

$$\text{tokens/s}\lesssim \frac{B}{P·b}\times B_{\text{sz}}$$

예: 70B 모델을 fp16($b=2$)으로 H100 한 장에서 배치 1로 돌린다면, 가중치만 140GB라 80GB에 안 들어간다. 2장에 나눠 쓰면 총 대역폭 6.7 TB/s이므로 $6.7\text{e}12/(1.4\text{e}11)\approx 48$ 토큰/초가 이론 상한이다. 이 어림식은 칩 $N$ 장에 가중치를 나눠 얹으면 각 칩이 제 몫을 동시에 읽는다고 보고 대역폭을 $N$ 배로 더한다. INT8로 양자화하면($b=1$) 가중치가 70GB라 한 장에 겨우 들어간다. 한 장으로 줄이면 대역폭도 3.35 TB/s로 줄어 상한은 그대로 약 48 토큰/초이고, 두 장을 그대로 쓰면 약 96 토큰/초로 두 배가 된다.

이 식은 대역폭 쪽만 센 것이라 연산강도 $I$ 가 리지 포인트 $I^{*}$ 보다 작을 때만 맞는다. 가중치만 $b$ 바이트로 읽고 연산은 BF16 피크로 한다고 보면 $I=2B_{\text{sz}}/b$ 이므로, 연산 바운드로 넘어가는 배치는 $B_{\text{sz}}=(b/2)I^{*}$ 다. H100이면 fp16에서 약 295, INT8에서 약 148, INT4에서 약 74다. 연산까지 같은 저정밀로 해 피크가 함께 늘면 경계는 다시 BF16 기준 $I^{*}$ 근처로 돌아간다(실습 3 풀이). 연산 바운드에서는 상한이 토큰 하나에 드는 연산 $2P$ FLOP으로 정해진다(배치 전체로 $\text{tokens/s}\lesssim N{P}_{\text{peak}}/(2P)$, $P_{\text{peak}}$ 은 실제로 쓰는 정밀도의 피크). 매 스텝 KV 캐시를 읽는 트래픽도 빠져 있어서, 문맥이 길수록 실제 속도는 이 상한보다 더 낮다. 사용자 체감 지표로 옮기면, 시퀀스 하나 기준으로 이 식은 출력 토큰 사이 간격(TPOT)의 하한 $P·b/B$ 를 준다. 첫 토큰까지의 시간(TTFT)은 이 식이 아니라 프리필이 정한다(8절 끝 「공정한 비교의 조건」).

이 어림식 하나로 설명되는 것들: 양자화가 왜 추론에서 필수인지, 배치를 왜 키우려 하는지, 왜 "가중치가 메모리에 다 들어가느냐"가 결정적인지, 그리고 왜 3회차의 HBF(대용량 메모리)가 논의되는지.

연산강도를 올리는 모든 방법 (통합 정리)

짚어 둘 점: 위 목록에서 소프트웨어 항목은 전부 $I$ 를 올리는 것이고, 하드웨어 항목의 절반은 $B$ 를 올리는 것이다. 두 진영이 같은 부등식의 서로 다른 항을 공격하고 있다는 구도를 잡으면 논문·기사가 훨씬 잘 읽힌다.

7. 소프트웨어 락인 — 기술 외적 해자

하드웨어 성능이 비슷해도 실제 채택은 소프트웨어가 결정한다.

• CUDA 생태계: cuDNN, cuBLAS, NCCL, TensorRT 등 오랜 기간 쌓인 최적화 커널과 방대한 라이브러리 지원.
• 대안들: AMD ROCm, Intel oneAPI, Google XLA/JAX, OpenAI Triton, PyTorch 2.x의 컴파일러 스택. Triton처럼 커널을 하드웨어 중립적으로 기술하려는 시도가 락인을 약화시킬 수 있다. 컴파일러 스택은 모델을 연산 그래프로 잡아 중간 표현(IR)에 올린 다음, 하드웨어에 가까운 표현으로 단계적으로 낮춰(lowering) 커널을 만든다. PyTorch 2.14 문서에 따르면 torch.compile 에서는 TorchDynamo가 파이썬 코드에서 그래프를 잡고, 기본 컴파일러 TorchInductor가 여러 가속기·백엔드용 코드를 만든다. NVIDIA·AMD·Intel GPU에서는 TorchInductor가 OpenAI Triton을 바탕으로 커널을 짠다.
• 하이퍼스케일러가 자체 칩을 만들 수 있는 이유: 자기 워크로드를 자기가 통제하므로 컴파일러 스택을 자기 모델에만 맞추면 된다. 범용 소프트웨어 생태계를 만들 필요가 없다는 것이 이들의 결정적 이점이다.

연산자 커버리지와 폴백

하드웨어는 좋은데 모델이 느린 흔한 이유가 여기 있다. 가속기용 라이브러리가 모든 연산자를 갖추고 있지는 않다. 실행기가 지원하지 않는 연산자를 만나면 그 노드만 CPU로 넘긴다(폴백, fallback). 그러면 입력을 장치 메모리에서 호스트 메모리로 내리고, CPU가 계산한 결과를 다시 장치로 올려야 하며, 옮기는 앞뒤로 장치와 호스트가 서로를 기다린다. 연산 자체는 작아도 이 왕복이 그래프 전체의 지연을 키운다.

널리 쓰는 실행기 둘이 이 동작을 문서에 적어 두었다. ONNX Runtime은 실행 제공자(execution provider) 목록을 우선순위 순으로 받는다. ['CUDAExecutionProvider', 'CPUExecutionProvider'] 를 주면 CUDA가 처리할 수 있는 노드는 CUDA에서, 나머지는 CPU에서 실행한다. PyTorch의 Apple GPU 백엔드(MPS)는 환경변수 PYTORCH_ENABLE_MPS_FALLBACK 을 1로 두면 MPS가 지원하지 않는 연산을 CPU로 돌린다(PyTorch 2.14 문서).

왕복이 얼마나 비싼지는 두 통로의 폭을 나란히 놓으면 보인다. NVIDIA H100 사양표는 H100 SXM의 PCIe Gen5를 128 GB/s, GPU 메모리 대역폭을 3.35 TB/s로 적는다. H100 백서는 128 GB/s가 양방향 합계이고 한 방향은 64 GB/s라고 밝힌다. 공식 표기끼리 나누면 약 26배, 한 방향으로 따지면 약 52배다. 폴백 한 번은 HBM 안에서 끝났을 데이터를 그보다 한 자릿수 이상 좁은 통로로 두 번 옮기는 일이다. 락인의 실체가 커널의 축적이라는 말(부록 B 질문 4)이 여기서 구체적인 모양을 얻는다. 연산자 목록이 짧은 새 칩은 연산기가 빨라도 폴백 때문에 느려질 수 있다.

사례 — DeepSeek-V3, 통신을 연산 뒤에 숨기기

소프트웨어로 하드웨어 제약을 메운 예를 DeepSeek-V3 기술 보고서(arXiv:2412.19437)에서 볼 수 있다. 보고서에 따르면 이 모델은 H800 2,048장 클러스터에서 학습했고, 전체 학습(사전학습 2,664K, 문맥 길이 확장 119K, 사후학습 5K GPU시간)에 2.788M H800 GPU시간이 들었다. 보고서는 GPU시간당 임차료를 2달러로 가정해 557.6만 달러라는 금액을 내는데, 같은 문단에서 이 금액은 공식 학습만 센 것이고 아키텍처·알고리듬·데이터에 관한 사전 연구와 절제(ablation) 실험 비용은 빠졌다고 밝힌다. 그러므로 이 금액을 모델 개발비로 읽으면 안 된다.

기술적으로 볼 것은 통신 처리다. 보고서는 파이프라인 병렬에서 순전파·역전파의 연산 구간과 통신 구간을 겹치는 DualPipe 알고리듬을 설계했고, 노드 사이 전문가(MoE) 통신을 처리하는 데 H800의 SM 132개 가운데 20개를 떼어 두었다. 계산하면 연산 유닛의 약 15%다. 보고서 스스로도 이 방식이 연산 처리량을 제한한다고 적고, 통신을 SM 밖의 전용 하드웨어로 넘겨 달라고 칩 설계자에게 제안한다. 루프라인 밖의 항목인 노드 간 통신(부록 B 질문 1)을 스케줄링으로 연산 뒤에 숨긴 사례이고, 그 대가로 연산 유닛 일부를 내준 사례다.

8. 자주 하는 오해

오해 1: "FLOPS가 높으면 빠른 칩이다" → 워크로드의 연산강도가 리지 포인트보다 낮으면 FLOPS는 무의미하다. LLM 추론에서는 대역폭 수치가 더 나은 예측자다.

오해 2: "TOPS/TFLOPS 수치를 그대로 비교하면 된다" → 정밀도(FP32/BF16/FP8/INT8/INT4)와 희소성 적용 여부에 따라 4~8배 차이가 난다. 비교 전에 조건을 맞춰야 한다. 정밀도와 희소성을 맞춰도 아직 부족하다 — 이 절 끝 「공정한 비교의 조건」.

오해 3: "GPU 이용률(utilization) 90%면 잘 쓰고 있다" → nvidia-smi 의 이용률은 "커널이 실행 중인 시간 비율"이지 연산 유닛이 채워졌다는 뜻이 아니다. 메모리를 기다리며 도는 커널도 100%로 표시된다. 실제 지표는 MFU(Model FLOPs Utilization) 처럼 이론 FLOPS 대비 달성 FLOPS를 봐야 한다. 커널이 아주 짧을 때는 반대쪽 함정도 있다. 커널을 띄우고 기다리는 데 드는 오버헤드가 실행 시간보다 커져, GPU가 커널 사이에서 논다(부록 B 질문 1의 CUDA Graphs 예).

오해 4: "양자화는 연산을 빠르게 한다" → 연산기 처리량도 늘지만, 추론에서 체감 이득의 대부분은 메모리 트래픽 감소에서 온다.

오해 5: "ASIC이 GPU보다 무조건 효율적이다" → 워크로드가 고정된 경우에만 그렇다. 어레이 크기와 맞지 않는 행렬, 새로운 연산자(예: 새 어텐션 변형)가 들어오면 활용률이 급락한다.

오해 6: "NPU와 GPU는 같은 것의 크기 차이다" → 최적화 목적함수가 다르다(처리량 vs 전력당 성능). 설계 결정이 정반대로 갈리는 지점이 많다.

공정한 비교의 조건 — 정밀도 말고도 맞출 것

추론 서비스의 속도는 숫자 하나로 잡히지 않는다. 사용자가 느끼는 지연은 셋으로 나뉜다. TTFT(time to first token)는 요청을 보낸 뒤 첫 토큰이 나오기까지의 시간으로, 입력 전체를 한꺼번에 처리하는 프리필이 좌우한다. TPOT(time per output token)는 출력 토큰 사이 간격의 평균으로, 6절의 디코딩 상한이 좌우한다. P99는 요청의 99%가 그 이하로 끝나는 꼬리 지연이다. 평균이 좋아도 꼬리가 길면 서비스 품질 약속을 지키지 못한다.

업계 표준 벤치마크인 MLPerf Inference는 그래서 칩끼리 비교할 때 여러 조건을 함께 묶는다. MLCommons 추론 규칙(2026-10-08에 확인한 master 판, 마지막 수정 2026-08-20)에서 데이터센터용 Llama2-70B 과제를 보면, Closed 부문은 참조 구현과 같은 모델과 전처리를 쓰게 하고(양자화 보정은 허용, 재학습은 금지) 데이터셋은 OpenOrca로 정해 둔다. 정확도는 FP32 기준 ROUGE 점수의 99.9% 이상이어야 하고, 지연 제약은 Conversational 범주에서 TTFT 2,000 ms·TPOT 200 ms, Interactive 범주에서 TTFT 450 ms·TPOT 40 ms다. 요청이 포아송 분포로 무작위로 들어오는 Server·Interactive 시나리오에서는 지연을 99번째 백분위수로 잰다. 낮은 정밀도로 처리량을 올린 칩도 정확도 하한과 지연 제약을 넘어야 유효한 결과가 된다. TOPS 표 한 줄로는 이 가운데 어느 것도 알 수 없다. 규칙은 라운드마다 바뀌므로 인용할 때는 판을 밝힌다.

9. 정량 실습

실습 1 — 리지 포인트 계산 스펙시트에서 임의의 가속기를 골라 dense 기준 $P_{\text{peak}}$ 와 $B$ 를 찾아 $I^{*}$ 를 구하라. 세 세대를 비교해 $I^{*}$ 의 추세를 보라.

실습 2 — 디코딩 상한 7B / 70B / 405B 모델을 fp16, INT8, INT4로 각각 서빙할 때, 특정 가속기에서 배치 1의 이론 최대 토큰/초를 구하라. 실제 서비스 지연 요구(예: 30 토큰/초)를 만족하려면 어떤 조합이 가능한가?

실습 3 — KV 캐시 예산 시퀀스 길이 $S$, 레이어 $L$, KV 헤드 차원 총합 $d$(K·V를 저장하는 헤드 수 × 헤드당 차원. 쿼리 헤드는 세지 않는다), 배치 $B_{\text{sz}}$ 일 때 fp16 KV 캐시 크기는 대략 $2·L·S·d·B_{\text{sz}}·2$ 바이트다. 주어진 메모리 용량에서 가능한 최대 배치를 구하고, 그 배치에서의 연산강도를 루프라인에 찍어라. 용량 제약이 어떻게 대역폭 효율을 제한하는지가 드러난다.

실습 4 — ASIC 손익분기 가정값(NRE 1억 달러, ASIC 단가 3천 달러, GPU 단가 3만 달러, 3년 전력비 포함)으로 $N^{*}$ 를 구하고, 모델 수명이 2년일 때 실현 가능한지 논하라.

10. 토론 질문

1. 루프라인 모델은 무엇을 설명하지 못하는가? (지연시간, 캐시 계층, 통신, 커널 실행 오버헤드 등 — 모델의 한계를 아는 것이 모델을 아는 것의 절반이다)
2. 리지 포인트가 세대가 지나도 300 근처에 머무는 것은 우연인가, 설계 의도인가? 어느 쪽으로 벗어나면 무슨 일이 생기는가?
3. MoE(전문가 혼합)는 루프라인 관점에서 어떤 효과를 내는가? 총 파라미터는 늘지만 활성 파라미터는 줄어드는 구조를 어떻게 평가해야 하는가?
4. 소프트웨어 락인은 얼마나 지속 가능한가? Triton·XLA 같은 중간 계층이 성숙하면 무엇이 바뀌는가?
5. 추론 전용 칩을 새로 설계한다면, 학습용 칩과 무엇을 다르게 하겠는가? (힌트: 리지 포인트를 어디에 둘 것인가)

11. 후속 공부

• 루프라인 원전: Williams, Waterman & Patterson, "Roofline: An Insightful Visual Performance Model for Multicore Architectures", CACM 52(4), 2009 — DOI 10.1145/1498765.1498785
• 에너지 수치 원전: Horowitz, "Computing's Energy Problem (and what we can do about it)", ISSCC 2014 keynote — DOI 10.1109/ISSCC.2014.6757323. 1절 표의 32비트 메모리 두 값은 Han, Pool, Tran & Dally, "Learning both Weights and Connections for Efficient Neural Networks", NIPS 2015의 그림 1 — arXiv:1506.02626
• TPU 아키텍처: Jouppi et al., "In-Datacenter Performance Analysis of a Tensor Processing Unit", ISCA 2017 — TPU v1 설계 근거를 직접 밝힌 논문. 이 회차와 함께 한 편만 읽는다면 이 논문을 권한다. arXiv:1704.04760
• 가속기 설계 교과서: Sze, Chen, Yang & Emer, "Efficient Processing of Deep Neural Networks" (Synthesis Lectures, 2020) — 데이터플로우 분류(weight stationary / output stationary 등)의 표준 정리. DOI 10.1007/978-3-031-01766-7
• 커널 수준 최적화: Dao et al., "FlashAttention" 시리즈 — 커널 퓨전으로 $I$ 를 올리는 대표 사례. 첫 논문은 arXiv:2205.14135
• GPU 구조: NVIDIA 아키텍처 백서(H100 백서, Blackwell 아키텍처 기술 개요)와 CUDA Programming Guide의 메모리 계층 장
• 커널 실행 오버헤드: NVIDIA 기술 블로그 「Getting Started with CUDA Graphs」(2019) — 짧은 커널을 묶어 띄우는 방법과 그 효과를 측정한 예
• 비교의 규칙: MLCommons MLPerf Inference 규칙 — 과제별 정확도 하한과 TTFT·TPOT 제약

자습 부록 A — 정량 실습 풀이

9절 실습의 풀이다. 반드시 먼저 스스로 풀고 펼칠 것. 숫자는 공개 스펙시트 기준이며 모두 dense(희소성 미적용) 값이다.

실습 1 풀이 — 리지 포인트 계산

실습 2 풀이 — 디코딩 상한

실습 3 풀이 — KV 캐시 예산

실습 4 풀이 — ASIC 손익분기

자습 부록 B — 토론 질문 생각의 실마리

자습 부록 C — 핵심 용어

자습 부록 D — 자가진단

• ☐ $P_{\text{attainable}}=min(P_{\text{peak}},B\times I)$ 를 보지 않고 쓰고, 각 항이 무엇인지 말할 수 있다 → 6절 ★
• ☐ 임의의 칩 스펙시트를 받아 30초 안에 $I^{*}$ 를 계산할 수 있다 → 실습 1 ★
• ☐ 프리필은 연산 바운드, 디코딩은 대역폭 바운드인 이유를 각각의 $I$ 로 설명할 수 있다 → 6절
• ☐ 디코딩 상한식으로 "70B fp16을 H100 한 장에"가 왜 불가능한지 두 가지 이유를 댈 수 있다 → 실습 2
• ☐ 양자화가 왜 상한과 용량 둘 다 개선하는지 설명할 수 있다 → 실습 2
• ☐ KV 캐시 크기 식을 세우고, 용량이 어떻게 대역폭 효율을 제한하는지 설명할 수 있다 → 실습 3 ★
• ☐ 연산강도를 올리는 방법과 대역폭을 올리는 방법을 구분해 각각 세 개씩 댈 수 있다 → 6절 마지막 표
• ☐ ASIC 손익분기에서 전력비가 아니라 취득원가가 지배한다는 것을 계산으로 보일 수 있다 → 실습 4
• ☐ 루프라인이 설명하지 못하는 것을 세 가지 댈 수 있다 → 부록 B

★ 세 개를 통과하지 못하면 3회차로 넘어가지 말 것. 3회차 전체가 "그래서 $B$ 를 어떻게 올릴 것인가"에 대한 답이다.

다음 회차로 넘어가기 전에

이 회차의 결론은 한 문장이다. 연산강도가 리지 포인트에 못 미치는 일, 대표적으로 배치가 작은 디코딩에서는 성능을 연산이 아니라 대역폭이 정한다. 프리필과 학습처럼 연산강도가 높은 일은 여전히 연산 바운드다.

그러면 자연히 다음 질문이 나온다.

출처

스터디 커리큘럼이 고른 입문 자료 ("AI 칩 (연산 반도체)" 항목)

검증 완료 (2026-08-02)

• Horowitz(ISSCC 2014) 에너지 수치 — 널리 인용되는 표준 참조값(어느 값이 원 발표에 있는지는 아래 2026-10-08 항목). 45nm 공정 기준이므로 절대값이 아니라 비율의 크기(두 자릿수 배)를 이해하는 용도로 사용
• NVIDIA H100 SXM: BF16 dense 989 TFLOP/s, HBM3 80GB, 3.35 TB/s — 제조사 공표 사양
• NVIDIA B200: BF16 dense 2,250 TFLOP/s, HBM3e 192GB, 7.7 TB/s — 제조사 공표 사양(Blackwell 아키텍처 기술 개요 V2.1 표 3, HGX B200). 192GB·7.7 TB/s는 칩 공표값(최대)이다. DGX B200 시스템은 GPU당 180GB, 8.0 TB/s(합계 64 TB/s ÷ 8)다. 시스템 사양은 다르다 — 아래 2026-10-08 항목
• TPU v1 $256\times 256$ MAC 어레이 구성 — Jouppi et al. ISCA 2017 원논문

검증 완료 (2026-10-08) — 아래는 모두 1차 출처를 직접 열어 확인했다.

• B200 메모리 용량의 칩·시스템 구분 — NVIDIA Blackwell 아키텍처 기술 개요 V2.1의 HGX B200 GPU당 「최대 192 GB HBM3e」, DGX B200 사용자 안내서·DGX B200 데이터시트의 8장 합계 1,440 GB(계산하면 GPU당 180 GB)
• 전력 경계 — H100 SXM 최대 TDP 700 W(H100 사양표), DGX H100 최대 10.2 kW(DGX H100/H200 사용자 안내서), DGX B200 최대 약 14.3 kW(DGX B200 데이터시트·사용자 안내서). 실습 4의 서버 경계 재계산은 이 값과 실습 4의 가정값으로 다시 했다
• H100 SXM PCIe Gen5 128 GB/s·GPU 메모리 3.35 TB/s — H100 사양표의 공식 표기. H100 백서 V1.04는 128 GB/s를 양방향 합계(한 방향 64 GB/s)로 밝힌다
• 폴백 동작 — ONNX Runtime 실행 제공자 문서의 우선순위 목록 설명, PyTorch 2.14 MPS 환경변수 문서의 PYTORCH_ENABLE_MPS_FALLBACK
• torch.compile 의 구성(TorchDynamo·TorchInductor·Triton) — PyTorch 2.14 torch.compiler 문서
• 커널 실행 오버헤드 2.9·9.6·3.8·3.4 µs — NVIDIA 기술 블로그 「Getting Started with CUDA Graphs」(2019-09-05) 본문. Tesla V100, CUDA 10.1
• Intel AMX 타일 구성(8개 · 합계 8 KB · 최대 16행 × 64바이트)과 TMUL — Intel AMX 코드 예제 문서
• MLPerf Inference Llama2-70B 과제의 정확도 하한(FP32 기준 99.9%)·TTFT/TPOT 제약, TTFT·TPOT 정의, Server·Interactive 시나리오의 99번째 백분위수 — MLCommons 추론 규칙 master 판(마지막 수정 2026-08-20, 커밋 ff7edba)
• DeepSeek-V3의 H800 2,048장, 2.788M GPU시간(2,664K + 119K + 5K), 시간당 2달러 가정 557.6만 달러와 사전 연구·절제 실험 비용 제외 단서, DualPipe, SM 132개 중 20개 — arXiv:2412.19437 v2 본문
• 시스톨릭 어레이 박자 수와 TPU v1 크기 이용률(0.2%·약 89%) — 위젯과 같은 식 $M/(M+K+N-2)$ 로 다시 계산
• 1절 에너지 표 — Horowitz 발표문(ISSCC 2014 논문 1.1) 그림 1.1.9 「Rough energy costs for various operations in 45nm 0.9V」 공개 사본에서 8비트 정수 덧셈 0.03 pJ, 32비트 부동소수 덧셈 0.9 pJ·곱셈 3.7 pJ, 캐시(64비트 접근) 8 KB 10 pJ·32 KB 20 pJ·1 MB 100 pJ, DRAM 1.3~2.6 nJ을 확인. 32비트 SRAM 5 pJ·DRAM 640 pJ은 이 그림에 없고, Han 외(2015) arXiv:1506.02626 v3의 그림 1(「Energy table for 45nm CMOS process」, Horowitz 인용)에 있다
• 메모리 코얼레싱의 32바이트 트랜잭션, 연속 4바이트 × 32스레드 = 128바이트 = 트랜잭션 4회, 최악 32회 — CUDA Programming Guide §2.3.4.1. 같은 장 §2.3.3.2·§2.3.3.6이 L1·L2 캐시와 공유 메모리를 설명한다
• H100 SXM INT8 텐서 코어 3,958 TOPS(희소성 적용, dense는 그 절반 1,979로 BF16 dense 989의 2배) — H100 사양표. 사양표에 INT4 값은 없다(실습 3의 INT4 피크는 가정)

미확인 · 유보

• ASIC NRE·마스크셋 비용의 구체적 금액 — 노드·업체·계약에 따라 편차가 매우 크고 공개되지 않는 경우가 많다. 본문에서는 자릿수 규모로만 언급하고, 실습에서는 가정값임을 명시했다
• 업체별 AI 가속기 점유율 — 1회차 과 동일하게 단정하지 않음
• 5절 실습의 단가·전력비 — 전부 예시용 가정값이며 실제 시장가가 아니다

3회차

AI 메모리 — DRAM · HBM · HBF

학습목표

1. SRAM·DRAM·NAND의 소자 구조 차이가 왜 그런 속도·용량·비용 특성을 낳는지 설명할 수 있다.
2. DRAM의 지연시간이 20년간 거의 개선되지 않은 이유를 설명할 수 있다.
3. HBM의 구조를 "왜 이렇게 생겼나"의 관점에서 재구성할 수 있다.
4. 적층 수율의 곱셈 구조를 계산하고, HBM 원가 구조를 설명할 수 있다.
5. HBF가 겨냥하는 병목이 HBM과 어떻게 다른지 구분할 수 있다.

0. 자습 안내 — 혼자 읽는 사람에게

직전 회차에서 가져오는 것

선행 지식 점검

읽는 순서 (총 110분 권장)

이 회차를 관통하는 한 문장

대역폭과 용량은 서로 다른 제약이고, 서로 다른 기술로 푼다. 대역폭은 HBM(가깝고 넓게), 용량은 HBF·계층화(멀지만 크게). 둘을 섞어 생각하면 이 회차 내내 헷갈린다.

막히기 쉬운 지점 — 「왜 넓고 느리게」인가

직관적으로는 핀 속도를 올리는 쪽이 쉬워 보인다. 핀을 1,024개 심는 것보다 한 가닥을 두 배 빠르게 하는 게 간단하지 않은가?

아니다. 전송률을 올리면 비트당 에너지가 비선형으로 늘고(등화 회로, 클럭 복원, 드라이버 세기), 신호 무결성 문제가 급격히 나빠진다. 대역폭 4 TB/s를 1,024개의 32 Gbps 핀으로 만들면 인터페이스만으로 스택 하나가 100W 가까이(3 pJ/bit로 잡으면 96W) 먹을 수 있다. 가속기 한 장에 스택 8개면 메모리 인터페이스에만 약 770W로, GPU 자체의 전력(700~1,000W)과 맞먹는 열원이 하나 더 생긴다. 실제 온도가 얼마나 오르는지는 그 열이 퍼지는 면적과 냉각 조건에 달렸지만, 메모리 쪽에 이만한 전력 예산을 주기는 어렵다. 그래서 HBM은 느린 핀을 아주 많이 쓰는 쪽을 택했고, 그 대가로 핀을 심을 자리가 필요해져 적층과 TSV, 인터포저가 따라왔다. 실습 2가 이 논리를 숫자로 확인한다.

1. 직관 잡기 — 메모리 계층은 물리적 타협의 지도

컴퓨터 구조를 배운 독자라면 "레지스터 → L1 → L2 → L3 → DRAM → SSD" 계층이 낯익을 것이다. 그런 수업에서는 이 계층이 왜 그런 크기·속도로 나뉘는지는 대개 다루지 않는다. 답은 소자 구조에 있다.

한 문장 요약: 한 비트를 담는 데 드는 소자 수가 계층 전체의 성격을 결정한다. 비트당 트랜지스터가 SRAM 6개 → DRAM 1개(커패시터 하나 추가) → NAND 1/3~1/4개(셀 하나에 3~4비트)로 줄수록 싸고 촘촘해지고, 대신 느려지고 다루기 까다로워진다. NAND는 여기에 셀을 수직으로 수백 층 쌓아 같은 면적에 담는 비트를 한 번 더 늘린다. 소자 수를 줄이는 것과 층을 쌓는 것은 서로 다른 밀도 요인이다.

AI 가속기에서 본 계층 (2026년 10월 기준)

같은 소자가 AI 서버 안에서는 아래 순서로 놓인다. 위로 갈수록 지연이 짧고, 아래로 갈수록 크고 싸다. HBF는 스택 대역폭만 보면 호스트 DRAM보다 클 수 있지만, NAND의 읽기 지연이 길어 DRAM 아래 단에 둔다. SK하이닉스는 2026년 8월 FMS 기조연설에서 메모리 계층을 HBM·DRAM·NAND(HBF)·SSD 네 단으로 나눠 제시했다. 이 표는 그 순서에 칩 안의 SRAM을 맨 위에 더한 것이다.

순서는 속도와 용량으로 매긴 것이고 물리적 거리 순서가 아니다. HBF는 DRAM보다 아래 단이지만 HBM처럼 가속기 가까이 붙이는 것을 상정한다. 비유하면 SRAM은 책상 위, HBM은 손 닿는 책꽂이, DRAM은 같은 방의 서가, SSD는 지하 서고다. HBF는 책상 옆에 새로 들인 대형 서고 칸이다 — 가까이 있지만 꺼내는 데 서가보다 오래 걸린다. 이 비유는 거리와 꺼내는 속도, 크기만 담는다. 쓸 때마다 닳는 NAND의 수명이나 블록 단위로만 지울 수 있는 성질은 책 비유에 없다.

2. DRAM의 물리 — 왜 느린가, 왜 안 빨라지는가

읽기 동작의 실제

DRAM 셀은 아주 작은 커패시터에 전하가 있는지 없는지로 1비트를 저장한다. 읽으려면:

1. 워드라인 활성화 — 해당 행의 접근 트랜지스터를 켠다
2. 전하 공유 — 셀 커패시터의 전하가 비트라인으로 흘러나가 비트라인 전압이 아주 조금 변한다. 셀 커패시턴스가 비트라인 커패시턴스보다 훨씬 작아서 변화량이 수십 mV 수준에 불과하다
3. 감지증폭 (sense amplifier) — 기준 전압과 비교해 그 미세한 차이를 풀 스윙으로 증폭
4. 읽기 = 파괴 — 전하가 빠져나갔으므로 원래 값을 다시 써넣어야 한다 (restore)
5. 프리차지 — 다음 접근을 위해 비트라인을 중간 전압으로 되돌린다

타이밍 파라미터의 의미

이 절차가 곧 DRAM 타이밍의 정체다.

핵심 사실: 위 과정들은 전하량과 커패시턴스가 지배하는 아날로그 물리 과정이라, 공정 미세화로 잘 빨라지지 않는다. 오히려 셀이 작아질수록 저장 전하가 줄어 감지가 더 어려워진다.

20년의 비대칭: DRAM의 대역폭은 수십 배 늘었지만 지연시간은 거의 그대로다. 대역폭은 병렬화와 인터페이스 속도로 늘릴 수 있지만, 지연시간은 한 셀의 물리 과정이 결정하기 때문이다. 이 비대칭이 컴퓨터 구조 전체를 "지연을 감추는" 방향으로 몰아갔다(프리페치, 다중 뱅크, GPU의 대규모 스레드 병렬성).

리프레시 세금

전하는 누설되므로 주기적으로 읽고 다시 써야 한다. 리프레시 중에는 해당 뱅크에 접근할 수 없어 대역폭과 전력을 잠식한다. 용량이 커질수록 리프레시 부담이 커지는 구조라, 고용량 DRAM 설계의 상시 과제다.

앞의 4단계(읽은 뒤 복원)와 헷갈리기 쉽다. 복원은 접근이 일으키고, 리프레시는 시간이 일으킨다. 아무도 읽지 않는 셀도 정해진 시간 안에 한 번씩 다시 채워야 한다.

계산 예 — 세금이 얼마인가. Micron 16Gb DDR4 데이터시트(Rev. H, 2021)를 보자. 85°C 이하에서는 64ms 안에 REFRESH 명령을 8,192번 내야 하므로 명령 간격 tREFI는 7.8μs(64ms ÷ 8,192 = 7.8125μs)다. 85~95°C에서는 32ms 안에 8,192번이라 tREFI가 절반인 3.9μs가 된다. 명령 하나가 칩을 붙잡는 시간 tRFC1은 밀도마다 다르다. 칩이 리프레시에 묶여 있는 시간의 비율은 대략 tRFC/tREFI다.

밀도가 네 배가 되는 동안 세금은 두 배 넘게 늘었고, 뜨거워지면 다시 두 배가 된다. 이 비율은 tRFC1을 7.8125μs·3.90625μs로 나눠 계산한 값이고, 리프레시 동안 칩 전체가 다른 일을 못 한다고 본 단순 계산이다.

3. 대역폭을 올리는 두 가지 길, 그리고 막다른 골목

메모리 대역폭은 근사적으로

$$B=(\text{버스 폭})\times (\text{핀당 전송률})$$

이다. 따라서 방법은 둘뿐이다.

도로에 빗대면 버스 폭은 차선 수, 핀당 전송률은 차가 달리는 속도다. 시간당 지나가는 차의 수를 늘리려면 차선을 늘리거나 차를 빨리 달리게 해야 한다. 비유가 놓치는 것도 있다. 도로는 차가 빨라진다고 차 한 대를 보내는 비용이 가파르게 오르지 않지만, 메모리 핀은 빠르게 보낼수록 한 비트를 보내는 에너지(pJ/bit)가 가파르게 는다. 아래 두 길이 갈리는 이유가 이 비용이다.

길 ①: 핀당 전송률을 올린다 (GDDR의 길)

• 신호를 더 빠르게 토글한다. GDDR6X·GDDR7은 다중레벨 신호(PAM3/PAM4)까지 동원한다.
• 얼마나 빨라졌나: JEDEC GDDR7 표준(JESD239, 2024-03-05 공표)은 전압 3단계로 2사이클에 3비트를 보내는 PAM3를 쓰고, 디바이스당 최대 192 GB/s를 낸다. 32비트 디바이스로 계산하면 핀당 48 Gbps로, HBM4 표준 핀 속도 8 Gbps의 6배다. 핀 속도를 못 올려서 HBM이 느린 핀을 쓰는 것이 아니다.
• 한계: 주파수를 올리면 신호 무결성이 급격히 나빠진다. 기판 배선에서의 손실, 반사, 크로스토크가 주파수에 따라 악화되고, 이를 보상하는 등화(equalization)·직렬화 회로가 전력을 잡아먹는다. 전송 비트당 에너지(pJ/bit)가 올라가는 것이 결정적 문제다.
• 데이터센터 규모에서는 이 전력이 곧 운영비이자 열이므로, 이 길만으로는 갈 수 없다.

길 ②: 버스 폭을 늘린다 (HBM의 길)

• DDR5 채널 하나가 64비트, GDDR이 32비트/디바이스인 반면 HBM은 스택 하나가 1,024비트(HBM3까지), HBM4는 2,048비트다.
• 같은 대역폭을 훨씬 낮은 주파수로 얻을 수 있어 pJ/bit가 크게 낮아진다.
• 한계: 선을 수천 개 뽑으려면 그 선들이 갈 곳이 있어야 한다. 일반 PCB 기판으로는 이런 배선 밀도가 불가능하고, 패키지 핀 수도 부족하다.
• 단서 — 두 길을 섞은 표준도 있다. JEDEC가 2026-07-13에 공표한 SPHBM4(JESD330-4)는 HBM4와 같은 DRAM 다이를 쓰되 베이스 다이를 바꿔, 데이터 신호를 2,048개에서 512개로 줄이고 4:1 직렬화로 같은 총대역폭을 내게 했다. 핀 수가 줄어 범프 간격이 넓어지므로 실리콘 인터포저 대신 일반 유기 기판에 올릴 수 있고, 메모리를 SoC에서 더 멀리 둘 수 있다. 「광폭 버스에는 인터포저가 필수」는 2,048개를 다 쓰는 경우의 이야기이고, 신호 한 가닥의 속도를 네 배로 올리는 대가를 치르면 길 ① 쪽으로 일부 되돌아갈 수 있다. 그 대가가 pJ/bit로 얼마인지는 보도자료에 없다.

그래서 나온 답

1. 선을 아주 많이 뽑으려면 → 배선을 극도로 촘촘히 할 수 있는 매개체가 필요하다 → 실리콘 인터포저
2. 스택 안에서 여러 다이를 연결하려면 → TSV(실리콘 관통 전극)
3. 거리가 짧아야 전력·지연이 준다 → GPU 바로 옆에 붙인다 (2.5D 패키징)

이 순간 메모리 문제는 패키징 문제가 되었다. 6회차가 이 책에서 가장 중요한 회차인 이유다.

4. HBM 구조 정밀 해설

물리적 구성

요소별 역할

• DRAM 다이 적층: 용량을 면적이 아니라 높이로 확보한다. 8단·12단·16단.
• TSV: 각 다이를 관통하는 수직 배선. 스택 전체를 하나의 넓은 버스로 묶는다.
• 베이스 다이: DRAM 공정이 아니라 로직 공정으로 만드는 층. PHY(물리계층 인터페이스), 테스트 회로, 제어 로직이 들어간다. HBM4에서는 이 베이스 다이를 파운드리 로직 공정으로 만드는 일이 실현됐다. 삼성전자는 2026년 2월 양산 출하한 HBM4에 1c DRAM 코어와 4nm 로직 공정을 썼고, 2026년 5월 HBM4E 샘플 보도자료에서 이 베이스 다이가 자사 파운드리의 4nm 로직 다이이며 HBM4와 같은 코어·베이스 다이 조합이라고 밝혔다. 메모리 업체와 파운드리의 경계가 흐려지는 지점이다.
• 다이 간 접합 — 마이크로범프와 그다음: 지금 양산 HBM은 마이크로범프로 다이를 잇고 그 사이를 메운다. SK하이닉스는 HBM4에 MR-MUF(쌓은 칩 사이에 액상 보호재를 흘려 넣어 굳히는 방식)를 썼고(2025-09 발표), 삼성전자는 HBM3E 12단에 TC-NCF(층마다 비전도성 필름을 깔고 열압착하는 방식)를 썼다(2024-02 발표). 범프 없이 구리끼리 직접 붙이는 하이브리드 본딩은 더 높은 단수를 위한 다음 후보로 개발 중이며, 2026년 10월 현재 이를 쓴 HBM의 양산을 알린 제조사 발표는 확인하지 못했다. 하이브리드 본딩 자체는 6회차에서 다룬다.
• 인터포저: GPU와 HBM 사이의 수천 개 배선을 실제로 그어주는 실리콘 판.

세대별 사양

표준 열은 JEDEC 표준이 정한 핀 속도로 낼 수 있는 값이고, 제품 열은 제조사가 발표한 값이다. 2026년 10월 현재 양산 HBM4는 표준 핀 속도를 넘어섰다.

• SK하이닉스는 2025-09-12에 HBM4 개발 완료와 양산 체제 구축을 알렸다. 2,048개 I/O, 핀당 10 Gbps 이상(JEDEC 표준 8 Gbps 초과), 1b DRAM(10나노급 5세대), Advanced MR-MUF 공정이다.
• 삼성전자는 2026-02-12에 HBM4 양산 출하를 알렸다. 핀 11.7 Gbps로 동작하고 13 Gbps까지 올릴 수 있으며, 12단 24~36 GB다. 11.7 Gbps를 2,048비트에 곱하면 약 3.0 TB/s, 13 Gbps면 약 3.3 TB/s로, 보도자료의 「스택당 최대 3.3 TB/s」는 13 Gbps 쪽 값이다.
• 같은 회사의 HBM4E 12단 샘플(2026-05-29)도 HBM4처럼 2,048비트라고 보고 14 Gbps를 곱하면 약 3.6 TB/s로 보도자료 값과 맞는다(보도자료는 인터페이스 폭을 적지 않았다).
• 표준 열의 HBM2E·HBM3 값과 HBM3E 행은 벤더·제품마다 핀 속도가 달라 대략적 범위다. 빈칸은 이번 판에서 1차 출처로 확인하지 않은 칸이다.

HBM4의 주요 변경점

• 인터페이스 폭 1,024 → 2,048비트 (2배)
• 독립 채널 16 → 32개, 각 채널에 의사채널(pseudo-channel) 2개
• HBM3 컨트롤러와의 하위 호환 — 컨트롤러 하나로 HBM3와 HBM4를 함께 다룰 수 있게 인터페이스를 정의했다
• DRFM(directed refresh management) 도입 — 로우해머 완화와 신뢰성(RAS) 개선
• 4~16단 적층 지원, 다이 밀도 24Gb 또는 32Gb → 32Gb 16단이면 큐브당 64GB
• 코어 전압 하향(HBM3/3E의 1.1V → 1.0/1.05V), VDDQ는 0.7~0.9V 중 벤더 선택

주목: HBM4가 주파수를 크게 올리는 대신 폭을 2배로 늘린 것은 3절에서 본 "길 ②"를 다시 한 번 선택했다는 뜻이다. 전력 효율 때문에 이 길이 계속 선택되고 있다.

왜 GPU마다 HBM 스택을 여러 개 붙이나

스택 하나로는 대역폭도 용량도 부족하기 때문이다. 최신 가속기는 GPU 다이 주변에 HBM 스택 6~8개를 배치한다. 한 예로 NVIDIA는 Rubin GPU가 12단 HBM4 스택으로 GPU당 최대 288 GB, 최대 22 TB/s를 낸다고 밝혔다(2026-07-21 기술 블로그, Blackwell 대비 대역폭 2.8배). 스택 수는 그 글에 없다. 36 GB 스택이라고 가정하면 8개이고, 그때 스택당 2.75 TB/s, 핀당 약 10.7 Gbps가 된다 — 어디까지나 역산한 추정이다. 그런데 스택을 늘리면:

• 인터포저 면적이 커진다 → 인터포저도 노광 필드 제약을 받는다 → CoWoS-L 같은 확장 기법 필요
• 패키지가 커지고 열밀도가 올라간다
• 패키징 캐파가 곧 AI 칩 출하량의 상한이 된다 (1회차 공급망 병목의 실체)

5. HBM은 왜 비싼가 — 수율의 곱셈

이 절은 통계 전공자에게 가장 직관적인 부분이다.

기본 계산

DRAM 다이 하나의 수율을 $y$ 라 하고, $n$ 단을 적층한다고 하자. 단순히 무작위로 골라 쌓는다면 스택 전체가 정상일 확률은

$$Y_{\text{stack}}=y^n\times {\prod }_{i=1}^{n-1}{y}_{\text{bond},i}$$

여기서 $y_{\text{bond}}$ 는 각 접합 공정의 수율이다.

수치 예시 ($y=0.99$, 본딩 수율 0.995)

스택 수율 열은 반올림하기 전 값끼리 곱한 것이라, 표에 적힌 두 열을 곱하면 끝자리가 하나 다를 수 있다.

개별 다이가 99%로 훌륭해도 16단이면 스택 5개 중 1개가 버려진다. 그리고 버려질 때는 정상 다이도 함께 버려진다. 다이 하나가 불량이면 나머지 정상 다이 15개가, 다이는 16개 모두 정상인데 접합 하나가 불량이면 16개 전부가 버려진다. 이것이 HBM 가격 구조의 핵심이다.

대응책

1. KGD (Known Good Die) 선별 — 적층 전에 각 다이를 완전히 테스트해서 양품만 쓴다. 위 식의 $y$ 를 1에 가깝게 만드는 방법. 다만 웨이퍼 레벨에서 완전한 테스트를 하려면 별도의 테스트 구조와 시간이 필요하고, 이 자체가 원가다.
2. 여분 회로(redundancy) — 여분 행/열/TSV를 두고 결함을 대체한다. DRAM은 전통적으로 리페어에 능한 제품이다.
3. 본딩 공정 수율 개선 — 하이브리드 본딩이 다음 후보로 검토되는 동기 중 하나.

원가 구조 요약

HBM이 같은 용량의 일반 DRAM보다 몇 배 비싼 이유는 (a) 낮은 적층 수율, (b) TSV 형성·박막화·본딩 등 추가 공정, (c) 인터포저와 첨단 패키징 비용, (d) 공급이 3사로 제한된 시장 구조가 겹친 결과다.

토론거리: 이 중 어느 항이 시간이 지나면 개선되고, 어느 항이 구조적으로 남는가?

6. HBF (High Bandwidth Flash) — 용량이라는 또 다른 병목

왜 나왔나

2회차에서 본 디코딩 상한식을 다시 보자.

$$\text{tokens/s}\lesssim \frac{B}{P·b}\times B_{\text{sz}}$$

여기서 배치 $B_{\text{sz}}$ 를 키우면 처리량이 올라가는데, 배치를 키우려면 KV 캐시를 담을 메모리 용량이 필요하다. 또한 모델 자체가 커지면 가중치를 담을 용량도 필요하다. 대역폭과 용량은 별개의 제약이다.

HBM은 대역폭에 최적화되어 있지만 용량은 비싸다(다이당 24~32Gb 수준). 반면 NAND는 밀도가 압도적으로 높다. "NAND를 HBM처럼 적층하고 광폭 버스를 붙이면 어떨까" 가 HBF의 발상이다.

현황과 사양

• 2025년 8월 6일, Sandisk와 SK하이닉스가 HBF 표준화 협력(양해각서)을 발표했다.
• 2026년 2월 25일, 양사가 OCP(Open Compute Project) 내 전용 워크스트림으로 표준화 작업을 착수했다.
• 2026년 8월 4일, 양사가 첫 HBF 표준 사양을 OCP로 공개했다(SK하이닉스 발표). 8단·16단 두 구성으로 스택당 최대 512 GB, 대역폭은 세 등급(Grade 1~3)으로 약 0.4~3.0 TB/s, 프로세서와의 연결은 칩렛 연결 표준인 UCIe다. Google과 Tenstorrent가 컨소시엄에 참여했다. 중간 등급의 값은 공개 자료에서 확인하지 못했다.
• 이보다 앞선 Sandisk의 1세대 제품 목표(2025년 7월 자료)는 다이당 256Gb(기가비트), 16단 스택 512GB, 읽기 대역폭 1.6 TB/s였고, HBM4와 비슷한 풋프린트·전력 프로파일·스택 높이를 지향했다. 256Gb는 32GB이므로 16단이면 512GB가 된다. 1.6 TB/s는 위 표준의 등급 범위 안에 있는 한 제품의 목표치다.
• 일정: Sandisk는 2025년 8월에 2026년 하반기 첫 HBF 샘플, 2027년 초 HBF 탑재 AI 추론 장치 샘플을 목표로 제시했다. 2026년 8월 투자자의 날 발표 자료(Sandisk Investor Day 2026, HBF 발표 PDF)는 첫 HBF 메모리 다이의 테이프아웃과 2027년 첫 HBF 추론 제품 샘플을 로드맵으로 제시했고, 2026년 하반기 메모리 샘플 목표는 다시 적지 않았다.
• 기술 기반: Sandisk의 BiCS NAND와 CBA(CMOS directly Bonded to Array, CMOS 회로 웨이퍼를 셀 어레이 웨이퍼에 직접 붙이는 구조) + SK하이닉스의 HBM 패키징·3D 적층 역량.

거래의 구조 — 무엇을 주고 무엇을 받나

핵심 이해: HBF는 HBM을 대체하는 물건이 아니라 메모리 계층에 한 단을 추가하는 물건이다. 자주 바뀌지 않는 대용량 데이터(모델 가중치, MoE의 비활성 전문가, 긴 컨텍스트 캐시)를 HBF에 두고, 활발히 갱신되는 데이터는 HBM에 두는 구조를 상정한다.

두 계층을 섞으면 — 단순 모형

한 번의 디코딩 스텝에서 읽는 바이트 가운데 비율 $f$ 가 HBF에서, 나머지 $1-f$ 가 HBM에서 온다고 하자. 두 곳을 차례로 읽는다고 보면 걸리는 시간은 두 몫의 합이므로 실효 대역폭은

$$B_{\text{eff}}=\frac{1}{(1-f)/B_{\text{HBM}}+f/B_{\text{HBF}}}$$

이고, 담을 수 있는 용량은 두 계층의 합 $C_{\text{HBM}}+C_{\text{HBF}}$ 다.

계산 예. HBM4 스택 하나(삼성 발표 최대 3.3 TB/s, 12단 36GB)와 HBF 스택 하나(512GB)를 짝지었다고 하자. HBF 대역폭은 공개 사양 범위의 아래 끝 0.4 TB/s를 가정값으로 쓴다. 읽는 바이트의 10%만 HBF에서 와도($f=0.1$)

$$B_{\text{eff}}=\frac{1}{0.9/3.3+0.1/0.4}\approx 1.91\text{ TB/s}$$

로, HBM만 읽을 때의 58% 수준이 된다. 같은 $f$ 에서 HBF를 위 끝 3.0 TB/s 등급으로 가정하면 약 3.27 TB/s로 거의 손해가 없다. 용량은 어느 경우든 36 + 512 = 548GB다. 느린 계층에서 읽는 몫이 조금만 커져도 그 계층이 전체 속도를 정한다. 그래서 $f$ 를 작게 유지할 수 있는 데이터 — 예컨대 MoE에서 이번 스텝에 쓰이지 않는 전문가 가중치처럼, 대부분은 담아 두기만 하고 가끔 읽는 것 — 가 HBF의 자리다(실습 4).

이 모형은 두 계층을 순서대로 읽는다고 본 것이다. 두 곳을 동시에 읽어 겹치거나, 필요한 데이터를 미리 HBM으로 옮겨 두는(프리페치) 경우는 넣지 않았고, NAND의 긴 지연도 대역폭 하나로 뭉갰다. 대역폭 값은 모두 스택 하나 기준의 발표치·가정값이다.

아래 그림은 위 계산 예, 곧 $f=0.1$, HBM4 3.3 TB/s·36GB, HBF 0.4 TB/s(가정값)·512GB일 때다. 화면본에서는 $f$ 와 HBM 대역폭·용량, HBF 대역폭(공개 사양 범위 0.4~3.0 TB/s 안)을 바꿔 볼 수 있다.

남은 과제 — 아직 검증되지 않은 부분

• NAND 읽기 지연이 DRAM보다 훨씬 큰데, 이를 대역폭으로 상쇄할 수 있는 워크로드가 실제로 얼마나 되는가
• 쓰기 내구성 관리(웨어 레벨링)를 가속기 수준에서 어떻게 할 것인가
• 소프트웨어 스택(어떤 데이터를 어느 계층에 둘지 결정하는 정책)이 성숙할 것인가
• 표준화 진행 상황과 실제 채택 여부 — 2026년 10월 현재 첫 표준 사양은 공개됐지만 양산 제품은 없으며, 성능 수치는 사양 범위·목표치다. "확정된 사실"이 아니라 "진행 중인 시도"로 다뤄야 한다. DRAM과 NAND 사이를 메우려던 앞선 시도인 인텔 Optane(3D XPoint)은 2022년 2분기에 사업 정리에 들어갔다. 새 계층 후보가 반드시 자리를 잡는 것은 아니다(부록 B).

7. PIM / PNM — 연산을 메모리로 가져가기

루프라인 식 $P=min(P_{\text{peak}},B\times I)$ 에서 지금까지 본 접근은 $I$ 를 올리거나(소프트웨어) $B$ 를 올리는(HBM) 것이었다. 세 번째 접근은 애초에 데이터를 옮기지 않는 것이다.

• PIM (Processing-in-Memory): 메모리 다이 안에 간단한 연산기를 넣는다. DRAM 뱅크마다 곱셈누산기를 배치하면 내부 대역폭(외부 핀에 제약받지 않는)을 그대로 쓸 수 있다. 삼성 HBM-PIM, SK하이닉스 AiM 등의 시도가 있다.
• PNM (Processing-Near-Memory): 메모리 근처(예: 베이스 다이나 버퍼 칩)에 연산기를 둔다.

왜 아직 주류가 아닌가

• DRAM 공정은 로직 공정이 아니다. 같은 다이에 복잡한 로직을 넣으면 비용과 수율이 나빠진다.
• 프로그래밍 모델이 없다. 어떤 연산을 메모리로 내릴지 결정하는 컴파일러·런타임이 미성숙하다.
• 범용성이 낮아, 특정 연산(예: 임베딩 룩업, GEMV)에서만 이득이 크다.

그럼에도 주목할 이유: 삼성 HBM4처럼 베이스 다이를 파운드리 로직 공정으로 만드는 흐름(4절)은 PNM의 문을 여는 변화다. 메모리와 연산의 경계가 물리적으로 흐려지고 있다.

8. 자주 하는 오해

오해 1: "HBM은 그냥 빠른 DRAM이다" → 셀 자체는 일반 DRAM과 크게 다르지 않다. 다른 것은 인터페이스 폭과 패키징이다. HBM은 메모리 기술이라기보다 패키징 기술에 가깝다.

오해 2: "HBM이 GDDR보다 항상 좋다" → 절대 대역폭과 전력효율에서는 우수하지만 원가가 훨씬 높고 용량 확장이 제한적이며 공급이 부족하다. 게임 GPU가 여전히 GDDR을 쓰는 데는 이유가 있다.

오해 3: "HBM 용량을 늘리면 메모리 문제가 해결된다" → 용량과 대역폭은 다른 문제다. 대역폭 쪽도 늘린다고 끝나지 않는다. $P_{\text{peak}}$ 가 그대로일 때 $B$ 를 키우면 리지 포인트 $I^{*}=P_{\text{peak}}/B$ 는 내려간다(예: 2회차 H100의 989 TFLOP/s ÷ 3.35 TB/s ≈ 295 FLOP/byte는 $B$ 를 두 배로 하면 약 148 FLOP/byte가 된다). 리지 포인트가 내려오면 더 낮은 연산강도의 워크로드도 연산 바운드 쪽으로 넘어가지만, 디코딩처럼 연산강도가 새 리지 포인트보다도 낮은 워크로드는 여전히 대역폭에 묶인다.

오해 4: "DRAM도 미세화하면 계속 빨라진다" → 대역폭은 늘어도 지연시간은 개선되지 않는다. 오히려 셀 커패시터가 작아져 감지가 어려워지는 방향의 압력이 있다.

오해 5: "HBF는 HBM을 대체할 것이다" → 쓰기 특성과 내구성 때문에 대체가 아니라 계층 추가다. 그리고 2026년 10월 현재 첫 표준 사양만 공개됐을 뿐 양산 제품이 없다.

오해 6: "적층을 더 하면 용량을 선형 비용으로 늘릴 수 있다" → 양품 스택 하나의 용량은 단수에 비례한다(다이 용량 × 단수). 비례하지 않는 것은 그 스택을 얻는 비용이다. 선별 없이 쌓으면 스택 수율이 $y^n$ 으로 떨어져, 양품 스택 하나를 얻는 데 드는 다이가 $n/y^n$ 개로 단수보다 빨리 는다. 단수를 올릴수록 열 방출과 스택 높이(패키지 규격) 제약도 커진다.

오해 7: "HBM의 채널은 메인프레임의 I/O 채널 같은 것이다" → 이름만 같다. 메인프레임의 I/O 채널은 CPU 대신 입출력을 맡는 전용 처리 장치를 가리킨다. HBM의 채널은 스택의 넓은 버스를 독립적으로 동작하는 몫으로 나눈 단위다. 버스 폭 = 채널 수 × 채널 폭이어서, HBM3는 16채널 × 64비트 = 1,024비트, HBM4는 32채널 × 64비트 = 2,048비트다(채널 폭은 표준이 밝힌 버스 폭과 채널 수로 나눈 값). GDDR에도 같은 구조가 있어, JEDEC는 GDDR7에서 독립 채널을 GDDR6의 2개에서 4개로 늘렸다.

오해 8: "리프레시는 읽을 때 빠져나간 전하를 다시 채우는 것이다" → 그것은 복원(restore)이다. 복원은 읽기라는 접근이 일으키고, 리프레시는 시간이 일으킨다. 읽지 않는 셀도 누설 때문에 정해진 시간 안에 다시 채워야 한다. DDR4 기준으로 85°C 이하에서는 64ms 안에 REFRESH 명령 8,192번을 내야 한다(2절).

오해 9: "핀 속도는 물리적 한계에 막혀 더 올릴 수 없다" → 빨리 못 보내서가 아니라 빨리 보내면 비싸서다. GDDR7 표준은 이미 핀당 48 Gbps(디바이스당 192 GB/s를 32비트로 나눈 값)를 정해 두었다. 막는 것은 절대 한계가 아니라 속도를 올릴수록 커지는 채널 손실과 그것을 메우는 등화 회로가 키우는 pJ/bit, 그리고 짧아지는 신호 도달 거리다(3절).

9. 정량 실습

실습 1 — 적층 수율 다이 수율 $y$ 를 0.95 / 0.98 / 0.995로 바꿔가며 8단·12단·16단 스택 수율을 계산하고, KGD 선별이 없을 때 폐기되는 정상 다이의 개수를 구하라. "왜 HBM 업체가 테스트에 그렇게 투자하는가"의 답이 숫자로 나온다.

실습 2 — 대역폭 설계 목표 대역폭 4 TB/s를 (a) 버스 폭 1,024비트, (b) 2,048비트로 각각 달성하려면 핀당 전송률이 얼마여야 하는가? 두 경우의 pJ/bit 차이가 시스템 전력에 어떤 영향을 주는지 정성적으로 논하라.

실습 3 — 메모리 예산 배분 특정 모델을 서빙할 때 가용 메모리를 가중치와 KV 캐시에 어떻게 배분하는 것이 처리량을 최대화하는가? 배치를 늘리면 KV 캐시가 늘고, 양자화하면 가중치가 준다. 최적점을 찾는 문제로 세워보라.

실습 4 — HBF 적합성 판정 어떤 워크로드가 HBF에서 이득을 볼지 판정하는 기준을 세워보라. (힌트: 읽기/쓰기 비율, 재사용 거리, 지연 민감도)

10. 토론 질문

1. HBM의 형태를 물리적 제약에서 재구성해 보라. 만약 신호 무결성 문제가 없었다면 HBM은 존재했을까?
2. HBM4에서 베이스 다이를 로직 파운드리 공정으로 만드는 흐름(삼성은 자사 파운드리 4nm 공정으로 실현했다)은 메모리 산업의 경쟁 구도를 어떻게 바꿀 수 있는가?
3. 메모리 계층이 SRAM–HBM–DRAM–HBF–SSD로 더 세분화되면 소프트웨어는 무엇을 해야 하는가? 이 결정을 자동화할 수 있는가?
4. PIM이 실용화되려면 무엇이 먼저 해결되어야 하는가? 하드웨어 문제인가 소프트웨어 문제인가?
5. 대역폭 경쟁이 계속 pJ/bit 개선에 의존한다면, 물리적 한계는 어디인가? 광연결(optical interconnect)이 답이 될 수 있는가? (7회차에서 이어서)

11. 후속 공부

• 메모리 시스템 교과서: Jacob, Ng & Wang, Memory Systems: Cache, DRAM, Disk (Morgan Kaufmann, 2007) — DRAM 타이밍과 구조의 표준 참고서
• DRAM 연구: Onur Mutlu 교수(ETH Zürich) 홈페이지와 SAFARI 연구실의 강의 자료와 논문 — DRAM 지연시간, 리프레시, PIM에 관한 가장 체계적인 자료군이며 강의 영상이 공개되어 있다. DRAM을 더 깊이 보려는 독자에게 권한다
• HBM 표준: JEDEC JESD235(HBM), JEDEC JESD270-4(HBM4) — 표준 문서 자체(2026년 10월 현재 HBM4 표준 페이지는 개정판 JESD270-4A를 싣고 있다). 요약본은 Rambus·Synopsys의 기술 블로그가 접근성이 좋다
• 신호 속도 쪽 표준: JEDEC JESD239(GDDR7) — PAM3로 핀 속도를 올린 길 ①의 현재 모습
• HBF: Sandisk·SK하이닉스 표준화 협력 보도자료(2025-08-06), SK하이닉스 HBF 첫 표준 사양 공개(2026-08-04), IEEE Spectrum 「High Bandwidth Flash Unlocks Massive Model Storage」(2026-07-14), OCP 워크스트림 문서
• PIM: 삼성 HBM-PIM, SK하이닉스 AiM 관련 ISSCC/HotChips 발표 자료
• 국내 기술동향: ETRI 전자통신동향분석 41권 3호 「AI 메모리 반도체 분야 주요 기술 및 시장 동향」

자습 부록 A — 정량 실습 풀이

실습 1 풀이 — 적층 수율

실습 2 풀이 — 대역폭 설계

실습 3 풀이 — 메모리 예산 배분

같은 계산은 2회차 실습 3 풀이 끝의 그림에서 해 볼 수 있다. 화면본에서는 시퀀스 길이와 정밀도를 바꿔 가며 최대 배치가 어떻게 변하는지 본다.

실습 4 풀이 — HBF 적합성 판정

자습 부록 B — 토론 질문 생각의 실마리

자습 부록 C — 핵심 용어

자습 부록 D — 자가진단

• ☐ 대역폭과 용량이 다른 제약임을 예를 들어 설명할 수 있다 → 이 회차 전체 ★
• ☐ $B=$ 버스 폭 × 전송률에서, 왜 산업이 "넓고 느리게"를 택했는지 전력으로 설명할 수 있다 → 실습 2 ★
• ☐ 8단·12단·16단 적층 수율을 암산 수준으로 어림할 수 있다 → 실습 1
• ☐ KGD 선별이 왜 필수인지 숫자로 말할 수 있다 → 실습 1 ★
• ☐ HBM 공급이 왜 돈으로 빨리 늘지 않는지 설명할 수 있다 → 실습 1
• ☐ HBF가 어떤 워크로드에 맞는지 판정 기준 세 가지를 댈 수 있다 → 실습 4
• ☐ MoE가 왜 HBF의 유력한 용례인지 설명할 수 있다 → 실습 4
• ☐ PIM을 막는 장벽을 공정(하드웨어)과 프로그래밍 모델(생태계)로 나눠 말할 수 있다 → 7절

다음 회차로 넘어가기 전에

여기까지 세 회차로 무엇이 문제인지를 다 봤다. 4회차부터는 누가, 어떻게 만드는가로 넘어간다.

출처

스터디 커리큘럼이 고른 입문 자료 ("AI 메모리 반도체" 항목)

검증 완료 (2026-08-02, 복수 출처 대조)

• HBM4 = JEDEC JESD270-4, 2025년 4월 공표. 인터페이스 2,048비트, 독립 채널 32개(채널당 의사채널 2개), 스택당 최대 약 2 TB/s, 4~16단, 다이 24Gb/32Gb, 32Gb 16단 시 큐브당 64GB, HBM3 컨트롤러 하위 호환, DRFM, 코어 전압 1.0/1.05V·VDDQ 0.7~0.9V — JEDEC 보도자료, TrendForce(2025-04-21), Tom's Hardware 대조
• HBF 표준화: Sandisk·SK하이닉스 협력 발표 2025년 8월 6일, OCP 워크스트림 착수 2026년 2월 25일. 목표 사양 다이당 256Gb / 16단 512GB / 읽기 약 1.6 TB/s, HBM4와 비슷한 풋프린트 지향. 첫 샘플 2026년 하반기 목표 — Sandisk·SK하이닉스 보도자료, IEEE Spectrum, Tom's Hardware 대조. 다이당 용량과 풋프린트 표현은 Sandisk HBF 팩트시트 원문(「256Gb per die」, 「closely matching」)으로 확인
• HBM 3사 과점 구조와 매출 기준 선두 SK하이닉스(2026년 1분기 IDC 집계, 1회차 4절) — 검증 완료. 2·3위의 순서는 세대마다 바뀌어 적지 않는다

검증 완료 (2026-10-08, 1차 출처 원문 대조)

• HBM4 양산: SK하이닉스 HBM4 개발 완료·양산 체제 구축(2025-09-12) — 2,048 I/O, 10 Gbps 이상, 1b DRAM, Advanced MR-MUF. 삼성전자 HBM4 양산 출하(2026-02-12) — 11.7 Gbps(최대 13 Gbps), 스택당 최대 3.3 TB/s, 12단 24~36GB, 1c DRAM·4nm 로직. 삼성전자 HBM4E 샘플 출하(2026-05-29) — 14 Gbps(최대 16 Gbps), 스택당 최대 3.6 TB/s, 12단 48GB, 「Samsung Foundry's 4nm logic base die」
• HBM4 표준: JEDEC JESD270-4 보도자료(2025-04-16) — 8 Gb/s, 2,048비트, 최대 2 TB/s, 32채널·채널당 의사채널 2, VDDQ 0.7/0.75/0.8/0.9V·VDDC 1.0/1.05V, HBM3 컨트롤러 하위 호환, DRFM, 4·8·12·16단과 24Gb·32Gb 다이(32Gb 16단 64GB)
• NVIDIA Rubin: NVIDIA 기술 블로그 「Inside NVIDIA Rubin GPU Architecture」(2026-07-21) — HBM4 최대 288GB, 12단 스택, 최대 22 TB/s(Blackwell 대비 2.8배). 스택 수는 글에 없어 본문의 8개는 역산 추정
• HBF: SK하이닉스 HBF 첫 표준 사양 공개(2026-08-04) — OCP 공개, 8단·16단, 최대 512GB, 3등급 약 0.4~3.0 TB/s, UCIe, Google·Tenstorrent 참여. SK하이닉스 FMS 2026 정리(2026-08-07) — HBM·DRAM·NAND(HBF)·SSD 계층, CXL 풀드 메모리 시연. Sandisk 표준화 협력 보도자료(2025-08-06) — 2026년 하반기 첫 샘플·2027년 초 추론 장치 샘플 목표. Sandisk HBF 팩트시트(2025-07) — 1세대 읽기 1.6 TB/s, 다이당 256Gb, 16단 512GB, CBA = CMOS directly Bonded to Array
• 적층 공정: SK하이닉스 HBM4 보도자료(위) — Advanced MR-MUF. 삼성전자 HBM3E 12H 보도자료(2024-02-27) — Advanced TC NCF
• SPHBM4: JEDEC JESD330-4 보도자료(2026-07-13) — HBM4와 같은 DRAM 다이, 데이터 신호 512개·4:1 직렬화, 유기 기판 실장
• GDDR7: JEDEC JESD239 보도자료(2024-03-05) — 디바이스당 최대 192 GB/s, PAM3(2사이클에 3비트), 독립 채널 GDDR6 2개 → GDDR7 4개. 핀당 48 Gbps는 32비트로 나눈 계산값
• DRAM 리프레시: Micron 16Gb DDR4 데이터시트 Rev. H(2021-08), 리프레시 기능 설명과 Table 52 — 0~85°C에서 64ms 안 8,192회(tREFI 7.8125μs), 85~95°C에서 32ms(3.90625μs), tRFC1 2Gb 160ns·4Gb 260ns·8Gb 350ns. 링크는 유통사(Digi-Key)의 사본이다
• CXL: CXL 컨소시엄 CXL 4.0 공개 보도자료(2025-11-18) — 64 GT/s → 128 GT/s. CXL 컨소시엄 개요 발표자료 — PCIe 물리·전기 인터페이스 활용
• Optane: Intel Form 10-Q(2022-07-02 종료 분기) — SEC EDGAR 원문. 2022년 2분기에 Optane 메모리 사업의 정리(wind-down)를 시작했고, 같은 분기에 재고 손상 5억 5,900만 달러를 매출원가에 반영했다고 적었다. 다음 분기 10-Q(2022-10-01 종료 분기, 원문)도 같은 금액을 1~3분기 누계로 적었다(2026-10-08 대조)

미확인 · 유보 (본문에서 단정하지 않음)

• HBF의 실측 성능 — 2026년 10월 현재 양산 제품이 없다. 본문의 512GB·0.4~3.0 TB/s·1.6 TB/s는 전부 사양 범위·목표치이며 검증된 실측값이 아니다. 중간 등급(Grade 2)의 대역폭 값은 공개 자료에서 확인하지 못했다
• HBF 샘플 일정 — 2025년 8월 목표는 2026년 하반기 첫 샘플이었다. 2026년 8월 Sandisk 투자자의 날 자료는 첫 HBF 메모리 다이 테이프아웃과 2027년 첫 추론 제품 샘플만 제시했다(2026-10-08 확인). 메모리 샘플 출하 시점은 공식 발표 미확인
• HBM2E/HBM3/HBM3E의 정확한 스택 대역폭 — 벤더·제품별로 핀 속도가 달라 표의 수치는 대략적 범위다. 정확한 값은 각 벤더 데이터시트 확인 필요
• 하이브리드 본딩의 HBM 양산 적용 시점 — 2026년 10월 현재 양산 HBM에 썼다는 제조사 발표를 찾지 못했다. Micron의 적층 방식은 1차 자료로 확인하지 못했다
• HBM4의 명령 버스 구조 변화 — 명령 버스와 데이터 버스의 분리를 HBM4 변경점으로 드는 서술은 JEDEC 보도자료(2024-07 예고·2025-04 공표) 원문에서 확인되지 않아 4절 변경점 목록에 넣지 않았다. 표준 본문은 열람하지 못했다
• HBM 업체별 점유율 퍼센트 — 자료별 편차가 커 단정하지 않음
• 5절 수율 계산의 $y$ 값 — 실제 업체 수율은 영업비밀이다. 본문 수치는 계산 원리를 보이기 위한 가정값이며 실제 수율이 아니다
• PIM 제품의 상용화 수준 — 시제품·한정 적용 단계로, 범용 채택 여부는 미정

4회차

팹리스 · 파운드리와 밸류체인

학습목표

1. 팹리스·파운드리·IDM·OSAT·IP 벤더의 역할과 각자의 이익 구조를 구분할 수 있다.
2. 칩 설계 파이프라인 전체를 소프트웨어 개발 과정에 대응시켜 설명할 수 있다.
3. 푸아송 수율 모형을 세우고 다이 크기별 웨이퍼당 굿다이 수를 계산할 수 있다.
4. "3nm"라는 표현에서 실제로 확인해야 할 지표가 무엇인지 안다.
5. ASIC 개발 여부를 정량적으로 판단할 수 있다.

0. 자습 안내 — 혼자 읽는 사람에게

직전 회차에서 가져오는 것

선행 지식 점검

통계 배경이 있다면: 이 회차 5절은 학부 확률론 첫 장이 그대로 산업의 원가 구조가 되는 흔치 않은 사례다. 실습 3(푸아송 vs 음이항)은 젠센 부등식 한 줄로 정리된다 — 부록 풀이 참조.

읽는 순서 (총 110분 권장)

절대 건너뛰지 말 것: 5절 「수치로 느끼기」 표. 그리고 그 표를 보고 왜 면적이 16배 늘 때 수율이 절반이 되는가를 지수함수의 성질로 설명할 수 있어야 한다.

막히기 쉬운 지점 — GDPW 식이 왜 저렇게 생겼나

$$\text{GDPW}\approx \frac{\pi d^2/4}{A}-\frac{\pi d}{\sqrt{2A}}$$

겁먹을 식이 아니다. 두 항을 따로 읽으면 된다.

• 첫 항 = 웨이퍼 넓이 ÷ 다이 넓이. 그냥 "몇 개가 들어가나"다.
• 둘째 항 = 가장자리 손실 보정. 원판에 사각형을 채우면 테두리에 걸려 잘리는 다이가 생긴다. 그 개수를 웨이퍼 둘레 ÷ 다이 대각선으로 어림한 것이 둘째 항이다. 정사각 다이의 한 변이 $\sqrt{A}$ 이면 대각선은 $\sqrt{2A}$ 이므로 $\pi d/\sqrt{2A}$ 가 된다. 분모를 한 변 $\sqrt{A}$ 로 잡으면 손실이 $\sqrt{2}$ 배로 커지는데, 이 상수 하나가 결과를 눈에 띄게 바꾼다(아래 표).

즉 "면적으로 나눈 뒤, 테두리에서 버려지는 만큼 뺀다"가 전부다. 다이가 클수록 둘째 항의 비중이 커진다 — 큰 칩은 수율에서도, 테두리에서도 두 번 손해를 본다.

이 식도 근사다. 직접 세어 보면 차이가 보인다. 조건은 지름 300 mm 웨이퍼, 정사각 다이, 가장자리 제외 폭 0, 스크라이브 라인 폭 0이다. 다이 격자를 웨이퍼 위에 깔고, 네 모서리가 모두 반지름 150 mm 원 안에 드는 다이만 센다. 격자의 원점을 가로·세로로 한 변의 1/20씩 옮겨 400가지 위치에서 세고 평균과 범위를 냈다. 계산하면 다음과 같다.

괄호 안 백분율은 직접 센 평균에 대한 차이다. $\sqrt{2A}$ 식은 평균보다 1~5% 적게 나오고, $\sqrt{A}$ 식은 5~19% 적게 나온다. 다이가 클수록 오차가 커지고, 격자를 어디에 놓느냐에 따라서도 개수가 달라진다(800 mm² 에서 66개와 71개). 다이 꼭짓점 하나를 웨이퍼 중심에 맞추면 100·400·800 mm² 에서 각각 648·148·68개로, 평균과 거의 같다. 실제 웨이퍼에는 가장자리 제외 폭과 스크라이브 라인이 있으므로 직접 센 값도 이보다 줄어든다. 여러 근사식을 비교한 문헌으로 de Vries(2005), doi:10.1109/TSM.2004.836656이 있다.

1. 직관 잡기 — 왜 설계와 제조가 갈라졌나

고정비의 폭발

칩을 만드는 비용은 두 덩어리다.

• 고정비(NRE, Non-Recurring Engineering): 설계 인건비, EDA 툴 라이선스, IP 라이선스, 마스크셋 제작비, 검증·시제품. 물량과 무관하게 한 번 든다.
• 변동비: 웨이퍼 값, 패키징, 테스트. 개당 든다.

여기에 팹 건설비라는 훨씬 큰 고정비가 있다. 최신 첨단 팹 하나가 수백억 달러 규모다. 이 정도 고정비를 회수하려면 팹을 24시간 가동하며 엄청난 물량을 흘려야 한다.

결론: 자기 칩만 만들어서는 팹을 채울 수 없다. 그래서 두 가지 길이 생겼다.

1. IDM (종합반도체회사): 자기 제품 물량이 충분히 큰 경우(메모리처럼 표준품 대량생산). 삼성전자·SK하이닉스·Micron·Intel.
2. 파운드리-팹리스 분업: 여러 회사의 설계를 한 팹에 모아 채운다. TSMC가 이 모델을 확립했다.

경제학 프레임: 고정비가 크고 한계비용이 낮은 산업은 자연독점 경향을 갖는다. 반도체 제조는 여기에 학습곡선(누적 생산량이 늘수록 수율이 오름) 까지 겹쳐서, 선두가 계속 유리해지는 구조다. 후발주자가 따라잡기 어려운 이유는 자본만이 아니라 경험의 축적에도 있다.

2. 플레이어별 역할

경계가 흐려지는 지점 (2026년)

• 메모리 업체가 로직 공정을 필요로 한다 — HBM4 베이스 다이를 로직 파운드리 공정으로 만든다. SK하이닉스는 2024년 4월 TSMC와 HBM4 협력 양해각서를 맺으면서 TSMC의 첨단 로직 공정을 쓰고 베이스 다이의 성능 개선부터 함께 하겠다고 발표했다. 메모리 업체와 파운드리의 협업이 필수가 된다.
• 파운드리가 패키징으로 확장한다 — TSMC의 CoWoS·SoIC. 전통적 OSAT 영역을 파운드리가 흡수하고 있다. 이유는 명확하다: 첨단 패키징이 성능을 결정하므로 전공정과 통합 최적화해야 한다.
• 하이퍼스케일러가 팹리스가 된다 — Google·Amazon·Meta·Microsoft가 자체 칩을 설계한다. 다만 대부분 Broadcom·Marvell 같은 설계 파트너와 함께한다.
• IDM이 파운드리를 연다 — Intel Foundry, Samsung Foundry. 신뢰 문제(경쟁사에 설계를 맡길 수 있는가)가 구조적 난제다.

3. 칩 설계 파이프라인 — 소프트웨어 개발과 대응시켜 보기

대응표

넷째 열을 위에서 아래로 읽으면 테이프아웃까지 칩은 파일로만 있다. 테이프아웃 때 파운드리로 넘어가는 것은 레이아웃 파일이고, 오래 쓰여 온 형식은 GDSII 스트림이다. SEMI는 그 후속 형식으로 OASIS(SEMI P39)를 표준화했다. 소프트웨어 비유가 테이프아웃에서 끝나는 이유가 이 열에 있다. 그 아래로는 고치려면 물건을 다시 만들어야 한다.

소프트웨어와 결정적으로 다른 두 가지

1. 핫픽스가 없다. 테이프아웃 이후 버그가 발견되면 마스크를 다시 만들고(리스핀) 수개월과 수천만 달러를 다시 쓴다. 그래서 검증에 전체 개발 공수의 절반 이상을 쓴다. "버그 하나의 비용"이 소프트웨어와 자릿수가 다르다.
2. 물리가 개입한다. 같은 RTL이라도 배치배선 결과에 따라 성능이 크게 달라진다. 타이밍 클로저(모든 경로가 클럭 주기를 만족하도록 만드는 일)가 개발 후반의 주된 고통이다.

「RTL = 소스 코드」 비유가 어긋나는 곳이 하나 더 있다. RTL 문장은 위에서 아래로 실행되는 명령이 아니라 동시에 존재하는 회로를 적은 것이다. assign 문 세 줄은 덧셈을 세 번 하는 것이 아니라 덧셈기 세 개를 나란히 놓는 것이고, if 는 분기가 아니라 두 입력 중 하나를 고르는 멀티플렉서가 된다. 소프트웨어에서 온 사람이 가장 자주 틀리는 것은 논블로킹 대입(<=)이다.

always @(posedge clk) begin
  q1 <= d;
  q2 <= q1;
end

클럭 직전에 d = 1, q1 = 0, q2 = 0 이라고 하자. 위에서 아래로 실행된다고 읽으면 클럭 뒤에 q1 과 q2 가 모두 1이어야 한다. 실제로는 q1 = 1, q2 = 0 이다. 논블로킹 대입은 클럭 순간에 오른쪽 값을 모두 먼저 읽어 두고 왼쪽을 한꺼번에 바꾸기 때문이다(IEEE Std 1364-2005의 논블로킹 절차 대입 규정. 이 규격은 지금 IEEE Std 1800(SystemVerilog)으로 대체되었다). 두 줄의 순서를 바꿔도 결과는 같다. 이 코드는 명령 두 개가 아니라 플립플롭 두 개를 이어 붙인 2단 시프트 레지스터의 그림이다.

PDK와 표준셀 — 추상화 계층

파운드리는 PDK(Process Design Kit) 를 제공한다. 여기에는 설계 규칙(DRC 룰), 소자 모델(SPICE 파라미터), 표준셀 라이브러리(NAND·플립플롭 등 기본 블록의 레이아웃과 타이밍 특성)가 들어 있다.

이것이 왜 결정적인가: PDK 덕분에 팹리스는 반도체 물리를 몰라도 설계할 수 있다. 소프트웨어의 API/ABI와 정확히 같은 역할이다. 그리고 API가 그렇듯, PDK에 맞춰 설계한 것은 다른 파운드리로 그대로 옮겨지지 않는다. 표준셀과 설계 규칙이 바뀌므로 합성부터 배치배선·타이밍 클로저·DRC/LVS까지 다시 돌려야 하고, 마스크셋도 새로 만든다. 이 이식 비용이 파운드리 전환을 막는 실제 장벽이고, TSMC의 생태계 우위도 여기서 나온다.

이 생태계는 이름이 붙은 제도다. TSMC는 협력사를 OIP(Open Innovation Platform®) 아래 얼라이언스로 묶는다. 2018년 10월 클라우드 얼라이언스가 다섯째로 더해졌을 때 구성은 EDA·IP·디자인센터·VCA(당시 이름 Value Chain Aggregator, 지금은 Value Chain Alliance)·클라우드였고, 2022년 10월 여섯째로 3DFabric 얼라이언스(첨단 패키징·3D IC)가 생겼다. 삼성 파운드리는 같은 일을 SAFE™ 프로그램으로 한다. 인증한 PDK·설계 방법론·IP를 묶어 내놓고, IP·EDA·클라우드·디자인 서비스·멀티다이 통합(MDI)·OSAT 얼라이언스를 둔다(2026년 10월 확인). 고객이 보기에 파운드리를 고르는 일은 공정 하나를 고르는 일이 아니라 이 협력망 전체를 고르는 일이다.

4. "3nm"의 진실 — 노드 이름 읽는 법

무엇이 아닌가

과거에는 노드 이름이 게이트 길이 같은 실제 물리 치수를 가리켰다. FinFET 이후로는 어떤 물리 치수와도 대응하지 않는 마케팅 명칭이 되었다. 서로 다른 회사의 "3nm"는 밀도와 성능이 다르고, 같은 회사의 세대 간 비교에서도 이름이 성능 향상을 그대로 반영하지 않는다.

그러면 무엇을 봐야 하나

AI 가속기 맥락에서 더 중요한 사실: AI 칩 성능은 노드보다 메모리 대역폭과 패키징에 더 좌우된다. 노드가 한 세대 앞선 것보다 HBM 스택을 하나 더 붙이는 것이 성능에 더 큰 영향을 줄 수 있다.

2026년 현재 2nm급 상황

각 회사의 공식 발표로 2026년 10월 8일에 다시 확인한 상태다.

주목할 구도: Intel은 GAA와 후면전력공급을 동시에 도입하는 공격적 전략을, TSMC는 GAA를 먼저 안정화하고 후면전력공급을 다음 노드로 미루는 보수적 전략을 택했다. 이것은 기술 우열이 아니라 위험 배분(risk budgeting) 전략의 차이다. 토론하기 좋은 주제다.

5. 수율의 경제학 — 이 책의 두 번째 핵심 도구

푸아송 모형

웨이퍼에 결함이 무작위로(공간적으로 독립·균일하게) 떨어진다고 가정하자. 단위 면적당 평균 치명결함 밀도를 $D_0$ [결함/cm²], 다이 면적을 $A$ [cm²]라 하면, 한 다이에 떨어지는 결함 수는 평균 $\lambda =A{D}_0$ 인 푸아송 분포를 따른다. 결함이 하나도 없을 확률, 즉 수율은

$$Y=P(X=0)=e^{-A{D}_0}$$

통계 전공자에게: 이것은 그냥 푸아송 분포의 $P(X=0)$ 이다. 반도체 수율 이론의 출발점이 학부 확률론 첫 장이라는 것이 이 분야의 재미있는 점이다.

식이 어디서 오나 — 다이를 칸으로 쪼개 보기. 다이를 같은 넓이의 작은 칸 $n$ 개로 나누고, 칸마다 결함이 떨어질 확률을 $p=\lambda /n$ 으로 둔다. 칸끼리 독립이면 다이가 깨끗할 확률은 모든 칸이 깨끗할 확률이고, 칸을 한없이 잘게 쪼개면 고교 극한 ${lim}_{n\to \infty }(1+x/n{)}^n=e^x$ 에 $x=-\lambda$ 를 넣은 것이 된다.

$$P(\text{결함 }0)={(1-\frac{\lambda }{n})}^n⟶e^{-\lambda }(n\to \infty )$$

계산하면 $\lambda =0.8$ 일 때 $n=10$ 에서 0.4344, $n=100$ 에서 0.4479, $n=\mathrm{1,000}$ 에서 0.4492이고, 극한값 $e^{-0.8}$ 은 0.4493이다. 칸 열 개로만 나눠도 답의 97%에 이른다.

수치로 느끼기

$D_0=0.1$ 결함/cm² (성숙 공정 수준의 예시값)일 때:

면적이 16배 늘 때 수율은 절반 이하로 떨어진다. 그리고 큰 다이는 웨이퍼당 개수도 적으므로, 굿다이 수는 훨씬 급격히 준다.

웨이퍼당 굿다이 수

300mm 웨이퍼 면적은 약 $\pi \times {15}^2=706$ cm²다. 가장자리 손실을 고려한 근사식(Gross Die Per Wafer)은 여러 형태가 있는데, 흔히 쓰는 것은

$$\text{GDPW}\approx \frac{\pi d^2/4}{A}-\frac{\pi d}{\sqrt{2A}}$$

($d$ = 웨이퍼 지름, $A$ = 다이 면적. 두 번째 항이 가장자리 손실 보정으로, 웨이퍼 둘레를 다이 대각선 $\sqrt{2A}$ 로 나눈 것이다. 100~800 mm² 다이에서 이 식이 직접 센 개수보다 1~5% 적게 나온다는 비교는 0절 「막히기 쉬운 지점」에 있다)

굿다이 수 = GDPW × $Y$ 이고, 다이당 원가 = 웨이퍼 가격 / 굿다이 수 다.

실습: 웨이퍼 한 장 값을 $W$ 라 할 때, 다이 면적 100 mm²와 800 mm²의 다이당 원가 비율을 구해보라. 면적비는 8배지만 원가비는 훨씬 크게 나온다.

푸아송 모형이 틀리는 이유 — 결함 클러스터링

실제 결함은 독립적으로 흩어지지 않고 뭉친다(파티클 오염, 장비 이상, 웨이퍼 가장자리 효과). 클러스터링이 있으면 푸아송 모형은 수율을 과소평가한다. 결함이 몇 개 다이에 몰리면 나머지 다이는 깨끗하기 때문이다.

대안 모형들

음이항 모형에서 $\alpha$ 는 클러스터링 파라미터로, $\alpha \to \infty$ 이면 푸아송으로 수렴하고 $\alpha$ 가 작을수록 클러스터링이 심하다. 감마-푸아송 혼합이 음이항이 되는 것은 통계학에서 익숙한 결과이고, 반도체 수율 모형이 정확히 그 구조다. 결함 밀도 $D$ 가 평균 $D_0$ 인 감마 분포를 따르면 그 분산은 $D_0^2/\alpha$ 다. $\alpha =1$ 이면 결함 밀도의 표준편차가 평균과 같다는 뜻이다(적분은 실습 3 풀이). IBM이 1980년에 낸 메모리 수율 모형도 푸아송의 평균을 흔드는 혼합 모형이었다(Stapper 외, 1980).

더 파고들기: 이 절은 통계 전공자가 가장 편하게 심화할 수 있는 지점이다. 실제 팹에서는 웨이퍼 맵(어느 위치의 다이가 불량인지) 데이터에 공간 통계와 머신러닝을 적용해 결함 패턴을 분류하고 원인 장비를 역추적한다. 5회차 검사·계측 절과 이어진다.

$A$ 는 다이 면적 전체가 아니다 — 임계 면적. 결함이 떨어졌다고 모두 불량이 되지는 않는다. 배선 두 줄 사이에 떨어진 파티클이 두 줄에 함께 닿을 만큼 크지 않으면 단락은 생기지 않고, 회로가 없는 자리에 떨어지면 아무 일도 없다. 그래서 $\lambda =A{D}_0$ 의 $A$ 는 엄밀히는 다이 면적이 아니라 임계 면적(critical area), 곧 그 크기의 결함이 떨어졌을 때 회로가 망가지는 자리의 넓이다. 같은 다이라도 결함이 클수록 임계 면적이 넓어지고, 배선이 촘촘한 블록일수록 넓다. IBM의 메모리 수율 모형(Stapper 외, 1980)은 제품을 이 임계 면적으로, 공정을 결함 밀도로 따로 기술했다. 이 책이 $D_0$ 를 「치명결함 밀도」라 부르며 다이 면적을 그대로 쓰는 것은 임계 면적의 효과를 밀도 쪽에 흡수한 단순화다.

수율이 설명하는 것들

1. 왜 칩렛인가 — 800 mm² 다이 1개(수율 45%)보다 200 mm² 다이 4개(각 82%)를 따로 만들어 테스트로 양품만 골라(KGD) 묶는 편이 훨씬 유리하다. 고르지 않고 네 개를 그대로 묶으면 완성품 수율은 $(e^{-0.2}{)}^4=e^{-0.8}\approx 45\%$ 로 단일 다이와 같다(3회차의 곱셈 수율). 이득은 다이를 작게 나눈 데서가 아니라 불량을 조립 전에 버려 양품 실리콘만 쓰는 데서 나온다. 다만 붙이는 비용과 조립 수율이 추가된다. 이 손익 계산이 6회차의 핵심이다.
2. 왜 파운드리는 웨이퍼 단위로 파는가 — 수율 위험을 누가 지느냐의 문제다. 웨이퍼 단위 계약이면 팹리스가, 굿다이 단위 계약이면 파운드리가 진다. 신규 노드일수록 파운드리는 웨이퍼 단위를 선호한다.
3. 왜 신규 노드가 비싼가 — 초기에는 $D_0$ 가 높다. 시간이 지나며 학습곡선을 따라 내려간다(yield learning). 이것이 선두 주자의 구조적 이점이다.
4. 왜 비닝(binning)을 하는가 — 비닝은 두 종류다.
   • 결함 비닝. 일부 결함은 해당 코어만 비활성화하면 쓸 수 있다. 8코어 설계를 6코어 제품으로 파는 것은 수율 회수 전략이다. 결함을 고쳐 쓰는 길도 있다. 메모리는 예비 행·열을 두었다가 결함 난 줄을 예비로 바꿔 끼우고(리페어), 일부만 동작하는 칩을 따로 팔기도 한다. IBM은 64K비트 RAM의 수율 추이를 보고하면서 예비 회로와 부분 동작 제품으로 얻은 수율 향상을 함께 제시했다(Stapper 외, 1982). 3회차 HBM의 여분 회로가 같은 원리다.
   • 속도·전력 비닝. 결함이 없는 다이끼리도 공정 변동 때문에 낼 수 있는 최대 동작 주파수와 전력이 다르다. 그래서 다이마다 최대 주파수를 시험해 등급을 나눈다. 이것은 결함 개수를 세는 $e^{-A{D}_0}$ 로는 설명되지 않는 파라메트릭 수율의 문제다. 결함 비닝이 「몇 개가 살아 있나」를 다룬다면 속도 비닝은 「살아 있는 것이 얼마나 빠른가」를 다룬다.

6. ASIC · FPGA · 범용 프로세서 — 정량적 선택

손익분기 (2회차에서 세운 식의 정밀화)

$$N^{*}=\frac{C_{\text{NRE}}}{(c_G+o_G)-(c_A+o_A)}$$

• $c$ : 단위 취득원가, $o$ : 수명기간 운영비(주로 전력비)의 현재가치
• 2회차와 같이 ASIC 한 대가 GPU 한 대의 일을 1:1로 대신한다고 둔다. 처리량이 다르면 $N$ 을 같은 수요를 처리하는 대수로 환산해야 한다
• $c_A$ 는 위 5절의 다이당 원가 + 패키징 + 테스트로 계산한다

다섯 축 트레이드오프

시간 축이라는 함정

$N^{*}$ 를 넘길 물량이 있어도, 그 물량을 그 칩으로 처리하는 기간이 짧으면 소용없다. 모델 아키텍처가 2년마다 크게 바뀌는데 칩 개발에 2~3년이 걸린다면, 완성 시점에 그 칩이 겨냥한 연산 패턴이 여전히 지배적이어야 한다.

하이퍼스케일러가 이 위험을 감수할 수 있는 이유

1. 물량 $N$ 이 압도적이다.
2. 자기 워크로드를 자기가 통제한다. 모델을 칩에 맞춰 설계할 수 있다는 것이 결정적이다.
3. 전력비 절감액의 총액이 크다(데이터센터 규모). 장당으로 보면 손익분기 대수를 주로 가르는 것은 취득가 차이이고 전력비 차이는 몇 %에서 십몇 %에 그치지만(2회차 실습 4 풀이, 이 회차 실습 5 풀이), 수만 장을 몇 년 돌리면 그 몫도 큰 금액이 된다.
4. 벤더 협상력이라는 옵션 가치가 있다.
5. 실패해도 감당 가능한 자본 여력이 있다.

대부분의 회사가 안 하는 이유: 위 다섯 가지 중 어느 것도 성립하지 않기 때문이다.

7. 자주 하는 오해

오해 1: "TSMC는 설계도 한다" → 순수 파운드리 모델의 핵심은 고객과 경쟁하지 않는다는 신뢰다. IP 블록·패키징 서비스는 제공하지만 완제품 칩 설계는 하지 않는다. 이 중립성이 TSMC 성공의 큰 부분이다.

오해 2: "노드가 앞서면 칩이 빠르다" → AI 가속기에서는 메모리와 패키징이 더 결정적일 수 있다. 또한 노드 이름 자체가 비교 가능한 지표가 아니다.

오해 3: "수율은 공정이 성숙하면 100%에 수렴한다" → 푸아송 식 안에서는 맞다. 면적이 얼마든 $D_0\to 0$ 이면 $e^{-A{D}_0}\to 1$ 이다. 문제는 $D_0$ 가 0까지 내려가지 않는다는 것이다. 같은 $D_0$ 에서는 다이가 클수록 수율이 지수적으로 낮으므로, 공정이 성숙해도 큰 다이는 작은 다이보다 낮은 수율에 머문다(800 mm² 다이는 $D_0=0.05$ 에서도 67.0%). 여기에 결함 개수로 세지 않는 파라메트릭 손실(5절 속도·전력 비닝)이 식 밖에 따로 남는다. 그리고 신규 노드는 항상 다시 낮은 수율에서 시작한다.

오해 4: "팹리스는 제조를 몰라도 된다" → PDK가 추상화해 주지만, 고성능 설계는 공정 특성(변동성, 전자이동, 열)을 깊이 고려해야 한다. DFM(제조용이성 설계)이 별도 분야로 존재하는 이유다.

오해 5: "OSAT는 저부가가치 하청이다" → 첨단 패키징이 성능을 결정하게 되면서 위상이 크게 올라갔다. 다만 최첨단 영역은 파운드리가 흡수하고 있어, OSAT의 위치는 유동적이다.

오해 6: "EDA는 그냥 CAD 소프트웨어다" → 배치배선과 타이밍 최적화는 대규모 조합최적화 문제이고, 최근에는 강화학습·그래프신경망이 실제로 투입되는 분야다. CS·AI 전공자에게 가장 직접적인 진입 지점이 여기다.

8. 정량 실습

실습 1 — 수율 곡선 $D_0=0.05,0.1,0.2$ 각각에 대해 다이 면적 50~800 mm² 구간의 수율 곡선을 그려라. 어느 면적부터 수율이 급락하는가?

실습 2 — 다이당 원가 300mm 웨이퍼 가격을 $W$ 라 두고, 다이 면적 100 / 400 / 800 mm²의 다이당 원가를 $W$ 의 배수로 구하라. GDPW 근사식과 수율을 모두 적용할 것.

실습 3 — 푸아송 vs 음이항 같은 $A{D}_0$ 에 대해 푸아송과 음이항($\alpha =1,2,5$)의 수율을 비교하라. 클러스터링이 심할수록 실제 수율이 푸아송 예측보다 높은 것을 확인하고, 그 이유를 확률적으로 설명하라.

실습 4 — 칩렛 손익 (6회차 예고) 800 mm² 단일 다이 vs 200 mm² 칩렛 4개를 비교하라. 칩렛 쪽에는 (a) 칩렛 간 인터페이스 회로 면적 오버헤드 10%, (b) 조립 수율 95%, (c) 인터포저·조립 추가 비용을 넣어라. (c)는 완성품 한 개에 얹히는 비용(실패한 조립 시도의 몫까지 포함)으로 잡는다. 어느 쪽이 유리한가? $D_0$ 를 바꾸면 결론이 뒤집히는 지점이 있는가?

실습 5 — ASIC 판단 가정: NRE 1.5억 달러, ASIC 단가 4천 달러, 상용 GPU 단가 3만 달러, 3년 전력비는 ASIC 2천 달러·GPU 6천 달러. $N^{*}$ 를 구하고, 이 물량이 현실적인 조직이 어디인지 논하라.

9. 토론 질문

1. 파운드리-팹리스 분업은 되돌릴 수 있는가? Intel의 IDM 2.0 전략과 하이퍼스케일러의 수직통합은 각각 어떤 방향인가?
2. Intel(GAA+후면전력 동시)과 TSMC(GAA 먼저, 후면전력 나중)의 위험 배분 전략 중 어느 쪽이 합리적인가? 어떤 조건에서 각각 옳은가?
3. 수율 데이터는 영업비밀이다. 외부에서 수율을 추정할 수 있는 관찰 가능한 대리변수는 무엇인가? (가격, 리드타임, 제품 라인업, 비닝 구성 등)
4. EDA 3사 과점은 왜 깨지지 않는가? 오픈소스 EDA(OpenROAD 등)와 오픈 PDK가 이를 바꿀 수 있는가?
5. 노드 이름이 물리적 의미를 잃은 상황에서, 산업은 왜 그 명명법을 계속 쓰는가? 대안이 있는가?

10. 후속 공부

• VLSI 설계 표준 교과서: Weste & Harris, CMOS VLSI Design: A Circuits and Systems Perspective — 수율·면적·전력 모형이 정리되어 있다
• 수율 이론: Stapper의 IBM 수율 모형 논문들 — Stapper, McLaren, Dreckmann, "Yield Model for Productivity Optimization of VLSI Memory Chips with Redundancy and Partially Good Product", IBM J. Res. Dev. 24(3):398–409 (1980), doi:10.1147/rd.243.0398 · Stapper 외, "Evolution and Accomplishments of VLSI Yield Management at IBM", IBM J. Res. Dev. 26(5):532–545 (1982), doi:10.1147/rd.265.0532. 여러 수율 모형의 비교는 Cunningham, "The Use and Evaluation of Yield Models in Integrated Circuit Manufacturing", IEEE Trans. Semiconductor Manufacturing 3(2):60–71 (1990), doi:10.1109/66.53188
• GDPW 근사식: de Vries, "Investigation of Gross Die Per Wafer Formulas", IEEE Trans. Semiconductor Manufacturing 18(1):136–139 (2005), doi:10.1109/TSM.2004.836656 — 0절 표를 직접 계산해 본 뒤 읽으면 좋다
• 직접 해보기: Tiny Tapeout — 소액으로 실제 칩에 자기 설계를 올려볼 수 있는 프로젝트. CS 전공자가 테이프아웃 파이프라인을 체감하기에 가장 좋은 방법
• 오픈 툴체인: OpenLane / OpenROAD + SkyWater 130nm 오픈 PDK — RTL부터 GDS까지 무료로 돌려볼 수 있다
• AI × EDA: Mirhoseini et al., "A graph placement methodology for fast chip design", Nature 594 (2021), doi:10.1038/s41586-021-03544-w — 강화학습 기반 배치. 이 논문은 재현성 논쟁이 있었으므로 후속 반박·재반박까지 함께 읽으면 좋다
• 산업 구조: TSMC·Intel·Samsung의 IR 자료와 기술 심포지엄 발표 — TSMC 분기 실적 · Intel 보도자료

자습 부록 A — 정량 실습 풀이

8절 실습의 풀이다. 면적은 모두 cm²로 환산해서 넣는다(100 mm² = 1 cm²).

실습 1 풀이 — 수율 곡선

실습 2 풀이 — 다이당 원가

실습 3 풀이 — 푸아송 vs 음이항