들어가며

이 책의 사용법

이 책은 「일요일은 AI」 스터디가 매주 한 시간씩 Agentic AI 논문을 읽기 위해 엮은 자습서입니다. 확률·통계·선형대수와 프로그래밍 기초가 있으면 읽기 편합니다. 자연어처리와 강화학습이 처음이거나 오랜만인 분은 0장(사전 자습)으로 먼저 복습하실 수 있습니다. 다른 모임에서 같은 방식으로 스터디를 하시거나 혼자 읽으셔도 좋습니다.

1. 한 회차는 어떻게 흘러가나

한 회차는 1시간 안팎, 발제 50분과 토론 10분 정도를 염두에 두고 짰다. 장마다 「발제 가이드」가 중심이 되는 절과 그림·표를 짚고 시간 배분을 제안한다. 발제자는 이를 바탕으로 준비하고, 다른 참가자는 「이 회차가 답하는 질문」과 「직관 잡기」를 미리 읽어 오면 발제와 토론을 따라가기 쉽다.

장의 틀은 모두 같다.

2. 몇 회로 할 것인가 — 운용표

회차 제목 옆의 꺾쇠가 구분과 중요도다. 필수 는 스터디에서 처음 제안된 논문 목록에서 온 회차, 선택 은 보충 회차다. ★★★는 뼈대(빼면 뒤 회차가 읽히지 않는다), ★★는 권장(빼도 뒤는 읽히지만 한 축이 얇아진다), ★는 생략해도 곁가지 해설로 충분하다.

선택 회차를 더한다면 18(평가 통계) → 4(CoT) → 14(SWE-agent) → 5(ToT) → 16(정렬) 순서를 권한다. 18회를 맨 앞에 둔 까닭은 통계 배경이 있는 독자에게 가장 잘 맞는 회차이기 때문이다. 4회는 6회 ReAct가 CoT를 비교 기준선으로 쓰기 때문에 그 비교를 읽는 데 직접 필요하다. 기본 15회처럼 4회를 빼면 6회 발제 가이드의 「4회를 열지 않았다면」에 적은 대로, 6회 발제 앞 10분에 CoT 논문의 그림 세 개를 소개해 메운다.

선택 회차를 넣을지는 모임에서 정하면 된다. 처음에 정해 두어도 되고 진행하면서 그때그때 정해도 된다. 이 책의 장 번호는 1~20으로 고정되어 있으니, 건너뛴 회차가 있어도 장을 찾는 데는 지장이 없고 건너뛴 장은 혼자 읽으면 된다. 두 회차를 한 번에 할 때 읽을 범위와 시간 배분은 해당 장 「발제 가이드」의 「합칠 때」 항목에 있다.

3. 스무 회차 한눈에 보기

순서의 원칙은 「증강 LLM에 부품을 하나씩 더한다」이다. 생각(4~5)이 행동(6)보다 먼저다. ReAct가 CoT를 비교 대상으로 쓰기 때문이다. 도구(7)가 컨텍스트(8~10)보다 먼저다. RAG의 검색기는 넓게 보면 도구 하나다. 컨텍스트 다음에 검증(11), 검증 다음에 기억(12)이다. Reflexion의 반성 기억이 MemGPT의 계층 기억으로 넘어가는 다리다. 단일 에이전트를 다 본 뒤 협업(13), 부품이 다 모인 실물로 코딩 에이전트(14), 그 뒤에 보안(15~16)이다. 간접 인젝션의 피해는 도구·검색·기억·코드 저장소를 거쳐 커지므로 부품을 다 본 뒤라야 읽힌다. 평가·운영(17~19)은 평가할 대상을 다 본 뒤에 두고, 종합(20)은 검색·기억·검증·거버넌스가 한 시스템에 다시 모이는 LLM Wiki로 끝난다.

스무 회차의 부(部) 구성. 그림은 엮은이가 그렸다.

4. 개론부 두 서베이 — 머리와 몸

각론의 모든 장은 마지막에 「서베이로 돌아가기」로 개론부의 두 서베이에 돌아간다. 2회의 Agentic Reasoning 서베이는 에이전트의 머리를 본다. 모델이 어떻게 계획하고 도구를 쓰고 탐색하는지, 피드백과 기억으로 어떻게 나아지는지를 「무엇을 최적화하느냐」(추론 흔적 $z$ · 시스템 상태 $S$ · 모수 $\theta$)로 나눈다. 3회의 Harness 서베이는 에이전트의 몸과 울타리를 본다. 모델 바깥의 실행 환경·도구 규약·컨텍스트 관리·조율·관측·검증·거버넌스(ETCLOVG)다. 두 서베이의 기호와 층 이름은 부록 I·II에 고정해 두었고, 각 장은 그 기호로 쓴다.

5. 표기

• 영상 표시. 〔저자〕는 논문 저자나 공식 채널의 발표, 〔리뷰〕는 연구실·스터디 모임의 논문 리뷰, 〔보조〕는 제3자 요약이거나 자동 생성으로 보이는 요약이다. 〔보조〕는 원문과 함께 본다. 엮은이는 영상 본편의 정확성을 검증하지 않았다.
• 상자. 원문 바로가기 상자는 링크, 엮은이가 놓는 다리 상자는 비유, 이 절은 논문 밖에서 해 보는 재분석이다 상자는 재분석의 전제를 적는다.
• 접이식 풀이. 화면본에서는 「풀이 펼치기」를 눌러 연다. 인쇄본에서는 모두 펼쳐져 있다.
• 회차 참조. 「n회」라고 적힌 곳은 화면본에서 그 장으로 가는 링크다.
• 기호. 부록 I. 번역어는 부록 II. 처음 나올 때 원어를 병기한다(예: 귀속 attribution, 하네스 harness).
• 원문 표. 전재한 표의 캡션에 원문 표 번호를 적었다. 발제 자료에 숫자를 옮길 때는 이 책이 아니라 원문 표를 다시 본다.

6. 읽기 전에 알아 둘 것

1. 판본. Agentic Reasoning 서베이는 OpenReview의 TMLR 개정판으로 읽는다. arXiv에 올라 있는 판(2601.12538)은 개정판과 절·표 번호와 분류가 다르다. v2는 arXiv 초록 페이지에 「Accepted by TMLR」가 붙었을 뿐 본문은 v1과 같다(2026-10-05 대조). 다른 논문은 arXiv 최신판과 학회 공식판의 내용이 같다고 보되, 쪽 번호는 판마다 다를 수 있다.
2. 동료심사 여부. 2026년 자료 가운데 여럿은 preprint다(Harness 서베이, HarnessFix, 18회 곁가지의 입장 논문, 20회의 WikiSkill). Harness 서베이는 OpenReview에 올라가 있지만 학회·저널 심사를 거친 것이 아니라 아카이브 직접 업로드다. 이들의 주장과 수치를 확정된 결과로 인용하지 않는다.
3. 수치의 시점. 논문의 성능 수치는 그 시점의 모델(GPT-4, PaLM 등) 기준이다. 오늘의 모델과 비교하는 데 쓰지 않는다. 수치를 옮길 때는 표본과 조건을 함께 적는다.
4. 기업 문서의 성격. Anthropic·OpenAI·Manus·Chroma의 글은 자사 제품을 만든 경험에서 나온 처방이다. 이해관계가 있고 동료심사를 거치지 않았다. 설계 지침으로 읽되 일반화된 실증으로 읽지 않는다.
5. 영상. 〔보조〕 표시 영상은 제3자 요약이거나 자동 생성으로 보이는 것이다. 원문과 함께 본다.
6. 배포와 저작권. 논문 PDF는 다시 배포하지 말고 링크(arXiv·OpenReview·학회 페이지)로 공유한다. CC BY 문서는 출처를 밝혀 공유할 수 있다. GAIA 데이터는 약관상 게이트 저장소 밖 재공유와 크롤링 가능한 공개가 금지되어 있다.
7. 보안 실습. 프롬프트 인젝션 실습은 자기 소유 환경이나 공개된 평가 환경(AgentDojo 등)에서만 한다. 실제 서비스나 다른 사람의 계정을 대상으로 시도하지 않는다. 회사 내부 자료와 개인정보를 실습용 에이전트에 넣지 않는다.
8. 용어. 번역어는 부록 II의 용어 통일표를 따르고 처음 나올 때 원어를 병기한다.
9. 비유와 주장의 구분. 「다리」의 비유(예: 보상 모형 = 브래들리–테리형)는 이해를 돕기 위해 엮은이가 놓은 것이다. 논문의 주장과 구별한다. 논문과 다른 읽기는 「~로 읽을 여지도 있다」로 적었다. 단정이 아니라 토론 거리다.
10. 링크. 모든 링크는 2026년 10월 4일에 확인했다. 블로그와 영상은 사라지거나 주소가 바뀔 수 있다.
11. 「통계의 눈으로 다시 읽기」. 논문에 인쇄된 숫자만으로 엮은이가 계산한 재분석이다. 논문이 그런 분석을 한 것은 아니고, 결론을 뒤집으려는 것도 아니다. 같은 숫자를 통계의 눈으로 보면 이렇게 읽을 수도 있다는 연습이다. 수치가 없는 회차에는 「이 주장을 실증하려면 무엇을 어떻게 재겠는가」를 묻는 설계 연습을 두었다.

7. 발제자에게

• 발제 자료에 소속 기관의 내부 정보를 넣지 않는다.
• 숫자를 적을 때는 모델·과제·지표·문항 수를 함께 적는다. 「ALFWorld 71%」가 아니라 「PaLM-540B, ALFWorld 134개 게임, 여섯 프롬프트 가운데 최고 71%, 평균 57%」다.
• 곁가지 10분은 이 책의 「곁가지」 절로 준비할 수 있다. 더 보고 싶은 곁가지는 그 절의 원문 링크를 따라간다.
• 그림을 하나만 띄운다면 각 장 「꼭 읽을 곳」이 그것을 적어 두었다.

0장 · 회차 아님

사전 자습 — 언어모형·토큰·문맥 내 학습·강화학습 용어

이 회차가 답하는 질문: 언어모델을 확률 모형으로 읽으려면 무엇을 알아야 하고, 뒤 회차가 전제하는 용어는 무엇인가.

이 장의 쓰임. 자연어처리나 강화학습을 배운 적 없는 독자가 첫 모임 전에(혼자 읽는다면 1회 전에) 한두 시간 읽는 장이다. 발제하지 않는다. 뒤 회차들이 설명 없이 쓰는 「토큰」, 「컨텍스트 창」, 「온도」, 「예시 몇 개」, 「에피소드」, 「정책」을 여기서 정의하고 통계에서 아는 개념에 이어 둔다. 이미 아는 사람은 건너뛰고 끝의 「자가 점검」만 풀어 봐도 된다.

한 문단 요약. 언어모형은 다음 토큰의 조건부 분포 $p(x_t\mid x_{<t})$ 를 내는 확률 모형이고, 학습은 음의 로그우도를 줄이는 최대우도 추정이다. 토큰은 BPE로 자른 단어 조각이고, 조건으로 삼을 수 있는 토큰 수에는 상한(GPT-3는 2,048)이 있다. 온도는 분포를 펴거나 날카롭게 하며, 0으로 보내면 탐욕적 디코딩이 된다. GPT-3 논문은 가중치를 그대로 두고 입력에 지시문과 예시 몇 개를 넣어 새 과제를 풀게 하는 일을 「문맥 내 학습」이라 불렀다. 그 모델을 지시에 따르게 만든 InstructGPT는 시연 → 보상 모형 → 강화학습의 세 단계를 거쳤다. 강화학습의 말(상태·행동·보상·정책·에피소드·궤적·수익·가치함수)은 뒤의 에이전트 논문들이 그대로 빌려 쓴다.

1. 언어모형을 조건부 분포로 읽기

연쇄법칙 하나. 토큰 열 $x_1,x_2,\dots ,x_n$ 의 결합확률은 어떤 분포든 다음처럼 쪼갤 수 있다.

$$p(x_1,\dots ,x_n)={\prod }_{t=1}^{n}p(x_t\mid x_{<t}),x_{<t}=(x_1,\dots ,x_{t-1})$$

근사가 아니라 항등식이다. 연쇄법칙을 시간 순서대로 적었을 뿐이다. GPT-3 논문이 자기 모델을 「autoregressive language model」이라 부를 때(초록), 자기회귀란 이 분해의 조건부 분포들을 신경망 하나로 모형화하고 왼쪽에서 오른쪽으로 한 토큰씩 내놓는다는 뜻이다. 모형의 내용은 분해가 아니라 $p_{\theta }(x_t\mid x_{<t})$ 를 어떤 함수족으로 근사하느냐(GPT-3는 트랜스포머, §2.1)와 과거를 얼마나 길게 보느냐(아래 컨텍스트 창)에 있다. $n$-그램 모형은 과거를 직전 몇 개로 자른 마르코프 연쇄다.

학습 목적은 음의 로그우도. 각 위치의 실제 다음 토큰에 모델이 준 확률의 로그를 더하고 부호를 바꾼다.

$$ℒ(\theta )=-{\sum }_{t=1}^n\log p_{\theta }(x_t\mid x_{<t})$$

이것을 줄이는 것이 최대우도 추정이고, 교차 엔트로피(cross-entropy)를 줄이는 것과 같다. 실제 다음 토큰에 확률 0.25를 주었다면 그 위치의 손실은 $\ln 4\approx 1.39$ 다. 평균 손실을 지수로 되돌린 $\exp (\overline{ℒ})$ 을 퍼플렉시티(perplexity)라 하고 「평균 몇 개의 후보 사이에서 고르는 셈인가」로 읽는다. 이 예라면 4다. 다음 토큰이 곧 정답이라 사람이 붙인 라벨이 필요 없다. GPT-3의 모든 모델은 3천억 토큰으로 학습했다(Table 2.1 캡션). 대신 이 목적은 모든 토큰을 똑같이 취급한다. 논문 §5는 무엇이 더 중요한 예측인지 구별하지 못한다는 점을 스스로 한계로 적는다.

토큰이란 무엇인가. 모델이 보는 단위는 글자도 단어도 아니다. GPT-3는 GPT-2의 토큰화 방식을 그대로 쓴다고 적고(§2.1의 「reversible tokenization」), 데이터 크기를 「byte-pair-encoded tokens」로 센다(§2.2: 걸러 낸 Common Crawl 570GB가 약 4천억 토큰). BPE(byte-pair encoding)는 바이트를 초기 어휘로 두고, 가장 자주 붙어 나오는 쌍을 새 기호로 합치는 일을 정한 어휘 크기까지 되풀이해 만든다. 흔한 단어는 한 토큰이 되고 드문 단어는 조각난다. 논문은 BPE 토큰 하나가 평균 약 0.7단어라서 철자 뒤섞기 과제는 모델에게 토큰의 속을 뜯어보는 일이 된다고 설명하고(§3.9.2), 영어→루마니아어 번역이 유난히 약한 이유로 거의 영어로만 만든 GPT-2의 BPE 토큰화기를 재사용한 탓일 수 있다고 추측한다(§3.3).

컨텍스트 창. 조건으로 삼는 과거 $x_{<t}$ 에는 상한이 있다. GPT-3의 모든 모델은 컨텍스트 창(context window) $n_{\text{ctx}}=2048$ 토큰을 쓰고(§2.1), 학습도 늘 2,048토큰을 꽉 채운 열로 한다. 짧은 문서는 문서 끝 토큰을 사이에 두고 이어 붙인다(부록 B). 「토큰당 약 0.7단어」로 어림하면 영어 1,400단어 남짓이다(엮은이의 계산). 이 상한이 곧 문맥 내 학습의 상한이다. 예시는 창에 들어가는 만큼, 보통 10~100개를 넣는다(§2). 뒤 회차의 「컨텍스트」는 이 창에 든 토큰 전체이고, 에이전트가 생각·행동·관찰을 쌓을수록 찬다. 창 안에서도 위치에 따라 정보가 고르게 쓰이지 않는다는 것이 9회, 창 바깥에 기억을 두는 설계가 12회의 주제다.

아래 표의 열 이름 셋은 처음 나온다. $d_{\text{model}}$ 은 트랜스포머 안에서 토큰 하나를 나타내는 벡터의 길이다(논문 §2.1은 각 층의 병목 단위 수라고 적는다). 어텐션(attention)은 각 위치가 앞 위치들 가운데 어디를 얼마나 참고할지 가중치를 매겨 섞는 계산이고, 헤드(head)는 그 계산을 여러 갈래로 나누어 병렬로 하는 단위다. 헤드 차원 $d_{\text{head}}$ 은 갈래 하나가 쓰는 벡터의 길이다. 이 책의 뒤 회차는 트랜스포머 내부를 쓰지 않으므로, 표는 「모델이 커질수록 층과 폭이 함께 늘었다」는 것만 읽고 넘어가도 된다.

원문 Table 2.1에서 배치 크기·학습률 열을 뺐다. 컨텍스트 창은 여덟 모델 모두 2,048이다(§2.1). 아래 대조는 선택 읽기다. 헤드 수 × 헤드 차원이 여섯 행에서는 $d_{\text{model}}$ 과 같고 XL(3,072 대 2,048)과 13B(5,120 대 5,140)에서는 어긋난다. 같아야 한다는 제약이 필수는 아니고 논문도 설명하지 않으므로 오기인지는 원문으로 가려지지 않는다.

표집 온도와 탐욕적 디코딩. 모델은 어휘 $V$ 의 토큰마다 실수 점수 $z_i$ (로짓 logit)를 내고, 소프트맥스가 이것을 확률로 바꾼다. 온도(temperature) $T>0$ 는 그 전에 로짓을 나누는 수다.

$$p_T(i\mid x_{<t})=\frac{\exp (z_i/T)}{{\sum }_{j\in V}\exp (z_j/T)}$$

$T=1$ 이면 모델이 학습한 분포 그대로다. $T$ 를 키우면 분포가 고르게 펴지고, 줄이면 가장 큰 로짓 쪽으로 몰린다. 로짓이 $(2,1,0)$ 인 세 토큰으로 계산해 보면 이렇다(엮은이의 계산).

가장 큰 로짓이 하나뿐이면 $T\to 0$ 의 극한은 그 토큰에 확률 1을 준다. 최대 로짓이 둘 이상 같으면 극한 분포는 그 토큰들에 똑같이 나뉜다. 그래서 「온도 0」은 매 위치에서 가장 확률이 높은 토큰을 고르는 탐욕적 디코딩(greedy decoding)을 뜻한다. 동률일 때 무엇을 고를지 규칙을 정해 두면 결정적이라, 같은 입력이면 같은 출력이 나온다. 다만 매 단계 최선을 고른다고 문장 전체의 확률이 최대가 되지는 않는다. 그쪽을 더 넓게 찾는 것이 후보 몇 개를 함께 끌고 가는 빔 탐색(beam search)이다. GPT-3는 자유 서술형 과제를 빔 너비 4로 평가했다(§2.4). 6회의 ReAct는 탐욕적 디코딩으로 궤적 하나를 내고, 비교 대상인 CoT-SC는 온도 0.7로 추론 경로 21개를 뽑아 다수결한다(CoT-SC는 ReAct §3.2, ReAct의 탐욕적 디코딩은 §3.3 각주 4와 Table 3 캡션). 다양한 표본이 필요하면 온도를 올리고 재현 가능한 답 하나가 필요하면 내린다. 이 밖에 상위 $k$ 개 토큰 안에서만 뽑는 top-$k$, 누적확률 $p$ 까지의 토큰 안에서만 뽑는 top-$p$ 표집이 있다(GPT-3 부록 F의 시 견본은 온도 1, $P=0.9$).

다음 토큰 예측을 범주가 수만 개인 다항 로지스틱 회귀로 보면(엮은이의 비유) 로짓은 선형 예측자이고, 온도로 나누는 것은 계수를 모두 $1/T$ 배 한 모형에서 표집하는 것과 같다. 다만 회귀와 달리 방금 뽑은 토큰이 다음 예측의 설명변수가 되므로, 한 번 엇나간 토큰이 뒤를 끌고 갈 수 있다.

2. 문맥 내 학습 — 가중치를 바꾸지 않는 학습

GPT-3 논문의 정의. 논문 §1은 문맥 내 학습(in-context learning)을 이렇게 소개한다.

"… using the text input of a pretrained language model as a form of task specification: the model is conditioned on a natural language instruction and/or a few demonstrations of the task and is then expected to complete further instances of the task simply by predicting what comes next."

과제를 입력 텍스트로 지정한다. 모델은 지시문이나 예시 몇 개를 조건으로 받고, 나머지는 다음 토큰을 예측하듯 이어 쓴다. 가중치는 그대로다. 1절의 말로 하면 조건부 분포 $p_{\theta }(·\mid x_{<t})$ 의 $\theta$ 는 고정하고 $x_{<t}$ 만 바꾼다.

바깥 고리와 안쪽 고리 — Figure 1.1. 논문은 이것을 메타학습(meta-learning)의 틀에 놓는다. 사전학습 동안 SGD로 가중치를 바꾸는 것이 바깥 고리(outer loop)이고, 시퀀스 하나를 읽는 순방향 계산 안에서 일어나는 것이 안쪽 고리(inner loop), 곧 문맥 내 학습이다. SGD(확률적 경사하강법 stochastic gradient descent)는 자료의 일부를 뽑아 손실의 기울기를 구하고 그 반대 방향으로 가중치를 조금씩 옮기는 방법이다. 순방향 계산(forward pass)은 지금의 가중치를 그대로 두고 입력에서 출력 분포를 계산하는 일이다. 안쪽 고리에서는 기울기를 구하지도 가중치를 옮기지도 않는다. 앞에 놓인 예시가 바뀌면 같은 가중치로 계산한 출력이 달라질 뿐이다. 그림의 시퀀스는 5 + 8 = 13 같은 덧셈, gaot => goat 같은 철자 되돌리기, thanks => merci 같은 번역이 한 시퀀스 안에서 되풀이되는 모양이다.

네 가지 설정 — Figure 2.1. §2는 과제별 데이터를 얼마나 쓰느냐로 네 설정을 나란히 놓고 영어→프랑스어 번역 하나로 그린다.

원문 Figure 2.1과 §2의 정의를 표로 옮겼다. 그림 오른쪽 미세조정 칸의 표제는 「Traditional fine-tuning (not used for GPT-3)」이다.

Few-shot 칸의 입력은 다음 다섯 줄이다.

Translate English to French:      ← task description
sea otter => loutre de mer        ← examples
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>                         ← prompt

원문 Figure 2.1 Few-shot 칸. 오른쪽 설명도 그림에 있는 것이고, 「girafe」는 이 칸의 철자 그대로다(미세조정 칸은 「giraffe」).

모델이 할 일은 cheese => 다음 토큰을 예측하는 것뿐이다. 예시 세 줄이 형식과 과제를 함께 알려 준다. Zero-shot에서는 설명 한 줄이 그 일을 다 해야 한다. 논문은 zero-shot이 가장 편하지만 가장 어렵고, 「200m 달리기 세계 기록 표를 만들어라」처럼 사람도 예시 없이는 형식을 알기 어려워 때로는 「unfairly hard」하다고 적는다.

「shot」은 무엇을 세나. 추론 시점에 조건으로 넣어 주는 예시(demonstration)의 수 $K$ 다. 경사 갱신 횟수도 학습 데이터 크기도 아니다. 평가 문항마다 그 과제의 훈련 세트에서 $K$ 개를 무작위로 새로 뽑고, 개발 세트가 있으면 $K$ 를 몇 가지로 바꿔 보고 가장 좋은 값을 쓴다(§2.4). 이 책은 「예시 몇 개를 준다」로 쓰고, 설정의 이름만 zero-shot·one-shot·few-shot으로 둔다.

성적은 예시 수와 모델 크기를 따라 오른다. §1이 본문에 직접 적은 수치 두 묶음이다(GPT-3 175B). CoQA는 지문 하나를 두고 질문과 답이 대화처럼 이어지는 독해 과제이고, 답은 자유 서술이다(§3.6, 부록 G의 Figure G.18). 성적은 모델의 답과 정답을 낱말 단위로 맞춰 본 F1, 곧 정밀도와 재현율의 조화평균을 0~100으로 적은 점수다(F1의 정의는 엮은이의 일반 설명이고 GPT-3 논문은 따로 적지 않는다). TriviaQA는 퀴즈형 사실 질문이다. 「닫힌 책」은 관련 문서를 검색해 붙이지 않고 질문만 주는 조건을 말한다(§3.2). 성적은 정답과 맞힌 문항의 비율이다.

GPT-3 논문 §1 본문의 수치. TriviaQA few-shot 71.2는 같은 닫힌 책 조건의 미세조정 모델들보다 높은 당시 최고 성적이라고 논문은 적는다.

논문은 zero·one·few-shot 사이의 간격이 모델이 클수록 벌어지는 경향을 보고 큰 모델이 더 나은 메타학습자일 수 있다고 해석한다(§1, Figure 1.2·1.3). 그림의 눈금 값은 옮기지 않았다. 논문이 강조하는 문장은 이것이다.

"We emphasize that these 'learning' curves involve no gradient updates or fine-tuning, just increasing numbers of demonstrations given as conditioning."

예시는 어떻게 작동하나 — 논문이 말하는 범위. 논문은 기제를 설명하지 않고 일부러 열어 둔다. 각주 1은 zero·one·few-shot이라는 이름이 「추론 시점에 새 과제를 처음부터 배우는가, 학습 때 본 패턴을 알아보기만 하는가」에 중립을 지키려는 것이라고 밝힌다. §5는 그 물음을 스펙트럼으로 적는다. 같은 분포의 예시를 학습 때 이미 봤을 수도, 같은 과제를 다른 형식으로 봤을 수도, 정말 새 기술을 배우는 것일 수도 있고, 어디쯤인지는 과제마다 다르다는 것이다. 철자 뒤섞기 같은 인위적 과제는 처음부터 배우는 쪽, 번역은 사전학습에서 배운 쪽이라는 것이 논문의 짐작이다. 근거로 §3.9.2는 철자 과제의 one-shot 성적이 few-shot의 절반 이하로 떨어지고 zero-shot으로는 거의 못 푼다는 결과를 들되, 확실히 확인할 수는 없다고 단서를 단다.

뒤 회차와의 관계. 4회의 CoT, 5회의 ToT, 6회의 ReAct는 모두 이 설정 위에 있다. 가중치를 고정한 모델에 사람이 쓴 풀이 예시 몇 개를 보여 주고 그 형식을 따라 하게 한다(ReAct의 HotpotQA 프롬프트는 예시 6개, FEVER는 3개). 2회의 서베이가 꼽는 첫째 최적화 대상 「문맥 내 추론」이 이 계열로, 모수 $\theta$ 는 고정하고 추론 흔적 $z$ 만 바꾼다(부록 I 4절).

3. 지시를 따르는 모델은 어떻게 만들어졌나

GPT-3는 다음 토큰을 맞히도록 학습되었지 지시를 따르도록 학습되지 않았다. InstructGPT 논문 §1은 이 간극을 짚는다. 인터넷 웹페이지의 다음 토큰 예측이라는 목적은 「follow the user's instructions helpfully and safely」라는 목적과 다르므로 언어 모델링 목적은 「misaligned」, 정렬(alignment)되어 있지 않다는 것이다. GPT-3 논문 §5도 쓸모 있는 언어 시스템은 예측만 하기보다 목표를 향해 행동하는 것으로 보는 편이 나을 수 있다고 적고, 사람에게서 목적함수를 배우는 것과 강화학습 미세조정을 앞으로의 방향으로 든다. 두 논문을 이렇게 잇는 것은 이 책의 읽기다. InstructGPT의 출발점이 GPT-3다(§3.5).

InstructGPT 논문 Figure 2의 세 단계를 옮겨 그렸다. 단계별 문구는 그림과 §3.1을, 프롬프트 수는 §3.2를, $K$ 의 범위는 §3.5를 따랐다. 원문 그림의 3단계 예 프롬프트는 「Write a story about frogs」다. 그림은 엮은이가 그렸다.

1단계 — 시연으로 지도학습(SFT). 뽑은 프롬프트에 라벨러가 바람직한 답을 직접 쓴다. 그림의 예는 「Explain the moon landing to a 6 year old」에 「Some people went to the moon…」으로 시작하는 답이다. 이 시연으로 GPT-3를 지도학습 미세조정(supervised fine-tuning)한다. 원문은 「지도학습」이라고만 적고 손실식을 밝히지 않는다. 1절의 음의 로그우도를 라벨러의 답에 적용한 것으로 읽는 것은 엮은이의 설명이다.

2단계 — 비교로 보상 모형(RM). 프롬프트 하나에 모델 출력을 4~9개 뽑아 라벨러가 순위를 매기고, 순위 하나에서 나오는 $\left(\genfrac{}{}{0ex}{}{K}{2}\right)$ 개의 쌍을 모두 학습에 쓴다(§3.5). 보상 모형(reward model)은 프롬프트와 답을 받아 스칼라 점수 하나를 낸다(논문은 6B 크기만 썼다). 손실(논문 식 1)은 선호된 쪽의 점수가 더 높을 확률을 로지스틱으로 모형화한 것이고, 16회에서 쌍대비교 모형으로 다시 읽는다.

3단계 — 보상 모형을 상대로 강화학습(PPO). SFT 모형에서 출발한 정책이 새 프롬프트에 답을 쓰고, 보상 모형이 점수를 매기고, PPO가 그 점수를 보상으로 정책을 갱신한다. 보상 모형만 쫓다 엉뚱한 글을 쓰지 않도록 토큰마다 SFT 모형에서 멀어진 정도(KL 발산)를 벌점으로 뺀다(§3.5). 이 단계의 프롬프트에는 사람 라벨이 없다. 사람의 판단은 2단계에서 보상 모형 안으로 들어가 있다. 2·3단계는 되풀이할 수 있으나, 실제로는 비교 자료 대부분이 SFT 정책의 출력에서 나왔다(§3.1).

결과 한 줄. 1.3B 파라미터 InstructGPT의 출력이 175B GPT-3보다 사람 평가에서 선호되었다(초록). Figure 1의 승률은 눈금으로 읽어야 해서 옮기지 않았다. 세부와 평가는 16회가 다루고, 이 장에서는 흐름과, 3단계를 읽는 데 필요한 말(정책·보상·에피소드)만 가져간다.

4. 강화학습 용어 — 에피소드·보상·정책·가치

11회의 Reflexion은 제목부터 「언어적 강화학습(verbal reinforcement learning)」이고, 4회 곁가지의 DeepSeek-R1은 제목 그대로 강화학습으로 추론 능력을 끌어낸다. 6회의 성적표에는 모방학습·강화학습 기준선이 나온다. 이 논문들이 정의 없이 쓰는 말을 교과서 수준으로 정리하고, 기호는 부록 I에 맞춘다. 에이전트는 시점 $t$ 마다 환경의 상태를 보고(또는 일부만 관찰하고) 행동을 고르며, 환경은 다음 상태로 넘어가고 보상을 준다. 끝날 때까지 이것을 되풀이한다.

수익과 할인. 시점 $t$ 이후 받는 보상을 할인율 $\gamma \in (0,1)$ 로 깎아 더한 것이 수익이다.

$$G_t={\sum }_{k\ge 0}{\gamma }^k{r}_{t+k}$$

세 번째 행동 뒤에야 성공해 보상 1을 받았다면, $\gamma =0.9$ 일 때 첫 시점의 수익은 $G_0={0.9}^2=0.81$ 이다. 열 번째 행동 뒤라면 ${0.9}^9\approx 0.39$ 다. 할인은 빨리 성공하는 정책을 더 높게 친다. 가치함수는 수익의 기댓값 $V^{\pi }(s)={𝔼}_{\pi }[G_t\mid s_t=s]$ 이고, 행동까지 정한 $Q^{\pi }(s,a)$ 는 행동가치함수다. 강화학습은 기대 수익을 최대화하는 정책을 찾는다. 정책이 모수 $\theta$ 로 정해지면 부록 I의 목적함수가 된다.

$$J(\theta )={𝔼}_{\tau ~{\pi }_{\theta }}\left[{\sum }_{t\ge 0}{\gamma }^t{r}_t\right]$$

2회의 서베이는 환경을 부분관측 마르코프 결정과정(POMDP) $E=⟨X,O,A,T,\Omega ,R,\gamma ⟩$ (잠재 상태 공간, 관찰 공간, 행동 공간, 전이 커널, 관찰 커널, 보상, 할인율)로 적는다. 위 표의 말들이 이 칸에 하나씩 들어간다.

에피소드와 궤적. 에피소드는 사건, 곧 과제를 처음부터 끝까지 한 번 해 본 것이고, 궤적은 그 사건의 기록, 곧 자료다. ReAct 논문은 WebShop 성공률을 「percentage of episodes where the chosen product satisfies all requirements」로 정의한다(§4). 성공은 에피소드 단위로 세고, 6회에서 읽은 생각·행동·관찰의 로그는 궤적이다. Reflexion은 한 번의 시도를 「trial」이라 부르고 시도마다 궤적 ${\tau }_t$ 가 나온다고 적는다(§3, Algorithm 1).

에피소드의 길이도 과제마다 다르다. ALFWorld의 한 게임은 행동이 수십 개 이어진다. InstructGPT 3단계는 한 단계로 끝나는 밴딧(bandit) 환경이다. 고객 프롬프트 하나를 내놓고, 답을 받으면 보상 모형이 정한 보상을 주고 에피소드를 끝낸다(§3.5). 강화학습은 25만 6천 에피소드 동안 했고, 서로 다른 프롬프트는 약 3만 1천 개였다(부록 C.4). 같은 부록은 이점(advantage) 추정에 할인을 적용하지 않았다고 적는다.

정책과 보상은 무엇인가. 언어모형 에이전트에서 정책은 프롬프트를 받은 언어모형이다. ReAct §2는 정책을 $\pi (a_t\mid c_t)$ 로 적고, 맥락 $c_t$ 는 지금까지의 관찰과 행동을 이어 붙인 텍스트다. 같은 ${\pi }_{\theta }$ 라도 $\theta$ 가 가리키는 것은 논문마다 다르다. 부록 I과 InstructGPT에서는 가중치이지만, Reflexion의 Algorithm 1은 $\theta =\{M_a,\text{mem}\}$, 곧 행위자 모델과 반성문 기억의 묶음으로 둔다. 논문은 정책을 「an agent's memory encoding paired with a choice of LLM parameters」로 모수화한다고 쓰고(§1), 가중치를 갱신하지 않고 언어적 피드백으로 강화한다고 밝힌다(초록). 보상도 마찬가지다. Reflexion의 평가자(evaluator)는 궤적을 받아 스칼라 보상 $r_t=M_e({\tau }_t)$ 를 내고(§3), InstructGPT의 보상은 사람의 비교로 학습한 보상 모형이 준다. 보상을 누가 매기느냐가 곧 「무엇을 잘했다고 볼 것인가」의 정의라서 17회의 평가 문제와 맞닿는다.

모방학습 대 강화학습. 모방학습(imitation learning)은 전문가 궤적의 행동을 따라 하도록 지도학습한다. 시연이 필요하고 보상은 필요 없다. 강화학습은 환경과 상호작용해 받은 보상으로 정책을 고친다. 보상과 환경이 필요하고 시연은 필요 없다. ReAct §4의 기준선이 둘을 다 보여 준다.

ReAct 논문 §4 본문의 서술을 표로 정리했다. IL·IL+RL의 수치는 WebShop 원 논문(Yao 외 2022)에서 가져왔다고 ReAct Table 4가 밝힌다.

IL+RL이 더한 자료가 궤적이 아니라 「지시」라는 점을 보자. 강화학습에는 사람이 푼 기록이 필요 없다. 과제를 주고 직접 풀게 한 뒤 보상을 주면 된다. 이 책의 읽기로는 InstructGPT도 같은 구조다. 1단계 SFT는 시연을 따라 하는 모방학습의 꼴이고, 3단계는 프롬프트만 주고 보상으로 고치는 강화학습이다. 그 3단계가 쓴 정책 갱신 알고리듬이 PPO(Proximal Policy Optimization, Schulman 외 2017)다. 이 책에서는 이름만 알면 된다.

5. 이 책이 쓰는 기호와 말

기호는 부록 I에, 번역어는 부록 II에 있다. 다섯 낱말만 먼저 잡아 두자.

• 생각 thought. 행동 전에 글로 쓰는 중간 추론. 환경으로 나가지 않고 컨텍스트에만 쌓인다. 기호 $z_t$.
• 행동 action. 환경으로 나가는 출력. 도구 호출, 검색, 최종 답. 기호 $a_t$.
• 관찰 observation. 행동에 대해 환경이 돌려준 것. 대개 텍스트다. 기호 $o_t$.
• 추론 흔적 reasoning trace. 생각의 다른 이름. 2회 서베이는 그 공간 $Z$ 를 잠재 계획이거나 글로 쓴 생각으로 둔다.
• 하네스 harness. 모델 바깥에서 모델을 돌리는 모든 것. 실행 환경·도구 규약·컨텍스트 관리·조율·관측·검증·거버넌스. 3회의 주제다.

기호가 겹치는 곳. 이 장은 같은 글자를 두 뜻으로 썼다.

자가 점검

각 문항에 한두 줄로 답해 본다. 답은 맨 아래 접이식 풀이에 모았다.

1. 「온도 0」은 무엇을 뜻하는가. 수식에 0을 넣을 수 없는데 왜 그렇게 부르는가.
2. 같은 프롬프트를 온도 1로 두 번 돌리면 답이 다를 수 있다. ReAct 논문의 CoT-SC 기준선은 이 성질을 어떻게 이용했나.
3. 자기회귀 분해 $p(x_1,\dots ,x_n)={\prod }_{t}p(x_t\mid x_{<t})$ 는 어떤 가정 아래서만 성립하는 근사인가.
4. 다음 토큰에 확률 0.5를 준 위치의 음의 로그우도는 얼마인가. 그 값만 계속 나온다면 퍼플렉시티는?
5. 컨텍스트 창이 2,048토큰인 모델에 영어 단어 2,000개짜리 문서를 넣을 수 있는가. 무엇으로 어림하는가.
6. few-shot의 「shot」은 무엇을 세는가. few-shot 설정의 GPT-3에서 가중치는 몇 번 갱신되는가.
7. 에피소드와 궤적은 어떻게 다른가. WebShop의 성공률은 무엇을 단위로 센 비율인가.
8. InstructGPT 3단계에서 에피소드 하나는 몇 단계로 이루어지는가. 할인율이 왜 문제가 되지 않는가.
9. 모방학습과 강화학습은 학습 자료가 어떻게 다른가. WebShop의 IL+RL이 IL에 더한 자료는 무엇이었나.
10. 보상이 네 번째 행동 뒤에만 1로 오고 $\gamma =0.9$ 다. 첫 시점의 수익 $G_0$ 은 얼마인가. Reflexion의 정책 ${\pi }_{\theta }$ 에서 $\theta$ 가 가리키는 것은 무엇인가.

영상

• 〔저자〕 「[1hr Talk] Intro to Large Language Models」 — Andrej Karpathy

영상은 2026-10-04에 YouTube oEmbed로 제목과 채널을 확인했다. 본편 내용은 엮은이가 검증하지 않았다.

더 읽을 것

• GPT-3 논문의 나머지. §3(평가 — 9개 범주의 과제에서 zero·one·few-shot을 모델 크기별로 비교), §4(시험 문항 오염의 측정), 부록 G(과제별 프롬프트 문구).
• InstructGPT 논문. §3(방법)과 §4(결과)는 16회에서 읽는다.
• 이 책 안에서. 2회(4절의 용어를 튜플로 정식화), 4회(예시 몇 개로 생각을 끌어낸다), 6회(탐욕적 디코딩, 모방학습·강화학습 기준선), 11회(가중치 대신 기억을 바꾸는 강화), 16회(3절의 세 단계를 깊이).

출처

읽을거리

• [S08] Tom B. Brown 외. 「Language Models are Few-Shot Learners」. NeurIPS 2020. arXiv 2005.14165 · NeurIPS 2020. 인용한 곳: 초록, §1(Figure 1.1, 1.2, 1.3, 각주 1), §2(Figure 2.1), §2.1(Table 2.1), §2.2, §2.4, §3, §3.3, §3.9.2, §5, 부록 B, 부록 F.
• [S07] Long Ouyang 외. 「Training language models to follow instructions with human feedback」. NeurIPS 2022. arXiv 2203.02155 · NeurIPS 2022. 인용한 곳: 초록, §1, Figure 1, Figure 2, §3.1, §3.2, §3.5, 부록 C.4.

함께 인용한 원문

• [L02] Shunyu Yao 외. 「ReAct: Synergizing Reasoning and Acting in Language Models」. ICLR 2023. arXiv 2210.03629. 인용한 곳: §2, §3.2, §4, Table 4.
• [L11] Noah Shinn 외. 「Reflexion: Language Agents with Verbal Reinforcement Learning」. NeurIPS 2023. arXiv 2303.11366. 인용한 곳: 초록, §1, §3, Algorithm 1.
• [S06] DeepSeek-AI. 「DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning」. Nature 645권, 2025. arXiv 2501.12948 · Nature. 이 장은 제목만 인용했다.

확인 방법. 2026-10-05에 GPT-3 arXiv v4(2020-07-22)와 InstructGPT arXiv v1(2022-03-04) PDF에서 절·그림·표 번호와 수치를 대조했다. GPT-3 Figure 1.1·2.1과 InstructGPT Figure 2(PDF 3쪽)는 페이지를 렌더링해 그림 속 글자를 읽었다. ReAct(arXiv v3)와 Reflexion은 PDF 텍스트로 대조했다. 저자·게재처·링크는 2026-10-04에 확인한 부록 III의 서지를 따랐다. 기호는 부록 I에 맞췄고 AR 서베이 원문을 따로 대조하지는 않았다. 온도별 소프트맥스 확률, 단어 수 어림, 수익 계산은 엮은이가 파이썬(numpy)으로 했다. 강화학습 용어는 교과서 수준의 일반 정의이고, 「논문이 이렇게 쓴다」는 서술만 해당 논문에서 확인했다.

1회 · 필수 · ★★★

에이전트란 무엇인가 — 실무자의 지도

이 회차가 답하는 질문: LLM에 도구를 붙이면 다 에이전트인가. 언제 에이전트를 쓰지 말아야 하는가.

핵심 읽기. Erik S.·Barry Zhang(Anthropic), 「Building effective agents」, Anthropic Engineering 블로그, 2024-12-19. 논문이 아니라 실무 안내 글이다. 본문 약 1,900단어, 부록 두 개까지 약 2,700단어(인쇄하면 8~9쪽).

한 문단 요약. Anthropic이 여러 업종의 수십 개 팀과 일하고 자사 에이전트를 만든 경험을 정리한 글이다. LLM과 도구를 미리 정한 코드 경로로 엮은 것이 워크플로(workflow), LLM이 자기 과정과 도구 사용을 스스로 정하는 것이 에이전트(agent)이고, 둘을 합쳐 agentic system이라 부른다. 처방은 한 줄이다. 가장 단순한 해법부터 찾고, 복잡도는 결과가 실제로 나아질 때만 올린다. 많은 응용은 검색과 예시를 붙인 LLM 호출 한 번으로 충분하다고 본다. 그다음 증강 LLM(augmented LLM), 다섯 워크플로(프롬프트 체이닝·라우팅·병렬화·오케스트레이터–워커·평가자–최적화자), 에이전트를 복잡도 순으로 늘어놓는다. 측정치는 없다. 뒤 회차의 논문들을 이 지도의 칸에 놓아 보며 읽을 수 있다.

발제 가이드

50분 배분. 발제 뒤 10분은 토론이다.

꼭 읽을 곳. 「What are agents?」의 정의 두 문장, 「When (and when not) to use agents」 두 문단, 다섯 워크플로마다 붙은 「When to use this workflow」 단락, 「Agents」 절, 「Summary」의 세 원칙. 다섯 워크플로는 이름보다 「언제 쓰나」 단락이 중요하다. 패턴마다 무엇을 사고 무엇을 치르는지가 한두 문장으로 적혀 있다.

선택 읽기. Appendix 1(에이전트가 값을 하는 과제의 네 조건). Appendix 2는 7회와 14회에서 다시 보므로 마지막 절대 경로 일화만 읽는다.

발제에서 줄일 곳. 「When and how to use frameworks」. 요지(먼저 API를 직접 쓰라)만 기억한다.

마지막 5분은 예 하나로. 이 장 「서베이로 돌아가기」는 세 쪽 남짓이라 5분에 다 다룰 수 없다. 발제에서는 오케스트레이터–워커 하나를 골라, AR 개정판 §5.2.1에서는 LLM-Driven Pipelines에, Harness 서베이 Figure 1에서는 Orchestration 칸에 놓인다는 것만 보인다. Table 5, 기호 대응표, §2.3·§3.1.1의 축 논의, Harness §2.1·§11.2는 자습으로 돌린다.

판본 주의. 현행 페이지 머리에는 「이 글이 다룬 도구 환경은 2024년 12월 이후 많이 바뀌었다」는 주석이 있다. Internet Archive의 2024-12-20 사본과 대조하면, 머리 주석과 제목 아래 요약문이 새로 붙은 것 말고 본문에서 바뀐 곳은 셋이다. 프레임워크 목록(LangGraph·Amazon Bedrock AI Agent framework → Claude Agent SDK·Strands Agents SDK, Rivet과 Vellum은 그대로), 라우팅의 예(Claude 3.5 Haiku·3.5 Sonnet으로 "비용과 속도"를 최적화 → Claude Haiku 4.5·Sonnet 4.5로 "최고 성능"을 최적화), 저자 표기(Erik Schluntz → Erik S.). 정의·권고·패턴·부록의 문장은 같다.

0장을 읽지 않았다면. 「in-context examples」와 「토큰」이라는 말이 나오므로, 발제 앞 3분에 프롬프트에 예시 몇 개를 넣으면 가중치를 바꾸지 않고도 행동이 바뀐다는 것(문맥 내 학습)만 짚는다.

수치를 옮길 때. 이 글에는 측정치가 없다. 곁가지와 통계 절의 숫자(토큰 배수, SWE-agent의 해결률 등)는 각 글이 밝힌 모델·과제·조건과 함께 옮기고, 조건이 밝혀지지 않았으면 그 사실도 적는다.

직관 잡기

정의 두 문장 — 누가 다음 단계를 정하는가

「에이전트」는 오래 혼자 돌며 여러 도구로 복잡한 일을 해내는 완전 자율 시스템을 뜻하기도 하고, 미리 정한 워크플로를 따르는 정형화된 구현을 뜻하기도 한다. 글은 둘을 모두 agentic system이라 부르되 구조상의 선을 하나 긋는다.

Workflows are systems where LLMs and tools are orchestrated through predefined code paths.

Agents, on the other hand, are systems where LLMs dynamically direct their own processes and tool usage, maintaining control over how they accomplish tasks.

두 문장의 차이는 「누가 다음 단계를 정하는가」 하나다. 워크플로에서는 개발자가 쓴 코드가 정하고, LLM은 그 코드가 부르는 함수의 하나다. 에이전트에서는 LLM이 정하고, 코드는 LLM이 고른 도구를 실행해 결과를 돌려주는 역할로 물러난다. 다음에 무엇을 할지가 코드의 if 문에 적혀 있는가, 모델의 출력에 적혀 있는가를 물으면 된다. 단, 묻는 대상은 단계의 구조다. 워크플로 안에서도 모델이 분류하거나 과제를 쪼개는 판단을 내릴 수 있다. 그 판단이 코드가 미리 열어 둔 갈래와 단계 안에서 이루어지면 워크플로이고, 단계의 종류와 순서까지 모델이 정하면 에이전트다. 경계에 걸리는 패턴은 본론 5절에서 다시 본다.

도구의 유무는 기준이 아니다. 검색과 도구를 붙인 LLM은 기본 블록(증강 LLM)일 뿐이고, 그 블록을 코드가 정한 순서로 부르면 워크플로, 스스로 다음 호출을 고르게 하면 에이전트다. 「LLM에 도구를 붙이면 다 에이전트인가」에 대한 글의 답은 「아니다」다.

「When (and when not) to use agents」와 「Building blocks, workflows, and agents」 머리말의 서술을 사다리로 옮겼다. 원문 그림이 아니며, 그림은 엮은이가 그렸다.

엮은이의 다리 — 모형 선택의 절약 원칙

글 자신의 비유는 둘이다. 평가자–최적화자를 사람이 글을 다듬는 과정에 견주고, 사람–컴퓨터 인터페이스(HCI)에 들이는 만큼의 공을 에이전트–컴퓨터 인터페이스(ACI)에 들이라고 한다(Appendix 2).

본론

1. 에이전트란 무엇인가 — 정의와 범위 (What are agents?)

짧은 절이다. 두 정의 말고 눈여겨볼 것이 둘 있다. 첫째, 범위를 넓게 잡는다. 완전 자율 시스템도 정형화된 워크플로도 모두 agentic system이어서, 「에이전트냐 아니냐」 대신 「얼마나 많은 결정을 모델에 넘기느냐」라는 연속적인 축이 생긴다. 글의 나머지가 이 축을 따라 나아간다. 둘째, 구분의 기준이 아키텍처다("an important architectural distinction"). 같은 모델과 같은 도구로 워크플로도 에이전트도 만들 수 있다.

2. 언제 쓰고 언제 쓰지 말아야 하는가 (When (and when not) to use agents)

두 문단을 문장 단위로 끊어 읽는다.

When building applications with LLMs, we recommend finding the simplest solution possible, and only increasing complexity when needed. This might mean not building agentic systems at all.

처방의 첫머리가 「아예 만들지 않을 수도 있다」다. 에이전트를 만드는 법을 알려 주는 글이 에이전트를 만들지 말라는 문장으로 시작하는 셈이다.

Agentic systems often trade latency and cost for better task performance, and you should consider when this tradeoff makes sense.

치르는 것은 지연(latency)과 비용(cost), 사는 것은 과제 성능이다. 「often」이라고만 할 뿐 크기는 없다. 크기에 대한 Anthropic 자신의 숫자는 반년 뒤의 글에 나온다(곁가지).

When more complexity is warranted, workflows offer predictability and consistency for well-defined tasks, whereas agents are the better option when flexibility and model-driven decision-making are needed at scale. For many applications, however, optimizing single LLM calls with retrieval and in-context examples is usually enough.

여기서 세 단계가 나온다. 정리하면 이렇다.

원문 두 문단을 엮은이가 표로 정리했다. 「성능의 상한」과 「낮은 예측 가능성」은 원문이 적은 장점의 뒷면을 엮은이가 읽은 것이다.

「Summary」가 같은 말을 다시 한다. 필요에 맞는 시스템을 지으라, 단순한 프롬프트로 시작해 포괄적인 평가로 다듬고 더 단순한 해법이 모자랄 때만 여러 단계의 agentic system을 더하라. 「Combining and customizing these patterns」의 마지막 문장도 같다. "To repeat: you should consider adding complexity only when it demonstrably improves outcomes." 같은 권고가 세 번 나오고, 뒤의 두 곳(「Summary」와 「Combining」)에는 측정이라는 조건이 붙는다(「comprehensive evaluation」, 「measuring performance」, 「demonstrably」). 첫 번째 「When and when not」 절에는 그 조건이 없다. 그래서 권고의 실제 내용을 「평가 없이 복잡도를 올리지 말라」로 읽을 수도 있다. 그렇게 읽으면 이 글은 17회·18회의 평가 문제를 1회부터 깔아 둔 셈이다.

프레임워크에 대하여(발제에서 줄일 곳). 프레임워크는 저수준 작업을 쉽게 해 주지만, 추상화 층이 프롬프트와 응답을 가려 디버깅을 어렵게 하고 불필요한 복잡도를 더하고 싶게 만든다. 그래서 먼저 LLM API를 직접 쓰고, 프레임워크를 쓴다면 밑의 코드를 이해하라고 한다. 밑에서 일어나는 일에 대한 잘못된 가정이 고객 오류의 흔한 원인이라는 관찰이 근거다.

3. 기본 블록 — 증강 LLM (Building block: The augmented LLM)

모든 패턴의 재료는 검색(retrieval)·도구(tool)·기억(memory)으로 증강한 LLM 하나다. 모델이 검색어를 스스로 만들고, 도구를 고르고, 무엇을 남길지 정한다. 챙길 것은 기능을 쓰임새에 맞게 다듬는 것과 LLM이 쓰기 쉽고 문서화가 잘된 인터페이스를 주는 것이다. 구현의 한 길로 이 글보다 24일 앞서(2024-11-25) 공개된 Model Context Protocol을 든다. MCP는 7회에서 사양으로 읽는다.

절의 마지막 문장이 뒤를 읽는 열쇠다. "For the remainder of this post, we'll assume each LLM call has access to these augmented capabilities." 워크플로의 LLM 호출 하나하나가 이미 도구를 쓸 수 있으니, 라우팅의 갈래 하나나 워커 하나가 그 안에서 도구를 여러 번 쓰는 작은 에이전트일 수도 있다. 글은 이 겹침을 따로 다루지 않는다. 엮은이의 읽기로는 워크플로와 에이전트의 구분은 시스템 전체가 아니라 제어 흐름의 한 층에 대해 하는 것이다. 또 Weng이 에이전트의 세 구성 요소 가운데 하나로 세는 계획이 L21의 증강 LLM에는 없다. 계획은 블록을 엮는 방식, 곧 워크플로냐 에이전트냐의 문제로 넘어간다.

4. 다섯 워크플로 (Workflow: Prompt chaining ~ Workflow: Evaluator-optimizer)

글은 프로덕션에서 본 패턴을 단순한 것부터 늘어놓는다. 패턴마다 정의, 「When to use this workflow」, 예시가 붙는다. 원문에는 패턴마다 그림이 있다. 여기서는 그림 대신 표로 정리한다.

원문의 다섯 워크플로 절을 엮은이가 표로 정리했다. 마지막 열의 연결은 이 책의 읽기다.

체이닝의 관문. 관문은 「programmatic checks」, 곧 코드로 된 검사다. 중간 단계마다 과정이 제 궤도에 있는지 확인한다. 체이닝은 호출 하나하나를 더 쉬운 과제로 만들어, 지연을 치르고 정확도를 산다.

라우팅의 근거. 라우팅이 없으면 한 종류의 입력에 맞춘 프롬프트가 다른 입력의 성능을 해칠 수 있다. 관심사의 분리(separation of concerns)다. 분류는 LLM이 해도, 전통적인 분류 모형이 해도 된다. 판단을 LLM이 하더라도 갈래가 코드에 미리 적혀 있으면 워크플로다.

병렬화의 두 변형. 고려할 점이 여럿인 과제에서는 고려 사항마다 따로 LLM을 부르는 편이 대개 낫다는 경험칙이 붙어 있다. 가드레일과 본 응답을 한 호출에 맡기는 것보다 나눈 쪽이 「잘 되는 경향이 있다」는데, 크기는 적혀 있지 않다. 투표는 4회의 자기일관성(self-consistency)과 닮았다. 다만 자기일관성은 같은 프롬프트에서 여러 추론을 표집해 다수결로 고르고, 글의 투표 예시는 서로 다른 프롬프트나 서로 다른 투표 문턱으로 거짓 양성과 거짓 음성의 균형을 맞춘다. 판정 규칙의 민감도와 특이도를 문턱으로 조절하는 이야기다.

오케스트레이터–워커와 병렬화의 차이. 원문도 둘이 "topographically similar"하다고 인정한다. 차이는 유연성이다. 병렬화의 하위 과제는 미리 정해져 있고, 오케스트레이터–워커의 하위 과제는 입력을 본 오케스트레이터가 정한다. 몇 개의 파일을 어떻게 고쳐야 할지는 과제를 보기 전에는 모른다는 코딩의 예가 붙어 있다.

평가자–최적화자가 맞는 두 신호. 사람이 말로 피드백을 주면 응답이 눈에 띄게 나아질 것, LLM이 그런 피드백을 줄 수 있을 것. 둘째가 없으면 엉뚱한 피드백을 생성자가 충실히 따라 나빠질 수도 있다(두 신호를 뒤집어 읽은 엮은이의 추론이다). 11회에서 다시 나온다.

「Combining and customizing these patterns」는 이 블록들이 처방이 아니라 흔히 보는 패턴이니 조합해 쓰고, 성능을 재며 되풀이해 고치라고 덧붙인다.

5. 에이전트 (Agents)

글은 네 능력(복잡한 입력 이해, 추론과 계획, 믿을 만한 도구 사용, 오류에서의 회복)이 성숙해 에이전트가 프로덕션에 나타난다고 쓰고, 한 에이전트의 생애를 그린다. 사람의 명령이나 대화로 시작해, 과제가 분명해지면 스스로 계획하고 움직이며, 매 단계 환경에서 「ground truth」(도구 호출이나 코드 실행의 결과)를 얻어 진척을 판단한다. 체크포인트나 막히는 곳에서는 사람의 피드백을 기다리고, 과제를 마치면 끝나지만 최대 반복 횟수 같은 정지 조건을 두는 것도 흔하다. 요지는 다음 두 문장이다.

Agents can handle sophisticated tasks, but their implementation is often straightforward. They are typically just LLMs using tools based on environmental feedback in a loop.

6회에서 읽을 ReAct의 생각–행동–관찰 루프가 이것이다(글은 ReAct를 인용하지 않는다). 루프의 뼈대가 단순하므로 글은 곧바로 도구 집합과 그 문서를 신중하게 설계하는 것이 결정적이라며 Appendix 2로 넘긴다. 성패가 루프 바깥에서 갈린다는 판단이고, 3회의 하네스 개념이 이것을 체계로 만든 것으로 읽을 수 있다.

언제 쓰나, 무엇을 치르나. 필요한 단계 수를 예측할 수 없고 경로를 하드코딩할 수 없는 열린 문제에 쓴다. 여러 턴을 도는 판단을 어느 정도 신뢰할 수 있어야 하고, 신뢰할 수 있는 환경(trusted environments)에서 확장하기에 알맞다고 한다. 에이전트가 읽는 문서를 신뢰할 수 없으면 어떻게 되는지는 15회의 질문이다. 대가는 더 큰 비용과 오류 누적(compounding errors)이어서, 샌드박스에서 폭넓게 시험하고 가드레일을 두라고 권한다. 원문의 예는 Anthropic 자신의 SWE-bench 코딩 에이전트와 computer use 참조 구현이다.

오류 누적을 숫자로 감 잡기. 글은 크기를 말하지 않는다. 가장 단순한 모형을 엮은이가 계산해 본다. 각 단계가 독립으로 확률 $p$ 로 성공하고 한 번의 실패가 과제 전체의 실패라면, $k$ 단계 과제의 성공 확률은 $p^k$ 다.

엮은이가 $p^k$ 로 계산한 값. 단계 사이의 독립과 「한 번 실패면 끝」을 가정한 단순 모형이다.

실제 에이전트는 실측을 보고 앞 단계의 실패를 고치면 이보다 낫고, 앞 단계의 오류가 다음 입력을 오염시키면 이보다 나쁘다. 그래도 단계가 길어질수록 단계당 신뢰도에 대한 요구가 가파르게 오른다는 것은 보인다. 17회의 pass^k 지표가 같은 곱셈 구조를 반복 시행 쪽에서 본 것이다.

엮은이의 정식화 — 경로를 정하는 함수가 어디에 있는가. 2회의 기호로 두 정의를 적어 본다. 원문에는 수식이 없다.

워크플로에서는 개발자가 쓴 함수 $g$ 가 다음 호출을 정한다. 지금 있는 단계 ${\ell }_t$ 와 그 단계의 LLM 호출이 방금 낸 출력 $y_t$ 를 보고 다음 단계를 고른다($\ell$ 과 $y$ 는 엮은이가 붙인 기호이고 부록 기호표에 없다. $y_t$ 는 환경의 관찰 $o_t$ 가 아니라 워크플로 안 LLM의 출력이라 글자를 달리했다).

$${\ell }_{t+1}=g({\ell }_t,y_t)$$

라우팅이라면 $y_t$ 는 분류 결과이고 $g$ 는 그 결과를 갈래 번호로 바꾸는 표다. LLM의 출력이 경로에 영향을 주지만, 가능한 경로의 집합은 $g$ 를 쓴 사람이 미리 열거해 두었다.

에이전트에서는 다음 행동이 모델의 실행 정책에서 나온다.

$$a_t~{\pi }_{\text{exec}}(a_t\mid h_t,z_t),a_t\in A=A_{\text{tool}}\cup \{\text{finish}\}$$

도구 목록 $A_{\text{tool}}$ 은 개발자가 정하지만, 무엇을 몇 번 어떤 순서로 쓰고 언제 finish로 끝낼지는 모델이 정한다. 하네스는 최대 반복 횟수 같은 바깥 상한만 건다.

이렇게 적으면 L21 자신의 분류에서 경계에 걸리는 패턴이 둘 보인다. 오케스트레이터–워커는 워크플로인데 하위 과제가 「미리 정해지지 않는다」. 평가자–최적화자의 검색 예시에서는 추가 검색 여부를 평가자가 정하니 반복 횟수가 열려 있다. 「predefined code paths」를 「호출의 골격이 코드에 있다」로 읽으면 두 서술이 맞춰진다. 오케스트레이터–워커는 「분해 → 실행 → 종합」의 골격을 코드가 쥐고 개수와 내용만 모델이 채우며, 에이전트에는 과제를 어떤 순서로 풀지에 대한 골격이 없다. 에이전트에도 「호출 → 도구 실행 → 결과 돌려주기」를 되풀이하는 루프와 반복 상한 같은 골격은 있지만, 그것은 과제 수행 순서가 아니라 실행을 감싸는 층(하네스)의 골격이다. 둘 사이에 선이 아니라 연속적인 띠가 있다고 읽을 수도 있다.

6. 부록 1 — 고객 지원과 코딩 에이전트 (Appendix 1: Agents in practice)

부록 1은 고객과의 작업에서 특히 유망했던 두 응용을 든다. 첫 문단에 두 응용의 공통점이 적혀 있다. 에이전트는 다음 넷을 갖춘 과제에서 가장 큰 값을 한다.

• 대화와 행동이 함께 필요하다.
• 성공 기준이 분명하다.
• 피드백 루프를 돌릴 수 있다.
• 사람의 의미 있는 감독을 붙일 수 있다.

A. 고객 지원. 챗봇 인터페이스에 도구를 붙인 것이다. 대화 흐름을 따르면서도 외부 정보와 행동이 필요하고, 고객 데이터·주문 이력을 가져오는 도구와 환불·티켓 갱신 같은 행동을 붙일 수 있으며, 사용자가 정의한 「해결」로 성공을 잴 수 있다. 해결된 건에만 요금을 받는 가격 모델을 여러 회사가 쓴다는 것을 실용성의 증거로 드는데, 회사 이름이나 수치는 없다.

B. 코딩 에이전트. 자동 시험으로 해답을 검증하고, 시험 결과를 피드백 삼아 되풀이해 고칠 수 있으며, 문제 공간이 구조화되어 있고 품질을 객관적으로 잴 수 있다. 자사 구현이 SWE-bench Verified의 실제 GitHub 이슈를 풀 요청 설명만 보고 풀 수 있다고 쓰지만 해결률은 없다. 그리고 해답이 더 넓은 시스템 요구사항과 맞는지는 여전히 사람이 검토해야 한다는 단서를 단다.

두 사례에서 에이전트가 잘 되는 곳은 「무엇이 성공인가」를 환경이 알려 주는 곳이다. 앞 절에서 환경으로부터 얻는다고 한 「ground truth」와 짝을 이루는 관찰이다.

7. 부록 2 — 도구에도 프롬프트 공학을 (Appendix 2: Prompt engineering your tools)

7회에서 다시 다루므로 요지만 본다. 도구 정의에도 전체 프롬프트만큼 프롬프트 공학의 공을 들이라는 것이다. 파일 편집은 diff로도 파일 전체 재작성으로도, 구조화된 출력은 마크다운으로도 JSON으로도 지정할 수 있다. 사람에게는 손실 없이 바꿀 수 있는 겉모양 차이지만 LLM에게는 어려운 형식이 따로 있다. diff는 새 코드를 쓰기 전에 바뀌는 줄 수를 알아야 하고, JSON 안의 코드는 줄바꿈과 따옴표를 모두 이스케이프해야 한다. 그래서 「생각할」 토큰을 넉넉히 주고, 인터넷 텍스트에서 자연스럽게 보았을 형식에 가깝게 하고, 줄 수 세기나 이스케이프 같은 형식 부담을 없애라고 한다. ACI 요령으로는 모델의 입장이 되어 보기, 인자 이름과 설명을 신입 개발자용 docstring처럼 쓰기, 여러 입력으로 실수를 찾기, 실수를 구조적으로 막는 포카요케(poka-yoke)를 든다.

끝의 일화는 이렇다. SWE-bench 에이전트를 만들 때 Anthropic은 전체 프롬프트보다 도구를 다듬는 데 시간을 더 썼다. 루트 디렉터리를 벗어난 뒤 상대 경로에서 모델이 실수하자 도구가 늘 절대 경로를 요구하도록 바꿨고, 모델은 그 방법을 「flawlessly」 썼다고 한다. 몇 번 시험했는지는 적혀 있지 않다.

8. 통계의 눈으로 다시 읽기

「가장 단순한 해법부터」라는 권고는 두 경험적 주장을 깔고 있다. agentic system이 지연과 비용을 치르고 성능을 산다는 교환이 있다는 것, 그리고 그 교환이 많은 응용에서 값을 하지 못한다는 것이다. 글은 둘 다 크기를 적지 않는다. 같은 회사의 반년 뒤 글(How we built our multi-agent research system)이 비용 쪽에 「우리 데이터에서」 약 4배·15배라는 토큰 배수를 붙였지만, 몇 건을 재서 나온 값인지, 흩어짐이 얼마인지는 없다. 성능 쪽은 과제마다 다를 것이므로, 권고를 시험하려면 같은 과제를 단일 호출·워크플로·에이전트로 각각 풀게 하고 대응 비교해야 한다.

실습 — 「가장 단순한 해법부터」를 실험으로 바꾸기. 여러분 조직에 반복되는 과제 묶음이 있다고 하자(예: 고객 문의 답변 초안, 사내 규정 질의응답, 작은 코드 수정). 같은 과제를 (W) 프롬프트 체이닝이나 라우팅으로 짠 워크플로와 (A) 같은 도구를 쓰는 에이전트로 풀게 해서, 성공률·비용·분산을 비교하려 한다. (a) 처치와 통제를 어떻게 잡겠는가? 무엇을 같게 묶어 두어야 하는가? (b) 결과 지표를 셋 이상 정하라. 「분산」은 무엇의 분산인가? (c) 표본 단위는 무엇이고, 몇 개가 필요한가? 워크플로 성공률 70%, 에이전트 78%라는 가정으로 어림하라. (d) 결과를 오염시킬 교란 요인을 들라. (e) 이 설계로도 답할 수 없는 것은 무엇인가?

9. 논문이 스스로 밝힌 한계

이 글은 논문이 아니어서 Limitations 절이 없다. 글 안에 흩어진 단서와 유보를 모은다.

• 교환. agentic system은 흔히 지연과 비용을 치르고 성능을 사며, 그 교환이 맞는지는 쓰는 사람이 판단해야 한다.
• 자율성의 대가. 에이전트는 비용이 더 들고 오류가 쌓일 수 있으니 샌드박스에서 시험하고 가드레일을 두라고 한다.
• 신뢰의 전제. 판단을 신뢰할 수 있어야 하고 신뢰할 수 있는 환경에 알맞다고 한다. 신뢰할 수 없는 환경은 다루지 않는다.
• 사람의 검토. 코딩 에이전트도 더 넓은 요구사항과의 정합은 사람이 검토해야 한다(Appendix 1).
• 시효. 현행 페이지 머리의 주석이 도구 환경이 2024년 12월 이후 많이 바뀌었다고 밝힌다(「판본 주의」).

글이 밝히지 않은 것도 있다. 근거가 「수십 개 팀과 일한 경험」인데 「가장 성공한 구현」을 무엇으로 판정했는지는 없다. 성공 사례에서 공통점을 뽑으면 실패한 단순 구현은 보이지 않으므로, 「단순한 구현이 성공했다」가 「단순하면 성공한다」를 뜻하는지는 이 글만으로 가릴 수 없다고 읽을 여지도 있다. 다만 처방 자체는 「복잡도를 더하려면 측정으로 정당화하라」여서 이 약점에 무너지지 않는다.

곁가지 — 주제 논문과 다른 점

이 회차의 곁가지는 Weng의 글과 OpenAI 안내서다. 같은 회사의 후속 글 하나와, 패턴별로 뒤 회차에서 만날 논문 셋을 더한다.

LLM Powered Autonomous Agents (Weng 2023 · 이 회차의 보조 자료). 2023-06-23의 개인 블로그 글이다. LLM을 두뇌로 두고 계획(하위 목표로 쪼개기, 반성과 수정), 기억(단기는 문맥 내 학습, 장기는 외부 벡터 저장소), 도구 사용의 세 구성 요소가 받친다고 본다. Weng은 무엇으로 이루어지는가로 나누고 L21은 누가 경로를 정하는가로 나눈다. 그래서 Weng의 지도에는 워크플로와 에이전트의 구분이 없다. Weng이 도구 사용 사례로 드는 HuggingGPT는 과제 계획·모델 선택·실행·응답 생성의 네 단계가 고정되어 있고 입력을 보고 정하는 것은 과제 목록과 과제별 모델 배정이니, L21의 말로는 오케스트레이터–워커 워크플로에 가깝다(이 책의 읽기). 끝의 과제 셋 가운데 자연어 인터페이스의 신뢰성(데모 코드의 상당 부분이 모델 출력 파싱에 쓰인다)은 L21 Appendix 2와 같은 곳을 가리킨다.

A practical guide to building agents (OpenAI 2025). 같은 주제를 다른 회사가 정리한 34쪽 PDF다(발행일 표기 없음, PDF 생성일 2025-04-07). 같은 낱말을 다른 뜻으로 쓴다. 이 안내서의 workflow는 사용자의 목표를 이루려고 실행할 단계의 연쇄, 곧 일 자체이고, 에이전트는 그 일을 높은 독립성으로 대신 수행하는 시스템이다(4쪽). LLM으로 워크플로 실행을 통제하지 않는 응용은 에이전트가 아니라고 하니, L21의 워크플로는 대개 이 정의의 에이전트 바깥에 놓일 것이다. 단일 에이전트를 먼저 최대로 키우라(16쪽), 결정론적 해법으로 충분할 수 있다(6쪽)는 처방은 L21의 「가장 단순한 해법부터」와 겹친다. 모델 선택은 안내서만 따로 다룬다. 가장 유능한 모델로 기준선을 세운 뒤 작은 모델로 바꿔 보라고 한다(8쪽). L21의 「단순함」은 시스템 구조의 단순함이고 작은 모델에서 시작하라는 말이 아니다. 모델 크기는 L21에서 라우팅 예시(쉬운 질의는 작은 모델, 어려운 질의는 큰 모델)로만 나온다. 관리자 패턴과 탈중앙(핸드오프) 패턴은 각각 L21의 오케스트레이터–워커, 라우팅과 모양이 닮았다. 31쪽 본문은 앞의 예시가 math_homework_tripwire 가드레일을 쓴다고 설명하지만 28~30쪽 코드의 가드레일은 churn_detection_tripwire다.

How we built our multi-agent research system (Hadfield 외 2025). Anthropic이 반년 뒤 자사 Research 기능을 「orchestrator-worker pattern」으로 짰다고 밝힌 글이다. 워커가 스스로 도구를 여러 번 쓰는 하위 에이전트여서 본론 3절의 「블록 안의 에이전트」가 실제로 나타나고, 숫자가 있다. Claude Opus 4 주 에이전트와 Sonnet 4 하위 에이전트의 조합이 내부 연구 평가에서 단일 Opus 4보다 90.2% 나았고(문항 수와 지표 정의는 없다), BrowseComp에서는 토큰 사용량 하나가 성능 분산의 80%를 설명했으며, 에이전트는 채팅보다 토큰을 약 4배, 다중 에이전트는 약 15배 쓴다. 병렬화할 일이 적은 대부분의 코딩 과제에는 아직 맞지 않는다는 단서도 붙어 있다.

Reflexion (Shinn 외 2023 · 이 책 11회). 평가자–최적화자를 시행(trial) 사이로 늘린 것이다. 행위자(Actor)가 궤적을 만들고, 평가자(Evaluator)가 점수를 매기고(정확 일치·휴리스틱·다른 LLM 가운데 하나), 자기 반성 모델이 그것을 반성문으로 바꿔 기억에 쌓는다(§3). L21의 루프는 답안 하나를 다듬고 끝나면 아무것도 남기지 않는다. AR 서베이 개정판 Table 4가 이 차이를 기호로 적는다. 한 답 안에서 고치는 Self-Refine은 $z$, 반성문을 다음 시도로 넘기는 Reflexion은 $S$ 다.

MetaGPT (Hong 외 2024 · 이 책 13회). 초록이 겨냥하는 문제가 「LLM을 순진하게 이어 붙여 생기는 연쇄적 환각(cascading hallucinations)」, 곧 관문 없는 프롬프트 체이닝의 실패다. 답은 표준작업절차(SOP)를 프롬프트 연쇄로 부호화하고, 제품 관리자·설계자·엔지니어 같은 역할이 구조화된 산출물을 공유 메시지 풀(발행–구독)로 주고받으며 중간 결과를 검증하게 하는 것이다(§3). 역할과 순서가 SOP로 고정되어 있으니 L21의 지도에서는 관문 달린 체이닝에 가깝고, 일을 나눠 준다는 점에서 오케스트레이터–워커에도 걸친다. AR 서베이 개정판 §5.2.1은 「사람이 짠 파이프라인」으로 분류한다.

SWE-agent (Yang 외 2024 · 이 책 14회). L21 Appendix 2가 일화와 조언으로 말한 에이전트–컴퓨터 인터페이스(ACI)를 절제 실험으로 잰 논문이다(2024년 5월 arXiv, L21은 인용하지 않는다). GPT-4 Turbo를 쓴 SWE-agent는 SWE-bench 2,294개 과제의 12.47%(286개), 300개짜리 SWE-bench Lite의 18.00%(54개)를 풀었다(§5). Lite에서 인터페이스를 하나씩 바꾼 Table 3을 보면, 편집 명령을 빼면 18.0이 10.3으로, 파일 전체를 보여 주면 12.7로 떨어졌고, 결과를 하나씩 넘겨 보는 반복형 검색(12.0)은 검색 도구가 없을 때(15.7)보다도 낮았다. 「도구 설계에 프롬프트만큼 공을 들이라」는 조언이 같은 모델에서 수 %p의 차이로 나타난다는 측정이다.

서베이로 돌아가기

두 서베이를 펴 보면 L21의 구분이 각각 어느 자리에 앉는지 보인다.

Agentic Reasoning 서베이 개정판 — 「무엇을 최적화하나」와 「누가 경로를 정하나」

§2.3 — 서베이가 버린 축. 개정판은 버린 분류 축 셋을 밝힌다. 능력 목록, 아키텍처 구성(단일 에이전트·도구 기반·다중 에이전트), 학습 방식 우선이다. 구성 축은 적응과 직교해서 자기 진화를 둘 자리가 없다는 이유로 버렸고, 택한 축은 환경의 동역학 × 최적화 대상($z$·$S$·$\theta$)이다. L21의 축(제어 흐름을 누가 쥐는가)은 어느 쪽과도 정확히 겹치지 않는다. §2.1은 구성이 같아도 한쪽은 $z$ 를 탐색하고 다른 쪽은 $\theta$ 를 고치면 갈린다고 적는다. 거꾸로 말하면 L21의 워크플로와 에이전트가 서베이에서는 같은 칸에 들어갈 수 있다.

§3.1.1과 Figure 2 — 워크플로는 대안이 아니라 층이다. 개정판은 문맥 내 계획의 한 갈래로 Workflow Design을 둔다. 계획 과정을 지각·추론·실행·검증 같은 단계로 짜 두는 접근이다. 그리고 이렇게 쓴다.

This reactive workflow view unifies scripted stage design with online adaptation: the workflow provides interpretable structure and interfaces (what is done when), while the reactive loop supplies closed-loop grounding and error recovery (how it is done in context).

L21은 워크플로와 에이전트를 고를 대상(사다리의 두 칸)으로 놓고, 개정판은 한 시스템의 두 층으로 놓는다. 본론 5절에서 오케스트레이터–워커를 「골격은 코드, 내용은 모델」로 맞춰 읽은 것과 같은 그림이다. Figure 2의 캡션은 워크플로 설계를 $z$ 가 아니라 시스템 상태 $S$ 쪽 계열에 묶고, §2.2는 가중치를 건드리지 않고 프롬프트·워크플로·통신 그래프를 최적화하는 연구를 사후 학습이라 부르면 두 체제를 혼동한다고 경고한다. L21의 개발자가 평가를 보며 워크플로의 코드와 프롬프트를 고쳐 나가는 일은 이 틀에서 $S$ 를 사람 손으로 최적화하는 일로 읽을 수 있다(엮은이의 해석).

§5.2.1 — 사람이 짠 파이프라인과 LLM이 짜는 파이프라인. 다중 에이전트의 문맥 내 협업을 두 갈래로 나눈다. Manually Crafted Pipelines는 역할·실행 순서·소통 규칙을 실행 전에 정해 둔 것이고(MetaGPT), LLM-Driven Pipelines는 LLM 오케스트레이터가 목표를 쪼개 전문 에이전트나 도구에 보내고 중간 피드백으로 워크플로를 고쳐 나가는 것이다(Magentic-One 등). 앞의 것은 해석 가능하고 실행이 단순하지만 경직되어 모호한 과제에 적응하기 어렵다고 평한다. 범위가 다중 에이전트라는 점만 빼면 L21의 구분이 서베이 안에서 가장 가깝게 재현되는 자리다.

§2.4와 Table 5 — 어느 모드를 언제 쓰나. 개정판이 심사를 거치며 새로 넣은 설계 지침이다.

원문 Table 5(AR 서베이 개정판 §2.4)를 엮은이가 옮겼다.

Table 5는 「무엇을 최적화할지」를, L21은 「모델에게 통제를 얼마나 넘길지」를 묻는다. 그래도 겹친다. L21이 다루는 것은 모두 가중치를 고정한 $z$·$S$ 두 행 안이고, 미세조정은 한 마디도 나오지 않는다. 사다리의 첫 칸은 $z$ 행의 「추가 준비 비용이 없다」와 같은 근거로 출발점이 되고, 워크플로와 에이전트가 치르는 비용은 $z$ 행의 「호출마다 다시 든다」로 적혀 있다. 개정판은 이 표가 「빠르게 움직이고 흔히 교란된 문헌을 읽은 것이지 확정된 결과가 아니다」라고 스스로 강조한다. 경험담인 L21도, 참고문헌 866건(§1.1)을 정리한 서베이도 설계 지침을 측정된 법칙으로 내놓지 않는다.

기호 대응표. L21의 용어를 서베이의 기호에 잇는다. 대응은 엮은이의 읽기다.

Harness 서베이 — 하네스 공학의 한 상자 안에서

§1 — 인용된 자리. 서베이는 L21을 한 번 인용한다(Anthropic 2024a). 학술 연구가 계획·기억·도구 사용을 따로 연구하는 반면 프로덕션 쪽 기록은 도구 계약·재시도·핸드오프·권한 경계를 서술한다고 대비하며, 뒤쪽의 하나로 든다.

§2.1 — 연표에서의 자리. 연표는 「ReAct 루프(2022)」, 「도구 통합과 다중 에이전트 조율(2023)」, 「하네스로의 전환(2025)」 세 항목이고 2024년 칸이 없다. L21(2024-12)은 둘째와 셋째 사이에 놓인다. 첫 항목은 초기 시스템이 while 루프 하나, 프롬프트 템플릿 하나, 작은 도구 배정표로 돌았다고 적는데, L21의 「구현은 흔히 단순하다」와 같은 관찰이다. 셋째 항목은 2026년 초에 이르러 에이전트의 신뢰성을 모델만이 아니라 둘러싼 기반 설계의 몫으로 돌리는 보고가 늘었다고 쓴다. 「도구와 그 문서를 신중하게 설계하라」는 L21 Appendix 2는 그 전환을 앞서 짚은 문단으로 읽을 수 있다.

§2.2와 Figure 1 — 세 범위. 서베이는 프롬프트 공학·컨텍스트 공학·하네스 공학을 차례로 넓어지는 범위로 놓는다. Figure 1(PDF 1쪽)의 세 기둥은 이렇다.

Harness 서베이 Figure 1의 글자를 표로 옮겼다. 그림 속 Example & Format 칸의 설명문은 위 칸과 똑같이 「Define task, persona and constraints」로 인쇄되어 있다.

L21의 내용은 세 기둥에 모두 걸친다. 검색과 예시로 다듬은 단일 호출은 프롬프트 공학과 Retrieval & Loading, 증강 LLM의 기억은 Memory & State, Appendix 2의 ACI는 Tools & Environment, 샌드박스와 가드레일은 Governance & Security, 「재고 되풀이해 고치라」는 Verification & Evaluation이다. 이 글의 이름이 된 워크플로–에이전트 구분은 하네스 기둥의 한 칸 Orchestration(「Plan, act, verify, retry, or delegate」)에 들어간다. §2.3도 Lifecycle/Orchestration(L) 층을 단일 에이전트 루프에서 다중 에이전트와 이슈–풀 요청 워크플로까지의 제어 흐름을 조직하는 층으로 정의한다. L21의 구분은 일곱 층 가운데 L층 안의 설계 선택이다.

§11.2 — 능력과 통제의 교환. 권한을 더 줄수록 통제 문제가 커진다. 도구 목록이 넓어지면 선택 오류와 프롬프트 인젝션의 표면이 커지고, 허용적인 샌드박스는 잘못된 행동의 피해 반경을 키운다. L21이 에이전트의 조건으로 든 「판단을 신뢰할 수 있어야 한다」와 「신뢰할 수 있는 환경」을 하네스 쪽에서 다시 적은 문단으로 읽을 수 있다.

AR 서베이는 TMLR 액션 에디터가 「Accept as is」를 냈을 뿐 OpenReview 상태는 아직 「Decision pending」이고 정식 판도 없으며, Harness 서베이는 학회·저널 심사를 거치지 않은 preprint다. 두 서베이의 분류도 확정된 결론으로 인용하지 않는다.

자주 하는 오해

오해 1. "LLM에 도구를 붙이면 에이전트다." L21에서 검색·도구·기억을 붙인 LLM은 기본 블록(증강 LLM)일 뿐이다. 그 블록을 코드가 정한 순서로 부르면 워크플로이고, LLM이 자기 과정과 도구 사용을 스스로 정할 때만 에이전트다(「What are agents?」). OpenAI 안내서도 LLM으로 워크플로 실행을 통제하지 않는 응용은 에이전트가 아니라고 쓴다(4쪽).

오해 2. "에이전트가 워크플로보다 발전된 단계이니 결국 에이전트로 가야 한다." L21은 둘을 발전 단계가 아니라 용도로 나눈다. 잘 정의된 과제에는 예측 가능하고 일관된 워크플로가, 규모 있게 유연성이 필요할 때는 에이전트가 낫고, 많은 응용에는 단일 호출이면 충분하다(「When (and when not) to use agents」).

오해 3. "오케스트레이터–워커는 병렬화의 다른 이름이다." 모양은 비슷하다고 원문도 인정한다. 차이는 하위 과제를 누가 언제 정하느냐다. 병렬화는 미리 정해 둔 하위 과제를 동시에 돌리고, 오케스트레이터–워커는 입력을 본 오케스트레이터가 그때 만든다(「Workflow: Orchestrator-workers」).

오해 4. "OpenAI 안내서의 workflow와 이 글의 workflow는 같은 말이다." L21의 workflow는 코드가 경로를 정하는 시스템이고, OpenAI 안내서의 workflow는 목표를 이루는 단계의 연쇄, 곧 일 자체다(안내서 4쪽). 안내서에서 에이전트는 워크플로를 「수행하는」 것이다. 섞어 인용하면 같은 문장이 정반대로 읽힌다.

오해 5. "이 글의 권고는 실험으로 확인된 결과다." 근거는 「수십 개 팀과 일한 경험」과 자사 구현이고 측정치는 없다. 반년 뒤 같은 회사가 공개한 토큰 배수(약 4배·15배)와 개선 폭(90.2%)도 과제 수와 흩어짐이 없다. AR 서베이 개정판의 설계 지침(Table 5)도 스스로 확정된 결과가 아니라고 밝힌다. 기업 문서는 설계 지침으로 읽되 일반화된 실증으로 읽지 않는다.

오해 6. "에이전트를 만들려면 프레임워크부터 골라야 한다." 글은 먼저 LLM API를 직접 쓰고, 프레임워크를 쓴다면 밑의 코드를 이해하라고 권한다(「When and how to use frameworks」). 그 절의 프레임워크 이름은 게시 뒤 바뀌었으니 이름이 아니라 논리만 가져간다.

오해 7. "평가자–최적화자 루프를 붙이면 출력은 늘 좋아진다." 평가 기준이 분명하고, 사람이 말로 피드백을 주면 응답이 나아지며, LLM이 그런 피드백을 줄 수 있어야 한다(「Workflow: Evaluator-optimizer」). 조건이 없으면 루프는 비용만 더한다. 평가자가 무엇이어야 하는지는 11회에서 다시 다룬다.

토론 질문

1. 여러분의 과제를 사다리에 올려 보기. 업무의 반복 과제 하나를 단일 호출·워크플로·에이전트 가운데 어디에 두겠는가? 근거는 과제가 잘 정의되어 있는가, 단계 수를 미리 아는가, 실패하면 무엇을 잃는가 가운데 무엇인가? 한 칸 올린 것이 나아졌음을 무엇으로 보이겠는가?

2. 두 방향의 절약. L21은 구조를 단순한 것에서 올리라고 하고, OpenAI 안내서는 모델을 가장 유능한 것에서 내리라고 한다. 두 처방은 충돌하는가, 다른 축이라 함께 쓸 수 있는가? 전진 선택과 후진 제거가 같은 모형에 이르지 않을 때가 있듯, 두 방향이 다른 시스템에 이를 수 있는가?

3. 신뢰할 수 있는 환경이란. L21은 에이전트가 신뢰할 수 있는 환경에서 과제를 확장하기에 알맞다고 쓴다. 여러분 조직에서 에이전트가 읽게 될 문서·메일·웹 페이지 가운데 「신뢰할 수 있는」 것은 어디까지인가? 15회의 간접 프롬프트 인젝션과 3회의 거버넌스 층을 미리 떠올려 보자.

영상

• 〔저자〕 「How We Build Effective Agents: Barry Zhang, Anthropic」 — AI Engineer
• 〔저자〕 「Tips for building AI agents」 — Anthropic
• 〔보조〕 「앤스로픽이 직접 공개한 '진짜' AI 에이전트 구축 가이드 (5가지 패턴)」 — AI튜터랩
• 〔리뷰〕 「[DSBA Study] Agent AI 1주차 - AI 에이전트의 기초 개념과 정의 (1)」 — 서울대학교 산업공학과 DSBA 연구실

영상은 2026-10-04에 YouTube oEmbed로 제목과 채널을 확인했다. 본편 내용은 엮은이가 검증하지 않았다.

후속 공부

• 원문의 나머지. Appendix 2 전문은 7회에서 읽는다. 글은 예제 구현을 Anthropic의 cookbook에서 보라고 한다.
• 같은 회사의 이어지는 글. Writing effective tools for agents — with agents(7회), Effective context engineering for AI agents(9회), Effective harnesses for long-running agents(3회).
• 다른 저자의 지도. Weng의 글의 계획·기억·도구 세 절, OpenAI 안내서의 가드레일 절(24~31쪽, 15회와 이어 읽기).
• 서베이에서 이어 읽기. AR 서베이 개정판 §2.4(설계 지침 전체), §3.1.1(Workflow Design과 반응형 루프), §5.2.1(사람이 짠 파이프라인과 LLM이 짜는 파이프라인). Harness 서베이 §2.2(세 범위), §11.2(능력과 통제의 교환).
• 이 책 안에서. 2회(「에이전트」의 정식화), 3회(정지 조건·샌드박스·가드레일의 자리), 6회(에이전트 루프의 원형), 7회(증강 LLM의 도구와 MCP), 11회(평가자–최적화자의 연장), 13회(오케스트레이터–워커와 SOP).

출처

핵심 읽기

• [L21] Erik S.(현행 페이지 표기. 2024-12-20 Internet Archive 사본에는 Erik Schluntz) · Barry Zhang. 「Building effective agents」. Anthropic Engineering 블로그, 2024-12-19. 원문. 인용한 곳: 전 절과 Appendix 1·2.

서베이

• [L22] Tianxin Wei 외. 「Agentic Reasoning for Large Language Models: A Survey」. TMLR 심사 중(2026-09-15 액션 에디터 「Accept as is」, OpenReview 「Decision pending」). OpenReview 개정판 (CC BY 4.0) · arXiv 2601.12538(arXiv판 — 개정판과 절·표 번호가 다르다. v2는 초록 페이지 Comments 칸에 「Accepted by TMLR」가 붙었을 뿐 본문은 v1과 같다. 2026-10-05 대조). 인용한 곳: §2.1, §2.2(세 최적화 대상, $S$ 의 정의), §2.3(버린 대안, Table 3), Table 4, §2.4와 Table 5, §3.1.1과 Figure 2 캡션, §5.2·§5.2.1. 절·표 번호는 익명 심사본(2026-09-01 생성) 기준이다.
• [L01] Junjie Li 외. 「Agent Harness Engineering: A Survey」. 2026, 미게재 preprint. 프로젝트 페이지 · PDF. 인용한 곳: §1, §2.1, §2.2와 Figure 1, §2.3, §11.2.

곁가지

• [S09] Lilian Weng. 「LLM Powered Autonomous Agents」. Lil'Log, 2023-06-23. 원문 (Agent System Overview, Component Three: Tool Use의 HuggingGPT, Challenges).
• [S35] OpenAI. 「A practical guide to building agents」. 2025(PDF 생성일 2025-04-07). PDF (4·6·8·16·17·28~31쪽).
• [S18] Jeremy Hadfield 외. 「How we built our multi-agent research system」. Anthropic Engineering 블로그, 2025-06-13. 원문 (구조 개요, 토큰 배수, 평가 절).
• [L11] Noah Shinn 외. 「Reflexion: Language Agents with Verbal Reinforcement Learning」. NeurIPS 2023. arXiv 2303.11366 · 코드 (§3).
• [L12] Sirui Hong 외. 「MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework」. ICLR 2024. arXiv 2308.00352 · 코드 (초록, §3).
• [S20] John Yang 외. 「SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering」. NeurIPS 2024. arXiv 2405.15793 (초록, §5, Table 3).
• [L02] Shunyu Yao 외. 「ReAct: Synergizing Reasoning and Acting in Language Models」. ICLR 2023. arXiv 2210.03629.
• Aman Madaan 외. 「Self-Refine: Iterative Refinement with Self-Feedback」. 2023. arXiv 2303.17651 (AR 서베이 개정판 Table 4에서의 분류만 인용).
• [S10] Anthropic. 「Introducing the Model Context Protocol」. 2024-11-25. 원문.
• [S19] Carlos E. Jimenez 외. 「SWE-bench: Can Language Models Resolve Real-World GitHub Issues?」. ICLR 2024. 리더보드.

확인 방법. L21은 2026-10-04의 현행 페이지를 Internet Archive의 2024-12-20 사본(당시 주소는 research 경로)과 문장 단위로 대조해 바뀐 곳 세 군데를 찾았고, 나머지 문장은 같았다. 원문 그림은 옮기지 않았고, 이 장의 그림은 본문 문장만으로 엮은이가 그렸다. 곁가지의 블로그 글은 웹 원문으로, OpenAI 안내서와 논문·서베이는 PDF로 절·쪽·표 번호와 수치를 대조했다. Self-Refine의 arXiv 번호는 2026-10-05에 초록 페이지에서 확인했다. 저자·게재 상태·라이선스·코드 저장소는 부록 III의 서지를 따랐다. 본론 5절의 $p^k$ 표, 통계 절의 표본 크기(정규 근사식), 정확 McNemar 검정의 검정력(다항분포 모의 1만~2만 회), 윌슨 구간, 설계 효과는 엮은이가 가정한 값으로 파이썬(numpy·scipy)에서 계산했다.

2회 · 필수 · ★★★

에이전트의 머리 — 생각·행동·학습을 한 틀로

이 회차가 답하는 질문: '생각'과 '행동'과 '학습'을 한 확률 모형 안에서 어떻게 나누는가.

핵심 읽기. Tianxin Wei 외, 「Agentic Reasoning for Large Language Models: A Survey」, TMLR 심사 중(2026-09-15 액션 에디터 「Accept as is」, OpenReview 「Decision pending」). 이 책은 OpenReview에 올라 있는 심사 후 개정판(익명 심사본)으로 읽는다. 전체 146쪽 가운데 이 회차가 읽는 곳은 §1–§2.4, 본문 16쪽 남짓이다.

한 문단 요약. 서베이는 에이전트를 다루는 수백 편의 논문을 하나의 확률 모형 위에 올려놓으려 한다. 환경은 부분관측 마르코프 결정과정(POMDP)으로, 에이전트는 그와 따로 떼어 낸 튜플로 적는다. 에이전트의 정책은 「생각」을 내는 부분과 「행동」을 내는 부분의 곱으로 쓰는데, 서베이 스스로 이 분해(식 1)가 연쇄법칙일 뿐이라고 밝히고 내용은 세 가정 A0·A1·A2에 있다고 적는다. 그다음 모든 방법을 「무엇을 최적화하는가」로 나눈다. 추론 흔적 $z$ 를 그때그때 탐색하는가(문맥 내 추론), 에피소드를 넘어 남는 시스템 상태 $S$ 를 고치는가(시스템 수준 최적화), 모델 모수 $\theta$ 를 바꾸는가(사후 학습). 이 세 모드를 환경의 역동성에 따른 세 층(기초·자기 진화·집단)과 엇갈려 3×3 격자를 만들고, 어떤 배포 조건에서 어느 모드를 고를지를 표 하나(Table 5)로 정리한다. 이 책의 4~13회 논문은 모두 이 격자의 어느 칸에 놓인다.

발제 가이드

50분 배분. 발제 뒤 10분은 토론이다.

꼭 읽을 곳. §2.2 Preliminaries. 이 회차의 중심이고 4쪽 남짓이다. 다만 사후 학습 문단에서는 「$\theta$ 를 보상에 맞춰 고친다」는 첫 두 문장만 필수이고, 식 3·4와 GRPO의 세부는 아래 선택 읽기로 돌린다. 그다음은 §2.3의 Table 3과 §2.4의 Table 5다. 그림을 하나만 띄운다면 Figure 1이 아니라 Table 3을 띄운다. 이후 회차의 모든 논문이 이 아홉 칸 가운데 하나로 돌아오기 때문이다.

선택 읽기. §1.1 Survey Methodology(5쪽, 통계 관심자용). 866편의 연도별·범주별 구성이 숫자로 인쇄되어 있고, 이 장 8절이 그 숫자로 연습한다. §2.2의 사후 학습 문단(식 3·4, GRPO)은 강화학습에 익숙하거나 더 알고 싶은 독자에게 권한다. 이 책은 사후 학습을 깊이 다루지 않는다.

발제에서 줄일 곳. §3–§5의 세부 절은 각론 회차(5회·7회·8회·11회·12회·13회)가, §6은 14회가, §7은 17회·18회가, §8–§9는 20회가 읽는다. 6쪽의 구성 안내와 7–8쪽의 목차는 넘긴다.

이 회차는 생략하거나 합치지 않는다. 4~13회의 「서베이로 돌아가기」 절이 모두 이 회차의 기호와 격자를 전제한다. 1회를 열지 않았다면 발제 앞 3분에 「워크플로는 정해진 코드 경로로 모델을 부르고, 에이전트는 모델이 자기 경로를 정한다」는 구분만 소개한다. 그 구분(누가 경로를 정하나)과 이 장의 구분(무엇을 최적화하나)은 다른 질문이라는 점을 짚어 둔다.

수치를 옮길 때. 이 서베이에는 성능 수치가 거의 없다. 옮길 숫자는 코퍼스 구성(§1.1)과 표의 행 수 정도이고, 그것은 저자들이 고른 문헌의 구성이지 분야 전체의 표본이 아니다. 「이 서베이의 참고문헌 866편 가운데」처럼 분모를 함께 적고, 판본(OpenReview 개정판)도 밝힌다.

직관 잡기

「머리」를 무엇으로 나누는가

1회는 에이전트를 제어 흐름으로 보았고(누가 다음 단계를 정하나), 3회는 모델을 감싸는 실행 기반으로 본다. 이 회차는 그 사이, 모델이 생각하고 행동하고 배우는 방식을 본다.

서베이가 쓰는 질문은 하나다. "what does it optimize?"(§1). 같은 「계획을 잘 세우는 에이전트」라도 프롬프트로 그때그때 탐색하는 것, 과거 계획의 저장소를 고쳐 가는 것, 강화학습으로 가중치를 바꾸는 것이 있다. 능력 목록으로 나누면 셋이 한 칸에, 최적화 대상으로 나누면 세 칸에 들어간다. 서베이는 뒤를 택한다.

엮은이의 다리 — 은닉 마르코프 모형에서 POMDP로

서베이 자신은 비유 대신 §2.2 첫 문단에서 세 층의 능력을 "a single control-theoretic framework" 아래 통일하겠다고 밝힌다.

본론

1. 범위와 질문 — Figure 1과 Table 1 (§1, §2)

Figure 1. 2쪽의 그림은 네 겹으로 되어 있다. 맨 위 띠는 사용자(User)가 과제(Task)를 제안하고(Propose), 에이전트 추론 시스템(Agentic Reasoning System)이 풀고(Solve), 그 경험을 앞으로의 과제(Future Tasks)로 일반화하는(Generalize) 흐름이다. 둘째 띠는 「LLM Reasoning → Agentic Reasoning (▷§Section 2)」라는 제목 아래 세 쌍의 전환을 그린다. Paradigm은 Static Input에서 Dynamic Context로, Compute는 Passive에서 Interactive로, Learning은 Pre-trained에서 Evolving으로 바뀐다. 오른쪽 끝에 「And More …」가 붙어 있다. 아래 네 칸이 본론이다. Foundational(Complex Planning · Tool Use · Web Search, §3), Self-evolving(Feedback Loop · Agentic Memory · Self-Evolving, §4), Collective Multi-agent(Role Assigning · Collaboration · Co-evolving, §5), Applications and Benchmarks(§6·§7, 의료·금융·법률·교육·로봇·과학·소프트웨어·게임·웹)다.

캡션은 세 층을 "in order of increasing environmental dynamics"로 배열했다고 적는다. 안정된 환경(기초), 피드백과 쌓인 상태가 있는 환경(자기 진화), 여러 에이전트가 함께 있는 환경(집단)의 순서다. 이것이 서베이의 첫째 축이다.

Table 1 — LLM 추론 대 에이전트 추론. §2 첫머리는 전통적인 LLM 추론이 추론 시점의 계산을 늘려("scaling test-time computation") 성능을 올린다면, 에이전트 추론은 상호작용을 늘린다("scaling test-time interaction")고 대비한다.

원문 Table 1. 원문은 차원마다 두 쌍을 「↔」로 잇는다. 번역은 엮은이.

「한 번 통과」는 신경망의 순방향 계산이 한 번뿐이라는 뜻으로 읽으면 안 된다. 답 하나를 생성하는 동안에도 토큰마다 순방향 계산이 되풀이되고(0장 1절), 추론 시점의 계산을 늘리는 방법은 바로 그 생성을 길게 만든다. 이 표가 가르는 것은 생성 도중에 환경의 피드백을 받는가다. 입력을 받아 바깥의 응답 없이 답까지 가면 한 번 통과이고, 행동을 내고 관찰을 받아 다음 생성을 이어 가면 여러 단계다(이 풀이는 엮은이의 읽기다).

「학습」 행의 오른쪽 칸은 가중치를 다시 학습한다는 뜻만이 아니다. 이 서베이의 자기 진화에는 가중치를 그대로 두고 기억이나 도구 라이브러리를 고치는 일이 상당 부분 들어 있다(Table 4의 대표 계열 여섯 가운데 넷이 $S$ 를 바꾼다. 자기 진화층 방법 표 Table 9·10의 56행으로 세면 $S$ 25행, $\theta$ 20행, $z$ 11행이다 — 이 장 5절). 이 회차 제목의 「학습」도 그 넓은 뜻이다.

2. 이웃 서베이와 어디가 다른가 (§2.1, Table 2)

서베이는 가까운 서베이 아홉 편과 자신을 Table 2 하나로 비교한다. 열은 형식화·계획·도구·검색·피드백·기억·다중 에이전트·다중 에이전트 학습·응용·벤치마크, 그리고 마지막의 「시스템별 최적화 대상(Per-system optim. target)」이다. 표시는 •(절 하나 이상의 실질적 처리), ◦(부분적 처리), –(다루지 않음) 셋이다. 마지막 열에서 •를 받은 것은 이 서베이뿐이고, 아홉 편 가운데 셋(Lin 외 2025c, Fang 외 2025a, Gao 외 2026)이 ◦, 나머지 여섯이 – 다. 저자들이 가장 크게 다르다고 주장하는 곳이 이 열이다. 캡션은 각 표시가 「그 서베이의 절 구성에 대한 우리의 읽기」라고 밝힌다.

§2.1은 이 표가 저자들의 판정이라는 점을 조심스럽게 다룬다. Ke 외(2025a)에 대해서는 이미 상호작용 설정을 한 축으로 품고 있어 「한 번의 순방향 계산에 갇혀 있다」고 말하면 부정확하다고 스스로 적고, 차이를 좁게 진술한다("we state them rather than overclaiming"). 범위가 가장 많이 겹치는 Zhang 외(2025f)에 대해서는 다중 에이전트의 모수 수준 학습을 이미 깊이 다룬다고 인정한다. 마지막 열의 ◦ 세 개에도 각각 이유를 단다. 예컨대 Gao 외(2026)는 「무엇이 진화하나」 행렬을 만들었지만 대표 방법 24개에 대해서만이고, 그 축이 추론 흔적과 주변 컨텍스트를 가르지 않는다는 것이다. 세 서베이의 차이는 이 장 「곁가지」에서 다시 본다. 다만 Table 2의 표시는 비교 당사자인 저자들이 매긴 것이고, 제삼자가 같은 기준으로 다시 매긴 것은 아니다.

3. 두 튜플 — 환경과 에이전트를 떼어 놓는다 (§2.2)

§2.2의 첫 단락 제목은 "Formalizing Agentic Reasoning: A Latent-Space View"다. 문제 제기는 한 문장이다. 흔한 접근은 에이전트의 컨텍스트를 환경 상태에 섞어 쓴다("conflate the agent's context with the environment state"). 그래서 서베이는 둘을 문법적으로 갈라 두 튜플로 적는다.

환경.

$$E=⟨X,O,A,T,\Omega ,R,\gamma ⟩$$

$X$ 는 에이전트가 관측하지 못하는 잠재 상태 공간, $O$ 는 관찰 공간(사용자 질의, API 반환값 등), $A$ 는 외부 행동 공간(도구 호출, 최종 답변 등), $T$ 와 $\Omega$ 는 전이 커널과 관찰 커널, $R$ 은 보상, $\gamma \in (0,1)$ 은 할인율이다.

에이전트.

$$G=⟨Z,M,{\pi }_{\text{reason}},{\pi }_{\text{exec}},U⟩$$

$Z$ 는 추론 흔적 공간이다. 서베이의 표현은 "latent plans, optionally verbalized as chain-of-thought"다. $M$ 은 에이전트 내부의 기억·컨텍스트 공간, ${\pi }_{\text{reason}}$ 과 ${\pi }_{\text{exec}}$ 는 추론 정책과 실행 정책, $U$ 는 뒤의 식 5에 나오는 시스템 갱신 연산자다.

왜 떼어 놓는가. $Z$ 와 $M$ 은 에이전트의 설계 선택이다. 환경은 그것을 관측하지도 않고 그것에 의해 바뀌지도 않으므로, $Z$ 나 $M$ 이 다른 두 에이전트는 같은 $E$ 를 마주한다. 둘을 환경 튜플에 접어 넣으면 이 서베이가 조직 원리로 삼는 구분이 가려진다는 것이 서베이의 답이다.

실험 설계의 말로 옮기면 환경은 피험자 집단이고 에이전트는 처치다. 처치를 피험자의 속성처럼 적어 두면 같은 집단에 두 처치를 비교한다는 말이 성립하지 않는다(이 옮김은 엮은이의 읽기다).

AR 서베이 개정판 §2.2의 두 튜플과 가정 A0를 옮겨 그린 것이다. 그림은 엮은이가 그렸다.

이력과 기억. 시점 $t$ 에서 에이전트는 이력 $h_t=(o_{\le t},z_{<t},a_{<t})$ 에 조건화된다. 부등호가 순서를 말해 준다. $o_t$ 를 보고, $z_t$ 를 내고, $a_t$ 를 낸다. 이력은 내부 기억 상태 $m_t\in M$ 으로 요약할 수 있다.

4. 식 1과 세 가정 (§2.2)

정책은 이렇게 분해된다.

$${\pi }_{\theta }(z_t,a_t\mid h_t)=\underset{\text{내부 생각}}{\underbrace{{\pi }_{\text{reason}}(z_t\mid h_t)}}·\underset{\text{외부 행동}}{\underbrace{{\pi }_{\text{exec}}(a_t\mid h_t,z_t)}}$$(식 1)

바로 다음 문장이 이 식의 무게를 스스로 덜어 낸다.

Eq. 1 is an application of the chain rule and carries no content on its own; it holds for any joint distribution over $(z_t,a_t)$.

식 1은 $p(z,a\mid h)=p(z\mid h)p(a\mid h,z)$ 이고, 어떤 결합분포에서도 성립한다. 서베이는 내용이 이 식이 아니라 함께 세우는 모형화 약속(modeling commitments)에 있다고 하며, 시스템 계열마다 그중 다른 부분집합을 받아들이기 때문에 명시한다고 적는다.

원문 §2.2의 세 가정을 표로 옮겼다.

A0의 「$T$ 와 $\Omega$ 는 $a_t$ 만의 함수다」는 원문 문장(「T and Ω are functions of $a_t$ alone」)을 그대로 옮긴 것인데, 문면대로 읽으면 전이와 관찰이 상태와도 무관하다는 뜻이 되어 앞의 POMDP와 맞지 않는다. 전이는 여전히 지금의 잠재 상태와 행동에 따라 다음 상태를 정하고, 관찰도 상태에 따라 나온다. 이 문장이 배제하는 것은 에이전트 쪽에서 들어오는 것 가운데 행동 $a_t$ 말고 생각 $z_t$ 가 환경에 직접 영향을 주는 길이다. 예컨대 전이를 $T(x_{t+1}\mid x_t,a_t)$ 로 적으면 $z_t$ 가 조건에 들어가지 않는다(이 기호는 엮은이가 붙인 것이고 원문에 이 꼴의 식은 없다).

세 가정을 조건부 독립의 말로 다시 쓰면 무엇이 걸려 있는지가 보인다.

• A1은 $z_t⟂h_t\mid m_t$ 다. 오래된 대화를 요약해 컨텍스트에 넣는 시스템은 모두 이 가정에 기댄다. 요약이 다음 생각에 필요한 것을 빠뜨리면 깨진다. 12회의 주제다.
• A2는 $a_t⟂h_t\mid z_t$ 다. 행동에 필요한 정보가 모두 생각을 거쳐 간다. 6회에서 보듯 ReAct는 관찰에 나온 물건 번호를 생각을 거치지 않고 행동에 넣으므로 성립하지 않는다.
• A0는 조건부 독립이 아니라 순서와 차단의 가정이다. 생각은 환경에 닿지 않고, 환경은 에이전트가 낸 것 가운데 행동만 본다.

A2가 「일반적으로 가정되지 않는다」는 점이 이 정식화의 쓸모를 드러낸다. 같은 식 1 아래에서 A2를 받아들이는 구조와 그렇지 않은 구조가 갈리고, 그 차이가 설계의 차이와 맞물린다. 서베이는 A2가 깨지는 예로 ReAct를 이름으로 들지만 성립하는 쪽은 「계획 후 실행형 구조(§3)」라고만 적는다. 성립하는 쪽은 §3.1.1의 ReWOO(관찰 모듈과 추론 모듈을 떼어 놓는다)가 좋은 예다. A2가 성립하면 관찰 텍스트가 계획을 거치지 않고는 행동에 닿지 못한다는 점에서 보안과도 이어진다(15회). 두 연결 모두 엮은이의 읽기다.

정식화의 마지막 줄은 기대 할인 보상 $J(\theta )={𝔼}_{\tau }\left[{\sum }_{t\ge 0}{\gamma }^t{r}_t\right]$ 의 최대화다.

5. 세 최적화 대상 — $z$·$S$·$\theta$ (§2.2)

§2.2는 문맥 내 추론, 사후 학습, 집단 지성, 자기 진화의 네 단락을 이 순서로 쓴다. 세 모드를 낳는 것은 그 가운데 셋이다. 문맥 내 추론이 $z$, 사후 학습이 $\theta$, 자기 진화가 $S$ 를 최적화한다. 집단 지성은 그 세 모드를 여러 에이전트에 적용하는 범위의 이야기다. 이 장은 세 모드를 먼저 잇달아 보고 집단 지성을 끝에 둔다.

문맥 내 추론 — 추론 시점의 탐색. 모수 $\theta$ 는 고정이다. 에이전트는 $Z$ 위를 탐색해 휴리스틱 가치함수 $\widehat{v}(h_t,z)$ 를 높이는 추론 궤적을 고른다. 추론은 궤적 $\tau =(h_0,z_0,a_0,h_1,z_1,a_1,\dots )$ 의 선택으로 모형화된다. ReAct는 생각 $z$ 와 행동 $a$ 를 번갈아 내는 탐욕적 디코딩이다. Tree of Thoughts(ToT)와 MCTS(몬테카를로 트리 탐색 Monte Carlo tree search) 계열은 부분 생각을 마디 $u$ 로 다룬다. 서베이는 이 계열들이 목적함수를 공유하지 않는다며 하나의 식으로 뭉치지 않고 따로 적는다. 아래에서 ${\widehat{v}}_{\varphi }$ 는 마디나 단계에 점수를 매기는 가치 추정기이고, $\varphi$ 는 그 추정기의 모수다(프롬프트로 점수를 매기게 한 LLM일 수도, 학습한 검증기일 수도 있다).

ToT식 가지치기 탐색은 마디 예산 $B$ 아래에서 가치 ${\widehat{v}}_{\varphi }(u)\ge \kappa$ 인 자식만 남기고, 깊이 $H$ 이하에서 도달할 수 있는 잎의 집합 $L_H$ 가운데 점수가 가장 높은 것(${argmax}_{u\in L_H}{\widehat{v}}_{\varphi }(u)$)을 돌려준다. 경로를 따라 더한 합이 아니다. MCTS는 마디에서 끝까지 모의로 이어 가 보는 롤아웃(rollout, 원문은 simulation)을 되풀이해 가치를 추정한다. 마디 $u$ 에서 자식 $u^{\prime }$ 로 가는 갈래를 지난 롤아웃들의 결과를 더한 값이 $W(u,u^{\prime })$, 그 갈래를 지난 횟수가 $N(u,u^{\prime })$ 이고, 그 평균 $Q(u,u^{\prime })=W(u,u^{\prime })/N(u,u^{\prime })$ 에 덜 가 본 갈래일수록 보너스를 얹는 상한 신뢰 규칙으로 다음 갈래를 고른다. 경로 합이 맞는 대상은 과정 보상·단계 검증기 집계뿐이다.

$${\tau }^{\star }\in {argmax}_{\tau \in {\Gamma }_H}{\sum }_t{\widehat{v}}_{\varphi }(u_t)$$(식 2)

${\Gamma }_H$ 는 깊이 $H$ 이하의 실현 가능한 궤적 집합(전이 커널 $T$ 와 다른 기호), ${\widehat{v}}_{\varphi }$ 는 단계 수준 검증기 또는 과정 보상 모형이다. 제약 없이 최대화하면 합이 한없이 커지므로 ${\Gamma }_H$ 로 제한해야 문제가 잘 정의된다는 것이 서베이의 설명이다. 통계의 말로 하면 ToT는 휴리스틱 점수로 잎을 고르는 최적화이고, MCTS는 반복 표집으로 가치를 추정하며 고르는 순차적 결정이다. 5회가 자세히 본다.

사후 학습 — 정책 최적화. 정답성·안전 같은 장기 보상 $r_t$ 에 맞춰 $\theta$ 를 고친다. 예는 DeepSeek-R1 같은 추론 모델과 Search-R1처럼 강화학습으로 검색을 배우는 시스템이다. PPO가 표준이고 추론 과제에는 GRPO(Group Relative Policy Optimization) 계열이 널리 쓰인다. GRPO는 같은 프롬프트에 대한 출력 $G$ 개의 보상을 집단 안에서 표준화해 이점 ${\widehat{A}}_i=(r_i-\mu )/(\sigma +\delta )$ 를 만든다(식 4). $\mu$ 와 $\sigma$ 는 그 $G$ 개 보상의 평균과 표준편차, $\delta >0$ 은 $\sigma$ 가 0일 때 나눗셈이 터지지 않게 하는 작은 상수다. 이점(advantage)은 이 출력이 기준선보다 얼마나 나은가를 나타내는 값으로, 양수면 그 출력을 낼 확률을 올리고 음수면 내린다. 기준선을 무엇으로 잡느냐가 관건인데, PPO는 상태마다 기대 수익을 예측하는 가치망(value network, 0장 4절의 가치함수를 신경망으로 근사한 것)을 따로 학습해 기준선으로 쓴다. GRPO는 그 가치망을 없애고 같은 문제의 형제 답안들의 평균을 기준선으로 삼는다. 통계의 말로 하면 집단 안의 표준점수다. 이 책에서 사후 학습은 7회, 10회, 16회에서 만난다.

자기 진화 — 메타 학습 고리. 자기 진화 에이전트는 에피소드 $k=1,\dots ,K$ 를 넘어 시스템 자체를 최적화한다. $S_k$ 를 진화 가능한 시스템 상태(명시적 기억, 도구 라이브러리, 코드 등)라 하면 일반적인 메타 갱신 규칙은 이렇다.

$$S_{k+1}\leftarrow U(S_k,{\tau }_k,F_k)$$(식 5)

${\tau }_k$ 는 에피소드 $k$ 의 궤적, $F_k$ 는 환경 피드백(보상, 실행 오류)이다. 서베이는 $S$ 의 내용으로 자기 진화를 세 갈래로 나눈다.

원문 §2.2 「Self-Evolving Agents」 단락을 표로 옮겼다.

통계에 익숙한 독자에게 식 5는 순차적 갱신의 일반형으로 읽힌다. 베이즈 갱신이 사전분포와 자료로 사후분포를 만들듯, $U$ 는 지금의 상태와 새 궤적과 피드백으로 다음 상태를 만든다. 다른 점은 $S$ 가 확률분포가 아니라 사람이 읽을 수 있는 문서나 코드라는 데 있다(이 비교는 엮은이의 것이다).

집단 지성 — 세 모드를 다중 에이전트로 넓히면. 이 단락은 넷째 모드가 아니라 앞의 세 모드가 적용되는 범위를 넓히는 단락이다. 단일 에이전트 정식화를 분산 부분관측 설정(Dec-POMDP)으로 넓힌다. 에이전트 $i$ 의 관찰 $o_t^i$ 에는 동료들이 앞 시점에 낸 메시지 $c_{t-1}^{-i}$ 이 통신 채널 $C$ 를 통해 들어온다. 서베이는 통신이 신호 전송에 그치지 않고 추론의 연장이라고 강조한다. 한 에이전트의 외부 행동이 다른 에이전트의 내부 추론을 촉발하는 프롬프트가 된다. 여기서도 세 모드가 갈린다. AutoGen과 CAMEL은 정책이 고정된 정적 역할극, GPTSwarm과 MaAS는 $\theta$ 를 고정한 채 협업 구조를 최적화하는 것, PPO·GRPO로 학습한 에이전트는 $\theta$ 를 고치는 것이다. 13회가 이 단락을 이어받는다.

세 모드로 정리. 이렇게 나온 최적화 변수 셋이 서베이 전체를 가르는 축이다. 서베이는 이것이 「문맥 내 대 사후 학습」의 이분법이 아니라고 강조한다.

원문 §2.2 「Three Optimization Modes」 단락을 표로 옮겼다.

$S$ 와 $\theta$ 를 왜 굳이 나누나. 초록과 §1과 §2.2가 되풀이하는 주장이다. 가중치를 건드리지 않고 프롬프트·워크플로·통신 그래프를 최적화하는 연구가 빠르게 늘고 있는데, 최적화 고리가 있다고 이것을 「사후 학습」에 넣으면 비용 구조와 배포 요건과 실패 양식이 다른 두 체제를 섞는다는 것이다. 초록의 표현은 "otherwise misfiled as post-training"이다.

판본의 차이도 여기서 생긴다. arXiv 원고를 소개한 한국어 글(이승현의 AI Native Insight)은 이 서베이를 「세 층 × 두 최적화 모드(인-컨텍스트 대 사후 학습)」로 소개하고 Reflexion을 인-컨텍스트 쪽에서 설명한다. 개정판에서는 모드가 셋이고 Reflexion은 $S$ 로 분류된다(Table 4, Table 9). 심사 전 원고를 다룬 자료(이 장의 보조 영상 둘 포함)를 볼 때 이 차이를 염두에 둔다. 저자 소속도 같은 글의 제목과 달리 29인 가운데 22인이 UIUC이고, Meta 2인·Amazon 2인·Google DeepMind 1인·UCSD 1인·Yale 1인이다(개정판 PDF는 익명이라 arXiv 원고 1면의 소속 표기로 셌다).

6. 3층 × 3모드 격자 (§2.3, Table 3, Table 4)

§2.3은 "A taxonomy is a choice, not a discovery"로 시작해, 버린 대안과 고른 것의 비용을 독자에게 밝힐 의무가 있다고 쓴다.

버린 대안 셋.

• 능력 목록(계획 / 도구 / 기억 / …). 찾아보기는 쉽지만 능력을 어떻게 얻는지 알려 주지 않는다. 프롬프트로 하는 계획과 강화학습으로 배운 계획이 나란히 놓인다.
• 구조적 구성(단일 / 도구 기반 / 다중 에이전트). 적응과 직교하므로 자기 진화가 들어갈 자리가 없다.
• 학습 방식 우선(프롬프팅 / SFT / 강화학습). 환경 역동성의 차원을 잃어, 단일 에이전트 강화학습과 다중 에이전트 강화학습이 한 칸에 들어간다.

고른 축. 「환경 역동성 × 최적화 대상」이다. 어려움이 어디서 오는가와 그것을 풀려고 무엇에 비용을 쓰는가($z$, $S$, $\theta$)를 가른다.

Table 3 — 격자.

원문 Table 3. 「–」는 격자가 예측하지만 확립된 문헌을 찾지 못한 계열이다. 번역은 엮은이.

두 공백. 서베이는 「연구가 없다는 것도 하나의 발견」이라며 빈칸을 두 개 표시한다.

• 공백 (i) 자기 진화 × $\theta$, 도구 생성. 새 도구를 「만드는」(writing new tools) 능력을 높이려고 $\theta$ 를 고치는 확립된 연구를 알지 못한다. 도구 「선택」은 다른 문제이고 기초 × $\theta$(§3.2.2)에서 다룬다.
• 공백 (ii) 집단 × $\theta$, 공유 기억. 다중 에이전트 기억은 거의 시스템 수준에서만 최적화되고, 공유 저장소를 읽고 쓰도록 에이전트를 사후 학습한 확립된 연구를 알지 못한다(§5.3.2).

경계 사례. 세 층은 서로소가 아니다. 과거 계획을 꺼내 쓰는 계획기는 능력으로는 기초, 메커니즘으로는 자기 진화다. 도구 생성은 기초 능력이면서 $A$ 의 영구적 확장, 곧 절차적 진화다. 서베이는 이런 교집합을 한 칸에 억지로 넣지 않고 교집합이라고 표시한다.

Table 4 — 자기 진화의 세 어휘. $S$ 의 내용(언어적·절차적·구조적)이 주된 자름이고, 메커니즘(§4)과 시간 범위(시험 시점 안 intra-test-time 대 시험 시점 사이 inter-test-time, Gao 외 2026의 용어)는 교차 자름이다.

원문 Table 4. 캡션에 따르면 Reflexion의 반성 저장소는 한 과제의 시도들 사이에 남으므로 주된 자름으로는 $S$, 시간 자름으로는 시험 시점 안이다.

첫째 행과 둘째 행을 나란히 보면 세 모드 구분이 어디서 일을 하는지 보인다. Self-Refine과 Reflexion은 둘 다 「생성–비평–수정」 고리다. Self-Refine은 흔적만 고치고 아무것도 남기지 않으므로 $z$, Reflexion은 비평을 에피소드를 넘어 남는 노트에 쓰므로 $S$ 다(§4.1.1). §3.1.2는 같은 구분을 Reflexion과 Reflect-then-Plan(에피소드 안에서 신념 상태만 다듬는다, $z$)에 적용하며 이렇게 쓴다. "both are 'reflection', and only one of them accumulates."

7. 설계 지침 — 어떤 조건에서 어느 모드인가 (§2.4, Table 5)

§2.4는 분류축이 설계자가 실제로 마주하는 질문에 답할 때만 쓸모가 있다는 문장으로 시작해, 배포 조건마다 지금의 근거가 지지하는 모드와 조심할 것을 표 하나로 준다. 이것이 빠르게 움직이고 자주 교란된(confounded) 문헌에 대한 읽기이지 확정된 결과가 아니라는 단서도 붙인다.

원문 Table 5. 번역은 엮은이.

여섯 행 가운데 넷이 $S$ 를 권한다. 마지막 행의 경고(실패를 일으킨 쓰기가 여러 에피소드 전의 것일 수 있다)는 19회에서 실패의 원인을 거슬러 올라갈 때와 20회에서 미리 써 둔 위키 문서가 낡을 때 돌아온다. 둘째 행 「퇴출·검증 정책이 필수」의 실례는 12회다.

「이유」 칸은 대부분 비용과 운영의 논리이고 성능 비교의 숫자는 없다. 이 표는 실험으로 확인된 처방보다 설계 판단의 체크리스트로 읽는 편이 서베이 자신의 단서와 맞는다.

8. 통계의 눈으로 다시 읽기

§1.1의 코퍼스는 숫자로 인쇄되어 있다. 서베이는 체계적 질의 하나로 만든 것이 아니어서 PRISMA식 절차를 나중에 꾸며 내지 않고 실제 과정을 보고한다고 밝힌다. arXiv 다섯 분류·ACL Anthology·OpenReview·주요 학회 논문집을 지켜보다 2026년 1월에 주 마감을 하고, 인용 연쇄를 새 후보가 대부분 이미 있는 것일 때까지 되풀이했다. 포함 기준은 상호작용으로 전개되는 추론을 다루며 방법이나 평가 산출물을 보고한 연구, 제외 기준은 외부 상호작용 없는 한 번의 순방향 프롬프팅·순수 긴 컨텍스트 모형화·입장 논문이다.

원문 §1.1 「Corpus profile」의 숫자를 표로 옮겼다. 합계는 엮은이가 더해 확인했다.

두 열 모두 866으로 맞는다. 응용과 벤치마크를 합하면 407편, 전체의 47.0%다. 서베이가 "roughly half"라고 적은 숫자이고, 서베이는 이것을 검색의 편향이 아니라 평가 층의 빠른 성장으로 읽는다.

연도 열은 해마다 크게 늘어 2023년에서 2024년으로 2.13배, 2024년에서 2025년으로 1.46배다. 2026년의 56편은 주 마감(2026년 1월) 뒤 소수의 추가분까지 합친 칸이라 이 비교에 넣지 않는다. 연도의 정의에서 한 문장은 읽기가 열려 있다. 동료심사 게재처가 없는 항목은 arXiv 식별자에서 연도를 가져왔고, 게재처가 있는 「네 항목」은 게재 연도를 유지했다고 적는다. 그런데 참고문헌 목록에는 CoT(NeurIPS 2022), Toolformer와 Reflexion(NeurIPS 2023)처럼 게재처가 달린 항목이 여럿 보인다. 「네 항목」이 무엇을 가리키는지는 원문만으로 확정되지 않는다.

포함 기준과 866편의 관계도 짚어 둔다. 866편은 참고문헌 전체다. 제외 기준대로라면 외부 상호작용 없는 프롬프팅은 검토 대상이 아닌데, 그 대표인 CoT도 §1과 §3.2.1에서 인용되어 866편 안에 있다. 이 장은 866편을 「포함 기준을 통과한 검토 대상」이 아니라 「인용 목록」으로 읽는다.

실습 1 — 방법 표의 「최적화 대상」 열을 세어 보자. 서베이의 기여 목록은 "the framing is used: every method table records which of the three a system optimizes"라고 적는다. Table 6–11의 마지막 열을 세면 아래와 같다(엮은이가 PDF 텍스트에서 행마다 셌다).

(a) 층별로 합쳐 3×3 분할표를 만들고, 층마다 세 모드의 비율을 구하라. (b) 「층과 모드는 독립이다」라는 귀무가설에 대한 카이제곱 검정을 하라. 같은 검정을 표 단위(6×3)로도 하라. 두 결과가 왜 다른가? (c) ReAct(Table 7·8·9)처럼 여러 표에 나오는 시스템이 있다. 같은 층 안의 중복을 지우면 결론이 바뀌는가? (d) 이 검정의 p값은 무엇에 대한 진술인가?

실습 2 — 표의 행 수를 코퍼스 편수로 나눠도 되는가. 범주별 코퍼스 편수와 방법 표의 행 수를 나란히 놓으면 계획 23/111, 도구 17/70, 검색 17/21, 피드백 26/27, 기억 30/61, 다중 에이전트 29/118이다. (a) 각 비율을 구하라. (b) 「피드백 논문의 96%가 표에 실렸다」고 말해도 되는가? 분모와 분자의 정의를 비교해 답하라.

9. 논문이 스스로 밝힌 한계

• 알려진 포괄의 빈틈(§1.1). 넷을 이름으로 밝힌다. 영어가 아닌 문헌, 공개된 글이 없는 산업 시스템, 강화학습 기반 시설과 시스템 논문(에이전트가 무엇을 할 수 있는지를 바꿀 때만 인용), 게임과 협상 문헌.
• 에이전트 검색의 범위 경계(§1.1). RAG 문헌의 상당 부분이 포함 기준 밖에 있다. 8회를 읽을 때 이 서베이가 RAG 전체를 다루지 않는다는 점을 기억한다.
• 분류축의 비용(§2.3). 구조와 모수를 함께 고치는 방법은 지배적인 메커니즘 쪽에 배정해야 하고, 그 판단에 합리적인 이견이 있을 수 있다. 서베이는 이것을 능력 목록 분류에는 없는 이 축의 실제 한계라고 쓴다.
• 설계 지침의 지위(§2.4). Table 5는 빠르게 움직이고 자주 교란된 문헌에 대한 읽기이지 확정된 결과가 아니라고 밝힌다.
• 익명 심사본. 동반 저장소(논문 모음, Table 2–5, 벤치마크 목록, 인용 감사 기록)의 주소는 익명 심사를 위해 빠져 있고, 카메라 레디에 넣는다고 한다(§1.1 각주 1). arXiv판 1면이 가리키는 저자들의 논문 목록 저장소가 유력하지만, 2026-10-05 현재 그곳에는 논문·벤치마크 목록과 발표 슬라이드 PDF 하나가 있을 뿐 Table 2–5와 인용 감사 기록은 없다.

논문이 밝히지 않은 한계를 하나 보탠다면, 가정 A0–A2가 §2.2 밖에서 다시 쓰이지 않는다는 점이다. 「A0」「A1」「A2」라는 이름은 §2.2의 정의 밖에서 찾지 못했다(엮은이가 PDF 텍스트를 검색했다). §4.2 본문도 장기 과제의 실패를 A1의 이름으로 논하지 않는다. 반면 최적화 대상 $z$·$S$·$\theta$ 는 Table 6–11의 모든 행에 기록되어 있다. 이 서베이에서 하중을 받는 형식화는 세 가정보다 세 최적화 대상 쪽이라고 읽을 여지도 있다. 토론 질문 1이 이 점을 다룬다.

곁가지 — 주제 논문과 다른 점

스터디에서 처음 제안된 목록에는 이 회차의 곁가지 논문이 없다. 대신 서베이가 Table 2에서 자신과 비교한 인접 서베이 셋과, 이 책의 다른 회차 핵심 논문 가운데 세 모드를 하나씩 보여 주는 셋을 대비한다. 서술은 모두 이 서베이가 그 문헌에 대해 적은 범위로 한정한다.

A Survey of Frontiers in LLM Reasoning (Ke 외 2025). 서베이가 LLM 추론 서베이 가운데 상호작용 설정까지 들어간 예로 드는 연구다. 추론 체제(추론 시점 확장 대 추론 학습)와 시스템 구조(단독 LLM / 단일 에이전트 / 다중 에이전트)의 곱으로 짜여 있다. 차이는 축이다. Ke 외는 구조로, 이 서베이는 최적화 대상으로 나눈다. 서베이는 Ke 외에 기억 절이 없다고 적고, 벤치마크를 다루지 않는 것은 Ke 외 자신이 밝힌 범위 결정이라고 따로 설명한다(§2.1).

The Landscape of Agentic Reinforcement Learning for LLMs (Zhang 외 2025). 서베이가 범위가 가장 많이 겹친다고 인정하는 연구다. 능력 축과 과제 영역 축을 곱해 나누고, 형식화로는 기존 LLM 강화학습의 한 단계 MDP와 에이전트 강화학습의 POMDP를 맞세운다. 시스템별 표에는 백본 모델·보상 종류·강화학습 알고리듬을 적는다. 이 서베이는 같은 자리에 「무엇을 최적화하는가」를 적는다. Table 2 마지막 열에서 둘이 갈리는 이유다.

LLM-based Agentic Reasoning Frameworks: A Survey from Methods to Scenarios (Zhao 외 2025). 서베이가 역시 가까운 연구로 꼽는다. 추론 과정의 통일된 형식적 서술을 내세우고 단일 에이전트 / 도구 기반 / 다중 에이전트로 나눈다. 차이는 둘이다. 구조적 구성이 축이어서 같은 구성의 두 시스템이 하나는 $z$ 를 탐색하고 하나는 $\theta$ 를 바꿔도 같은 칸에 간다. 그리고 학습 없는 프레임워크로 범위를 한정해 SFT와 강화학습을 분류에서 뺐다. 이 서베이의 격자로 말하면 $\theta$ 열이 통째로 없다.

Chain-of-Thought (Wei 외 2022 · 이 책 4회) — $z$ 의 원형. 서베이는 $Z$ 를 정의하며 "optionally verbalized as chain-of-thought"라고 적는다. 동시에 CoT를 에이전트 추론과 구별한다. 정적인 컨텍스트와 짧은 시야를 가정하고(§1), 모델의 내부 지식에 갇힌 닫힌 세계에서 작동한다(§3.2.1)는 것이다. Table 6–11에 CoT 자체는 행으로 오르지 않는다. 이 책의 읽기로는 CoT는 외부 행동이 최종 답 하나뿐인 $z$ 이고, A0가 가르는 「한 번의 순방향 계산」의 바로 이웃이다.

Reflexion (Shinn 외 2023 · 이 책 11회) — $S$ 의 대표. 서베이는 Reflexion을 언어적 진화의 첫 예로 든다(§2.2). Table 6에서도 Table 9(자기반성형 I-a)에서도 최적화 대상은 $S$ 이고, 같은 생성–비평–수정 고리인 Self-Refine($z$)과 대비된다(§4.1.1). 심사 전 원고를 소개한 글이 Reflexion을 인-컨텍스트 쪽에서 설명한 것과 견주면 세 모드 구분이 어디서 일을 하는지 보인다.

Toolformer (Schick 외 2023 · 이 책 7회) — $\theta$ 의 대표. 서베이는 Toolformer를 Table 7(학습 방식 「Self-sup. + SFT」)과 Table 8에 모두 $\theta$ 로 올린다. §3.2.2는 레이블 없는 텍스트 안에서 유용한 API 호출을 생성·검증·보존하고 거른 자료로 미세조정한다고 설명한다. 같은 「도구를 쓰는 에이전트」라도 ReAct(Table 7 첫 행, $z$)와 Toolformer는 다른 열에 있다. 6절의 「능력 목록으로 나누면 같은 칸, 최적화 대상으로 나누면 다른 칸」이 이 두 행이다.

서베이로 돌아가기

이 회차는 서베이 자체가 주제이므로, 이 절은 3회의 Harness 서베이(줄여서 H, 이 서베이는 AR)와 대조하는 자리로 쓴다. AR은 에이전트의 머리, 곧 모델이 어떻게 계획하고 도구를 쓰고 피드백과 기억으로 나아지는지를 본다. H는 몸과 울타리, 곧 모델 바깥의 실행 환경·도구 규약·컨텍스트 관리·조율·관측·검증·거버넌스를 본다.

무엇을 분석 단위로 삼는가

H의 초록 첫 문장은 신뢰할 수 있는 과제 실행이 바탕 모델만이 아니라 그것을 둘러싼 기반 시설, 곧 하네스에도 달려 있다는 것이다. §2.4는 하네스를 모델 호출을 경계 있고 상태가 있고 도구로 매개되는 과제 실행으로 바꾸는 공학적 감싸개로 정의하고, 분석 단위가 모델이나 프롬프트 자체가 아니라고 못 박는다.

두 서베이의 범위 규정을 나란히 놓아 보자.

두 서베이의 범위 서술을 엮은이가 나란히 놓았다.

둘 다 단독 프롬프팅 기법을 빼고, 사후 학습에서 갈린다. 머리를 보는 쪽은 가중치를 바꾸는 연구를 한 축으로 품고, 몸을 보는 쪽은 기반 모델 학습을 범위 밖에 두되 하네스 기제와 직접 맞물리는 학습만 남긴다.

목차로 본 겹침

목차를 맞대 보면 겹치는 곳은 도구(AR §3.2 대 H §4), 기억(AR §4.2 대 H §5.4–5.5), 다중 에이전트(AR §5 대 H §6.3), 평가(AR §7 대 H §8)다. 같은 주제라도 묻는 것이 다르다. 도구를 예로 들면 AR은 도구 사용을 어떻게 배우나를, H는 도구를 어떻게 연결하나를 묻는다. 이 책은 기억은 AR에서 분류(Table 10)를, H에서 구현 계층을 읽는다(12회). 겹침이 전혀 없는 곳이 더 많은 것을 알려 준다. 실행 환경·샌드박스(H §3)와 관측(H §7)은 AR에 절이 없고, 최적화 모드의 구분과 가정 A0–A2와 탐색 목적함수는 H에 없다.

두 지도를 겹치면

엮은이의 읽기로는 두 서베이가 맞닿는 곳이 $S$ 다. 서베이가 $S$ 의 예로 드는 명시적 기억, 도구·스킬 라이브러리, 프롬프트, 통신 위상, 에이전트 자신의 코드는 Harness 서베이의 층으로 옮기면 각각 컨텍스트(C), 도구(T), 조율(L)의 대상이다. 머리 쪽의 「학습하는 상태」가 몸 쪽에서는 「설계하고 운영하는 기반」이 된다. Table 5 마지막 행의 경고(지속 상태가 감사 문제를 만든다)도 이 상태가 하네스 쪽에서 관측(O)과 거버넌스(G)의 대상이라는 뜻으로 읽을 수 있다. 두 서베이 어느 쪽도 이 대응을 직접 적지는 않았다. 3회에서 ETCLOVG 각 층에 $S$ 를 겹쳐 보면 좋은 복습이 된다.

자주 하는 오해

오해 1. "식 1이 이 서베이의 핵심 발견이다." 서베이 스스로 식 1이 연쇄법칙의 적용이라 그 자체로는 아무 내용이 없다고 적는다(§2.2). 어떤 결합분포에도 성립한다. 내용은 가정 A0–A2와, 무엇을 최적화하느냐에 따른 세 모드에 있다.

오해 2. "에이전트라면 행동은 생각만 보고 정해진다(A2)." A2는 일반적으로 가정되지 않는다(§2.2). 계획 후 실행형에서만 성립하고, ReAct 같은 교대형에서는 행동이 날것의 관찰에도 조건화되므로 깨진다. 서베이가 「우리가 다루는 모든 시스템이 가정한다」고 명시한 것은 A0이고, A2 항목의 「A0·A1과 달리」라는 표현으로 보아 A1도 일반적으로 가정되는 쪽에 놓는다. 일반적으로 가정되지 않는 것은 A2 하나다.

오해 3. "가중치를 안 바꾸면 다 프롬프팅, 곧 문맥 내 추론이다." 개정판의 요점이 이것을 바로잡는 것이다. 가중치를 고정한 채 기억·도구 라이브러리·프롬프트·통신 위상을 에피소드를 넘어 고치는 것은 $S$ 모드다(§2.2 Three Optimization Modes). 남는 것이 있느냐가 $z$ 와 $S$ 를 가른다. Self-Refine은 $z$, Reflexion은 $S$ 다(Table 4).

오해 4. "최적화 고리가 있으면 사후 학습이다." 서베이가 가장 강하게 반대하는 분류다. 프롬프트나 통신 그래프를 최적화하는 연구를 「사후 학습」에 넣으면 비용 구조와 배포 요건과 실패 양식이 전혀 다른 체제를 섞는다고 쓴다(초록, §1, §2.2). 거꾸로, 흔히 프롬프팅 기법으로 소개되는 Self-RAG는 반성 토큰이 달린 말뭉치로 생성기를 미세조정하므로 $\theta$ 다(§3.3.3, Table 8).

오해 5. "866편은 분야의 표본이고, 응용·벤치마크가 절반이니 분야도 그렇다." 서베이는 PRISMA식 절차를 사후에 꾸미지 않았다고 스스로 밝힌다(§1.1). 866편은 본문에서 인용된 참고문헌 전체이고, 포함 기준이 RAG 문헌 상당 부분을 범위 밖에 두었다. 이 서베이의 인용 구성이지 분야 전체의 표본이 아니다.

오해 6. "Table 5는 실험으로 검증된 처방이다." 서베이는 Table 5가 빠르게 움직이고 자주 교란된 문헌에 대한 읽기이지 확정된 결과가 아니라고 적는다(§2.4). 성능 숫자는 없고, 다중 역할 행은 보고된 비교가 교란되어 있다고 직접 경고한다.

토론 질문

1. 형식화는 장식인가, 하중을 받는가. 식 1은 연쇄법칙이고, 가정 A0–A2는 §2.2 밖에서 이름으로 다시 쓰이지 않는다. 반면 $z$·$S$·$\theta$ 는 모든 방법 표에 기록된다. 여러분이 심사위원이라면 이 형식화가 하중을 받는다는 것을 어떻게 보이라고 하겠는가? A2가 성립하는 구조와 깨지는 구조를 같은 모델·같은 과제에서 비교해, 관찰에 무관한 문장을 끼웠을 때 행동이 얼마나 흔들리는지 재는 실험을 설계해 보자(처치·결과 지표·표본 단위·교란 요인). 6회와 15회에서 다시 쓴다.

2. 이 분류축은 누구에게 쓸모 있는가. 여러분의 업무에서 에이전트를 도입한다면 Table 5의 어느 행에 해당하는가? 「감사가 필요하면 $S$」라는 권고와 「실패를 일으킨 쓰기가 여러 에피소드 전의 것일 수 있다」는 경고를 함께 놓고, $S$ 에 쌓이는 기록을 어떻게 관리하겠는가? 20회의 위키 유지와 이어진다.

3. 머리와 몸의 경계는 어디인가. 같은 기억 저장소가 이 서베이에서는 최적화되는 상태 $S$ 이고, Harness 서베이에서는 컨텍스트 층(C)의 구현 대상이다. 관점에 따라 「성능이 나빠졌을 때 무엇을 고칠지」가 어떻게 달라지는가? 3회와 19회에서 답을 맞춰 본다.

영상

• 〔저자〕 「LLM Agents MOOC | UC Berkeley CS294-196 Fall 2024 | LLM Agents: History & Overview by Shunyu Yao」 — Berkeley RDI
• 〔리뷰〕 「[DSBA Study] Agent AI 2주차 - Cognitive Architectures (1)」 — DSBA 연구실 (CoALA라는 다른 틀. 대조용)
• 〔보조〕 「[AI 논문 26년 01월] 에이전트적 추론: 사고와 행동을 잇는 차세대 AI 로드맵 / Agentic Reasoning for Large Language Models」 — 편하게 듣는 논문 - 이지 페이퍼 (심사 전 판을 다룬다)
• 〔보조〕 「2601.12538 - Agentic Reasoning for Large Language Models」 — AI Paper Cast (심사 전 판을 다룬다)

첫 영상의 강연자 Shunyu Yao는 이 서베이가 아니라 ReAct·ToT의 제1저자다.

영상은 2026-10-04에 YouTube oEmbed로 제목과 채널을 확인했다. 본편 내용은 엮은이가 검증하지 않았다.

후속 공부

• 원문의 나머지. §3.4·§4.4·§5.4(각 층의 근거가 무엇을 뒷받침하는지), §7.3 벤치마크의 한계, §9 결론, 부록 A 광범위 영향 성명.
• 목록과 심사평. 논문 목록 저장소. OpenReview 포럼의 공개 심사평과 저자 응답에는 서베이가 어떻게 고쳐졌는지가 남아 있다.
• 서베이에서 이어 읽기. Harness 서베이 §2.2·§2.3. 범위가 가장 겹치는 Zhang 외 2025.
• 이 책 안에서. 4회($z$ 를 글로 쓰게 하기), 6회(A2가 깨지는 자리), 7회($\theta$ 로 도구 배우기), 11회($S$ 의 언어적 진화), 12회(A1과 기억), 3회(몸과 울타리).

출처

핵심 읽기

• [L22] Tianxin Wei 외. 「Agentic Reasoning for Large Language Models: A Survey」. TMLR 심사 중(2026-09-15 액션 에디터 「Accept as is」, OpenReview 「Decision pending」). OpenReview 개정판 (CC BY 4.0) · arXiv 2601.12538(arXiv판 — 개정판과 절·표 번호가 다르다. v2는 초록 페이지 Comments 칸에 「Accepted by TMLR」가 붙었을 뿐 본문은 v1과 같다. 2026-10-05 대조) · 목록 저장소. 인용한 곳: §1, §1.1, §2–§2.4(Figure 1, Table 1–5, 식 1·2·4·5, 가정 A0–A2), §3.1.2, §3.2.1, §3.2.2, §3.3.3, §4.1.1, Table 6–11의 최적화 대상 열, 참고문헌 목록. 절·표 번호는 익명 심사본(2026-09-01 생성) 기준이다.
• [L23] 이승현의 AI Native Insight(작성자 표기 epoko77). 「Agentic Reasoning for Large Language Models (by Meta, Google deepmind, Amazon 등)」. 블로그, 2026-01-22. 원문. 심사 전 원고의 두 모드 체계 소개로 인용했다. 제목의 소속 표기는 원문 그대로 두었다(실제 소속은 본문 참조).

서베이

• [L01] Junjie Li 외. 「Agent Harness Engineering: A Survey」. 2026, 미게재 preprint. 프로젝트 페이지 · PDF. 인용한 곳: 초록, §1, §2.2, §2.3, §2.4, §2.5.

곁가지

• Zixuan Ke 외. 「A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems」. 2025. arXiv 2504.09037 (AR 서베이 참고문헌 목록의 서지, Ke 외 2025a).
• Guibin Zhang 외. 「The Landscape of Agentic Reinforcement Learning for LLMs: A Survey」. 2025. arXiv 2509.02547 (AR 서베이 참고문헌 목록의 서지, Zhang 외 2025f).
• Bingxi Zhao 외. 「LLM-based Agentic Reasoning Frameworks: A Survey from Methods to Scenarios」. 2025. arXiv 2508.17692 (AR 서베이 참고문헌 목록의 서지, Zhao 외 2025b).
• [S01] Jason Wei 외. 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」. NeurIPS 2022. arXiv 2201.11903. 서술은 AR 서베이 §1, §2.2, §3.2.1의 범위.
• [L11] Noah Shinn 외. 「Reflexion: Language Agents with Verbal Reinforcement Learning」. NeurIPS 2023. arXiv 2303.11366. 서술은 AR 서베이 §2.2, §3.1.2, §4.1.1, Table 4·6·9의 범위.
• [L03] Timo Schick 외. 「Toolformer: Language Models Can Teach Themselves to Use Tools」. NeurIPS 2023. arXiv 2302.04761. 서술은 AR 서베이 §3.2.2, §3.3.3, Table 7·8의 범위.

확인 방법. 2026-10-05에 개정판 PDF(146쪽, 익명 심사본)와 대조했다. 절·표·식 번호, 인용문, §1.1의 숫자는 추출 텍스트에서 확인했고, Figure 1(2쪽)과 Table 3(15쪽)은 페이지를 렌더링해 눈으로 읽었다. Table 6–11의 최적화 대상 열은 행마다 센 뒤 표별 기호 개수와 다시 대조했다. 저자·게재 상태·라이선스·저장소는 PDF가 익명이라 부록 III의 서지(2026-10-04 확인)를 따랐다. 인접 서베이 세 편의 arXiv 번호는 AR 서베이 참고문헌에서 가져와 arXiv 초록 페이지의 제목과 맞춰 보았다. OpenReview 공개 심사평(심사위원 8QGv·sncv, 저자 응답, 액션 에디터 결정)은 2026-10-05에 브라우저로 열어 원문을 확인했다. Harness 서베이는 프로젝트 페이지 PDF(71쪽)와 대조했다. 8절의 비율·카이제곱 검정(피어슨, scipy)은 인쇄된 숫자와 엮은이가 센 행 수로 계산했다.

3회 · 필수 · ★★★

에이전트의 몸과 울타리 — 하네스

이 회차가 답하는 질문: 같은 모델인데 왜 시스템마다 성능과 안전성이 다른가.

핵심 읽기. Junjie Li 외, 「Agent Harness Engineering: A Survey」, 2026, 미게재 preprint(OpenReview 아카이브 직접 업로드. 학회·저널 심사를 거치지 않았다). 본문 51쪽, 참고문헌과 부록까지 71쪽.

한 문단 요약. 에이전트가 저장소·브라우저·터미널에서 오래 일하게 되면서 과제의 성패가 모델의 응답만으로 정해지지 않게 되었다. 이 서베이는 컨텍스트를 넣어 주고, 도구를 안정된 규약으로 부르고, 상태를 보존하고, 실패에서 복구하고, 결과를 검증하고, 권한 안에 묶어 두는 모델 둘레의 운영 기반을 하네스(harness)라 부르고 독립된 공학 대상으로 세운다. 그 틀이 일곱 층의 분류 ETCLOVG(Execution, Tooling, Context, Lifecycle/Orchestration, Observability, Verification, Governance)이고, 공개 저장소 170여 개를 이 층에 배치해 지도를 그린 뒤 층 사이의 상충 셋을 묶는다. 실험 논문이 아니라 지도다. 하네스가 성능을 바꾼다는 근거는 남의 보고에서 가져오고, 그 근거가 코딩 에이전트에 몰려 있다고 저자들 스스로 밝힌다.

발제 가이드

50분 배분. 발제 뒤 10분은 토론이다.

꼭 읽을 곳. §1 전부(세 쪽이 안 된다), §2.1–2.3, §10–11(합쳐 두 쪽), §13(한 문단). 그림을 하나만 띄운다면 Figure 3이다. 넷은 기둥, 하나는 위에서 내려다보고, 하나는 아래에서 받치고, 하나는 전체를 두른다.

선택 읽기(통계 관심자). §2.4–2.9(범위·수집 절차·포함 기준·코딩 프로토콜·코퍼스의 한계·집계, 합쳐 두 쪽)와 부록 A의 Table S1. 7절의 재분석이 이것을 쓴다. 부록 B의 Table S2(대표 구현 여섯 개가 각각 어느 층을 덮는지)는 반 쪽이다.

발제에서 줄일 곳. §3–§9의 층별 장은 각론 회차에서 하나씩 읽는다(4절의 표). 참고문헌(52–66쪽)과 부록 A의 프로젝트 목록 본체도 넘긴다.

14회를 열지 않는다면. 「곁가지」의 SWE-agent Table 3(에이전트–컴퓨터 인터페이스 절제)을 발제에 넣는다. 서베이가 남의 보고로만 말하는 「모델을 고정하고 하네스만 바꾸기」를 통제된 실험으로 보인 표다.

수치를 옮길 때. 서베이의 성능 수치는 대부분 서베이가 잰 것이 아니라 블로그·기술 보고에서 옮긴 것이다. 숫자를 적을 때는 모델·벤치마크·원 보고를 함께 적고, 서베이 자체가 동료심사를 거치지 않은 preprint임을 밝힌다. 생태계 수치는 2026-05-08 스냅샷이다.

직관 잡기

같은 모델, 다른 점수

서베이는 첫머리에서 모델의 가중치를 그대로 두고 둘레만 바꾼 사례 셋을 든다(§1).

Harness 서베이 §1을 표로 옮겼다. 원 보고의 표본과 반복 횟수는 서베이에 없다.

§1은 바로 이어 신중한 문장을 단다. "The strongest controlled evidence currently comes from coding-agent benchmarks, and these results do not establish that the harness matters more than the model in every setting." 성능이 모델과 그 실행 체계에 함께 달려 있다는 말이다. 그 바깥을 어떻게 나눠 부를지가 이 서베이의 일이다.

엮은이의 다리 — 실험의 통제 조건과 측정 장치

서베이 자신의 틀은 제어 이론에 가깝다. §11.3은 컨텍스트 정책·도구 스키마·검증기·복구 루프를 바꾸면 닫힌 고리의 제어기 $C_H$ 가 바뀌고, 따라서 같은 모델의 측정된 행동이 바뀐다고 쓴다(Zhang 외 2026c 인용). 모델은 제어 대상, 하네스는 제어기다.

본론

1. 하네스란 무엇인가 — 정의와 경계 (§1, §2.4)

정의. §1은 에이전트가 과제를 해내려면 해야 하는 일을 일곱 가지로 늘어놓고, 그 일을 제공하는 둘레의 운영 기반을 에이전트 하네스라 부른다.

An agent must receive relevant context, invoke tools through stable interfaces, preserve state, recover from failures, expose its actions for inspection, verify outcomes, and operate within defined permissions. We refer to the surrounding operational infrastructure that provides these functions as the agent harness.

하네스 공학(harness engineering)은 이 장치들을 설계하고 통합해 모델의 능력이 믿을 만한 실행으로 이어지게 하는 일이다.

경계. §2.4는 정의를 일부러 좁힌다. 「LLM 둘레의 모든 소프트웨어」가 아니라 "모델 호출을 경계가 있고(bounded), 상태를 가지며(stateful), 도구로 매개되는(tool-mediated) 과제 실행으로 바꾸는 공학적 감싸개"다. 경계는 제품 범주가 아니라 기능으로 긋는다. 상태를 가진 조율·도구 라우팅·정책 훅·추적 수집 같은 재사용 메커니즘을 드러내는 프레임워크는 범위 안이고, 얇은 API 감싸개·프롬프트 모음·정적 데이터셋·범용 컨테이너·벡터 DB·APM 대시보드·콘텐츠 필터는 에이전트 실행에 맞춰 개조되지 않았다면 범위 밖이다. 8회의 벡터 DB 검색기도 그 자체로는 하네스가 아니다.

세 질문. §1은 기존 연구가 답하기 어려웠던 질문 셋을 든다. 하네스는 어디서 시작해 어디서 끝나는가, 맞물리는 장치들을 어떻게 조직하는가, 설계 공간의 어디가 잘 덮여 있는가. 학계는 계획·기억·도구·검증·안전을 따로 연구하고 현업은 컨텍스트 파이프라인·도구 계약·재시도·권한 경계를 말해서, 같은 문제가 다른 이름으로 불린다는 것이 서베이의 진단이다.

기여의 번호는 문서 안에서 두 가지로 매겨진다. 초록은 ① 하네스를 독립된 공학 대상으로 세움 ② ETCLOVG ③ 생태계 지도 순이고, §1의 목록은 ① ETCLOVG ② 생태계 지도 ③ 층을 가로지르는 종합 순이다. 본문의 「Claim 1·2·3」(§3 첫머리, §10)은 초록의 순서를 따른다. 발제에서 번호로 말할 때는 어느 목록인지 밝힌다.

2. 연표 — 루프 하나에서 기반 시설로 (§2.1, Figure 2)

§2.1은 에이전트 시스템의 변화를 구조와 기반의 변화로 세 시기에 나눈다.

• 추론–행동 루프(2022). ReAct가 추론·행동·관찰을 번갈아 쓰는 루프를 대중화했다. 초기 기반은 while 루프 하나, 프롬프트 템플릿 하나, 작은 도구 배정표였다. AutoGPT와 BabyAGI가 작업 큐·기억·넓은 도구 사용으로 패턴을 넓히자 명시적 종료·컨텍스트 통제·상태 복구·감시의 필요가 드러났다.
• 도구 통합과 다중 에이전트 조율(2023). Gorilla·ToolLLM·Toolformer가 도구 사용을 학습하거나 끌어낼 수 있는 능력으로 보였고, CAMEL·ChatDev·MetaGPT가 조율 패턴을 내놓았다. SWE-bench·AgentBench·WebArena·GAIA로 평가 기반이 자랐고, MCP와 A2A가 표준 인터페이스를 밀었다.
• 하네스로의 전환(2025). 신뢰성을 둘레의 설계에 귀속하는 보고가 늘었다. OpenAI가 Codex식 작업에 「harness engineering」이라는 말을 썼고, Meta-Harness가 자동 최적화로 손으로 만든 스캐폴드를 앞섰으며, 앞의 52.8%→66.5% 보고가 나왔다. 서베이는 하네스 설계가 "고정된 구현 세부가 아니라 측정 가능한 실험 요인"이 되었다고 정리한다. 소제목은 2025인데 본문은 「2026년 초에 이르러」로 시작하고 예도 모두 2026년 것이다.

Figure 2 읽기. 대표 시스템 51개를 시간축 위에 놓고 ETCLOVG 일곱 층의 색으로 칠한 그림이다. 확대해 세면 다음과 같다.

Harness 서베이 Figure 2의 항목을 엮은이가 층별로 세었다.

연도별로는 2022년 1개, 2023년 18개, 2024년 12개, 2025년 16개, 2026년 4개다. G로 칠한 다섯 항목은 모두 2025년 1월 이후다. §2.9가 거버넌스가 늦게 성숙했다고 쓴 것과 맞는 그림이지만, 51개는 저자들이 고른 「대표」이지 표본이 아니므로 추세로 읽지는 않는다. 권한을 다루는 「Beyond Permission Prompts」(Oct 2025)가 G가 아니라 E로 칠해져 있는 것은 권한이 G와 E 사이에서 경계가 흐려지는 자리로 읽을 수도 있다.

3. 세 공학 — 프롬프트·컨텍스트·하네스 (§2.2, Figure 1)

§2.2는 LLM 시스템 둘레의 공학을 넓어지는 범위 셋으로 나눈다.

Harness 서베이 §2.2의 세 문단을 표로 옮겼다.

Figure 1은 세 칸을 왼쪽에서 오른쪽으로 놓고 「Optimize the model input」(지시와 역할, 예시와 형식, 프롬프트 반복), 「Optimize what the model sees」(검색과 적재, 기억과 상태, 압축과 거르기), 「Optimize how the model runs」(도구와 환경, 조율, 검증과 평가, 거버넌스와 보안)라는 부제와 항목을 단다. §2.2의 마지막 문단은 하네스 공학이 두 공학을 대체하지 않고 더 넓은 운영 과정에 통합한다고 적는다. 캡션은 이 세 단계 구분이 2026년 2월의 한 블로그 글(MadPlay 2026)에서 일찍 명시되었고 비슷한 정식화가 뒤따랐다(OpenAI 2026c, Meng 외 2026)고 적는다. 이 장의 보조 자료 S22가 OpenAI 2026c다.

범위인가, 시대인가. Figure 1 캡션은 세 공학을 「점점 넓어지는 범위」로 비교하는데, §13은 같은 것을 「세 국면의 공학적 진화(three-phase engineering evolution)」라고 부른다. 국면이라는 말만 보면 앞의 것이 지나간 시대처럼 들리지만, §2.2 마지막 문단은 하네스 공학이 앞의 둘을 대체하지 않고 통합한다고 적는다(오해 2). 그러니 두 서술은 양자택일이 아니다. 시기마다 공학의 강조점이 바깥 범위로 옮겨 갔고, 앞의 공학은 지금도 안쪽 동심원으로 남아 있다고 읽으면 둘이 맞는다.

4. ETCLOVG — 일곱 층 (§2.3, Figure 3, Figure 4)

§2.3의 이름은 Execution, Tooling, Context, Lifecycle, Observability, Verification, Governance다(초록과 §1은 Execution environment, Tool interface, Context management, Lifecycle/Orchestration, …으로 조금 길게 부른다). 앞의 넷은 구조적 핵심(structural core), 뒤의 셋은 그것을 둘러싼 통제면(control plane)이다.

Harness 서베이 Figure 3의 배치와 각 상자의 하위 항목을 옮겼다. O는 네 기둥으로 내려가고, V는 네 기둥으로 올라가며, G는 전체 테두리다. 그림은 엮은이가 그렸다.

일곱 층이 맡는 일과 이 책에서 그 층을 다시 만나는 곳을 한 표로 모으면 이렇다.

§2.3의 정의를 옮겼다. 층마다의 하위 범주는 Figure 4에 있다. 「다시 만나는 곳」은 이 책의 배치이고, 20회는 일곱 층 전부를 LLM Wiki의 부품에 대응시킨다.

선행 분류와 다른 세 가지 선택. 서베이는 하나의 하네스를 실행 루프·도구 등록부·컨텍스트 관리자·상태 저장소·수명주기 훅·평가 인터페이스의 여섯 구성요소로 기술한 Meng 외(2026)와 자기 분류를 대비한다. ① 최소 실행 역할이 아니라 공학적 표면(engineering surface)으로 나눈다. 완성형 하네스·규약·샌드박스·기억 시스템·관측 도구·평가 프레임워크가 섞인 생태계를 지도에 올리기 위해서다. ② 관측(O)을 독립 층으로 올린다. 현업에 전용 도구(Langfuse, Arize Phoenix, OpenLLMetry)와 고유한 실무(OpenTelemetry 계측, 비용 귀속)가 있다는 것이 이유다. ③ 거버넌스(G)를 일급 층으로 두고 모델 수준의 방어, 시스템 수준의 권한·게이트웨이, 조직 수준의 감사·사람 승인을 모두 담는다.

그 결과 상태 관리는 상태를 읽고 쓰는 실행 흐름과 함께 L에, 수명주기 훅과 정책 집행은 G에 들어간다. 그림의 C 상자에도 「세션 상태」가 있어 헷갈리기 쉽다. 갈래는 이렇다. C는 각 단계에서 모델이 무엇을 보는가, 곧 상태의 내용을 골라 넣는 일이다. L의 상태 관리는 실행 중에 상태를 만들고 갱신하고 재개하는 제어 흐름이다(§1은 "where state is created, updated, resumed, and consumed during execution"이라 쓰고, §6.1은 남은 하위 작업·도구 결과·세션 지속·체크포인트 재개를 든다). 긴 대화를 요약해 다음 호출에 넣는 것은 C, 중단된 작업을 체크포인트에서 다시 시작하는 것은 L이다. Claude Code를 써 본 독자에게 익숙한 훅도 이 분류를 적용하면 G의 부품이 된다.

5. 코퍼스 — 170여 개를 어떻게 모았나 (§2.4–2.9, 부록 A)

수집(§2.5). 저자들은 코퍼스를 공개 문서가 있는 하네스 산출물의 체계적 지도화(systematic mapping)로 만들었고, 체계적 문헌고찰의 보고 규율(PRISMA 2020, Page 외 2021)을 따라 원천·검색 전략·선별 과정을 드러냈다고 적는다. 후보는 네 갈래에서 왔다. 선행 서베이와 벤치마크 논문, 재현 가능하게 돌린 GitHub 검색, 큐레이션 목록과 패키지 저장소, 기업 엔지니어링 블로그와 릴리스 노트. 검색어는 agent harness, coding agent, MCP server, agent observability 같은 조합이고, 메타데이터는 2026-05-08에 고정했다. Figure 5는 이를 후보 수집(중복 제거까지) → 포함 기준 → 경계 점검과 층 배정의 세 단계로 그린다. 눈여겨볼 것은 이 흐름도에 단계별 건수가 없다는 점이다. PRISMA 흐름도의 핵심은 각 단계에서 몇 건이 들어오고 몇 건이 왜 빠졌는지를 적는 것이다.

포함과 제외(§2.6). 공개 문서가 있고, 구체적인 하네스 수준 메커니즘을 구현하거나 명세하며, 층 하나 이상을 배정할 근거가 있으면 넣었다. 챗봇 데모, 프롬프트 모음, 얇은 클라이언트 감싸개, 런타임 없는 데이터셋·리더보드, 공개 문서로 동작을 확인할 수 없는 제품 페이지는 뺐다. 경계 사례는 이름표가 아니라 메커니즘으로 갈랐다.

코딩(§2.7). 공개 산출물(README, 문서, 논문, 예제, 릴리스 노트)을 근거로 다중 표지(multi-label) 코딩을 했고, 가장 중심이 되는 메커니즘을 주 층(primary layer)으로 표시했다. 그리고 이 문장이 있다.

The current snapshot uses a single-primary-coder protocol with author audit rather than a formal multi-coder agreement study, so we do not report Cohen's kappa or a comparable inter-annotator statistic.

코더 한 명이 코딩하고 저자들이 감수했으며, 코더 간 일치도는 재지 않았다. 공개 근거가 분명하지 않으면 층 배정을 보류했다.

한계(§2.8). 코퍼스는 전수 조사가 아니라 「눈에 보이는 생태계의 지도」다(치우침은 8절). 어떤 층에 없다는 것은 「구현되지 않았다」가 아니라 「공개적으로 확인되지 않았다」는 뜻이다.

집계(§2.9). 본문의 생태계 판단은 모두 정성적이다. 실행 환경·도구 인터페이스·수명주기 조율·검증이 가장 촘촘하고, 컨텍스트와 기억은 큰 프레임워크 안에 묻혀 있으며, 관측과 거버넌스는 오픈소스에서 얇다. 본문에는 이 판단을 받치는 숫자가 없다.

숫자는 부록에 있다. 부록 A는 2026-05-08 스냅샷의 규모를 공개 항목 171개, GitHub 항목 146개, 프로젝트 범주에 든 GitHub 항목 142개, 깨진 URL 0개로 적고, 읽을거리·생태계 지도·목록 저장소·자습서류를 뺀 Table S1에 산출물마다 주 층 하나와 GitHub 별 수를 싣는다.

항목 수는 Harness 서베이 부록 A Table S1의 범주 머리줄(「20 entries; primary layer: E」 등)에서 옮겼고, 표의 행을 직접 세어 같은 수임을 확인했다. 비율·중앙값·「별 1만 이상」 개수는 표에 인쇄된 별 수로 엮은이가 계산했다.

두 가지가 눈에 띈다. 첫째, 「170여 개」와 Table S1의 138개가 다르다. 빠진 33개가 어느 범주에서 몇 개인지는 적혀 있지 않다. 둘째, L이 셋 중 하나를 넘는다. L 범주의 이름이 「Harness Architecture & Orchestration」인 데서 보이듯, Claude Code·OpenCode·Codex CLI처럼 여러 층을 갖춘 완성형 하네스가 주 층 하나를 고르라면 L로 들어간 결과로 읽을 수 있다. 별 수 상위 열 개 가운데 여섯이 L이다. §6의 Table 2도 별 수를 싣지만 기준일(2026-05-12)이 달라 값이 다르니 섞어 쓰지 않는다.

6. 층 사이 — 삼중고, 능력과 통제, 결합 (§10, §11)

§10의 진단은 현업의 실패 상당수가 표면들 사이의 경계면에서 생긴다는 것이다. 실행 환경(E)은 현실적인 조율 전략(L)을 제약하고, 컨텍스트 관리(C)는 평가의 재현성(V)에 영향을 주며, 거버넌스(G)는 모든 층에 신원·권한·감사 제약을 건다. 그래서 하네스 설계는 「떼어 낼 수 있는 부품의 점검표가 아니라 의존 구조로」 읽어야 한다. 경계에 반복해 나타나는 빈틈으로는 도구 간 상호운용성, 비용 귀속, 실패 복구, 여러 저장소에 걸친 조율, 사람–에이전트 인계를 든다.

초록과 §1은 층을 가로지르는 문제를 셋으로 소개하는데, §11 첫머리는 「다섯 가지 시스템 수준 효과」라 쓰고 11.4(프레임워크에서 플랫폼으로)와 11.5(연구 의제)를 더한다. 뒤의 둘은 동향과 의제에 가깝다. 셋을 중심으로 읽는다.

Harness 서베이 §11.1–11.3을 표로 옮겼다.

11.1의 결론은 품질을 하나의 스칼라 목표로 다룰 수 없다는 것이다. 표본 크기·측정 정밀도·조사 비용 사이의 저울질과 같은 그림이다.

11.3이 이 장의 질문에 가장 직접 답한다. 하네스 변경은 시스템 변경으로 시험해야 한다. 부품 하나가 따로 보면 이로워도 나머지 제어 루프와 합쳐지면 전체를 나쁘게 할 수 있다. 그래서 둘레의 제어기를 명시하지 않고는 점수를 모델에 깨끗이 귀속할 수 없다. §8.1은 이렇게 쓴다. "A harness-aware evaluation should treat the reported score as a property of the model–harness pair, not of the model alone." 평가는 모델끼리 하네스를 고정하거나, 하네스를 명시적인 실험 요인으로 바꿔야 한다.

모델이 좋아지면(§12.5). 래퍼·초기화·검증기·기억 규칙·권한 관문 하나하나가 「모델이 혼자 믿을 만하게 하지 못하는 것」에 대한 가정이다. 모델이 바뀌면 개입의 효과를 다시 추정해야 한다. 서베이는 모델 × 하네스 요인 실험이 어떤 개입이 모든 모델을 돕는지, 특정 계열만 돕는지, 순위를 뒤집는지를 드러낼 수 있다고 쓰고(Zhang 외 2026c 인용), 한 모델에 쓸모 있던 컨텍스트 초기화가 더 강한 모델에서는 필요 없어져 걷어 내니 품질 손실 없이 비용이 줄었다는 Anthropic의 보고를 전한다. 좁은 벤치마크에 맞춰 스스로를 최적화한 하네스는 취약해질 수 있다는 경고도 단다.

결론의 강도(§13). §13은 「모델 능력만이 아니라 기반의 품질이 실제 에이전트 신뢰성의 천장을 정한다」는 「binding-constraint thesis」로 서베이를 요약한다. §1의 신중한 문장보다 강한 표현이다. 「not … alone」이라는 단서가 있어 모순은 아니지만, 「천장을 정한다」를 받칠 비교 실험은 서베이 안에 없다.

7. 통계의 눈으로 다시 읽기

이 서베이에는 신뢰구간을 붙일 성적표가 없다. 그 대신 코딩 결과가 부록에 인쇄되어 있다(Table S1의 138행). 그래서 이 회차는 재분석형으로 쓴다. 재료는 층별 항목 수와 별 수, 그리고 「같은 모델, 다른 하네스」를 통제해 잰 SWE-agent의 표다.

코더 간 일치도는 없다. 코더는 한 명이고 카파는 보고되지 않았다(§2.7). 층 배정이라는 측정의 신뢰도가 알려져 있지 않다는 뜻이다. 주 층 하나를 고르는 일은 경계 사례, 특히 완성형 하네스를 L에 넣을지에서 갈리기 쉽다.

분포는 L 하나가 만든다. 일곱 층이 고르게 나뉜다는 귀무가설로 적합도 검정을 하면 ${\chi }^2=49.5$ (자유도 6), $p\approx 6\times {10}^{-9}$ 다. 고르지 않다. 그런데 L을 빼고 나머지 여섯 층(91개)만으로 같은 검정을 하면 ${\chi }^2=7.04$ (자유도 5), $p=0.22$ 다. 항목이 층에 독립·균등하게 떨어진다는 다항모형을 가정한 참고 계산이고, 코퍼스는 확률 표본이 아니므로 이 $p$ 를 모집단에 대한 추론으로 읽지는 않는다(실습 1(c)). 그 가정 아래에서 여섯 층의 차이는 균등 배정에서 나올 만한 흔들림을 넘지 않는다는 정도로만 말할 수 있다. §2.9는 E·T·L·V가 가장 촘촘하고 O·G가 얇다고 쓰는데, 주 층 기준으로 T는 12개로 일곱 층 가운데 여섯째이고 O(15)와 G(14)보다 적다. §2.9의 판단은 다중 표지로 매긴 보조 층까지 포함한 「덮임」을 말하는 것일 수 있지만, 보조 층의 배정은 어디에도 인쇄되어 있지 않다. 두 서술을 어떻게 맞춰 읽을지는 열려 있다.

별은 더 치우쳐 있다. 138개의 별 수 합 약 225만 가운데 56.3%가 L에 있다. L의 중앙값은 13.9k, 나머지 91개는 4.0k다. 층별 분포가 같다는 귀무가설의 크러스컬–월리스 검정은 $H=29.2$ (자유도 6), $p\approx 5.6\times {10}^{-5}$ 다. 관심은 완성형 하네스에 쏠리고, V와 E의 부품은 중앙값 1.8k로 가장 덜 주목받는다. 별 수는 사용량이 아니라 관심의 대리 지표이고, 하루치 스냅샷이다.

실습 1 — Table S1의 층별 분포를 어디까지 믿을 수 있나. (a) L(47/138)과 T(12/138) 비율의 95% 윌슨 신뢰구간과, 일곱 비율의 굿먼 동시 신뢰구간을 구하라. 굿먼 구간은 윌슨 구간 공식에서 $z^2$ 자리에 $A={\chi }_{1,1-0.05/7}^2\approx 7.24$ (범주 7개에 가족오류율 5%를 나눈 임계값, $\sqrt{A}\approx 2.69$)를 넣은 것이다. 곧 $n_i$ 개가 든 범주의 구간은 $\{A+2n_i\pm \sqrt{A[A+4n_i(n-n_i)/n]}\}/\{2(n+A)\}$ 다. (b) 위 두 적합도 검정을 재현하라. (c) 이 구간은 어떤 모집단에 대한 것인가? §2.5와 §2.8을 근거로 답하라. (d) 경계 사례 열 개가 L과 다른 층 사이를 오갔다면 결론은 어떻게 바뀌는가? 다음 판에서 무엇을 보고하면 이 질문에 답할 수 있는가?

실습 2 — 같은 모델, 다른 하네스: 차이는 얼마나 커야 보이나. SWE-agent 논문(Yang 외 2024)은 모델을 고정하고 인터페이스만 바꿔 SWE-bench Lite 300문항에서 성적을 쟀다(Table 1, Table 3. 「곁가지」에 전재했다). (a) Shell-only 11.00%와 SWE-agent 18.00%를 건수로 바꿔 독립 표본처럼 비교하라. (b) 문항별 결과가 공개되지 않았을 때, 정확 맥니마 검정의 $p$ 값이 놓일 수 있는 범위는? (c) Table 3의 절제 여덟 개를 기본 구성과 각각 비교하면 몇 개가 다중 비교를 견디는가? (d) §1이 인용한 52.8% → 66.5%를 유의수준 5%·검정력 80%로 잡아내려면 하네스마다 과제가 몇 개 필요한가? 대응 설계라면?

8. 논문이 스스로 밝힌 한계

• 증거가 코딩 에이전트에 몰려 있다. 그 증거가 모든 상황에서 하네스가 더 중요함을 보이지는 않는다(§1).
• 코퍼스의 치우침. 영어·GitHub·오픈소스·코딩 에이전트 쪽으로 치우쳤고 상용 시스템은 과소 대표된다(§2.8). 결론도 비공개 시스템과 코딩 밖으로 넓히는 것을 과제로 든다(§13).
• 코더 간 일치도 없음. 코더 한 명과 저자 감수로 코딩했다(§2.7).
• 분류는 기술적이다. 설계 결정을 이끄는 규범적 틀로 바꾸는 것은 다음 단계다(§13).
• 풀리지 않은 문제. 긴 상호작용에서 행동이 점점 나빠지는 컨텍스트 표류(context drift)는 C층의 가장 어려운 열린 문제이고(§5.7), 스스로를 최적화하는 하네스는 벤치마크 과적합의 위험이 있다(§12.5).

서베이가 밝히지 않은 것도 둘 적어 둔다. 하나는 이 서베이가 동료심사를 거치지 않은 preprint이고, 하네스 효과의 수치를 스스로 재지 않았다는 점이다. 다른 하나는 하네스를 실험 요인으로 다뤄야 한다는 주장의 근거로 §5.7·§8.1·§11.3·§12.5에서 인용하는 Zhang 외(2026c)의 저자 여섯 명이 모두 이 서베이의 저자 명단에 있다는 점이다. 자기 인용은 흔하지만, 그 주장을 독립적으로 확인된 결과로 읽기 전에 짚어 둘 만하다. 이 지적은 이 책의 읽기다.

곁가지 — 주제 논문과 다른 점

Effective harnesses for long-running agents (Justin Young 2025, Anthropic). 서베이가 「Anthropic 2025e」로 여러 번 인용하는 글이다. 문제는 컨텍스트 창 여러 개에 걸친 장기 작업이다. 새 세션은 앞 세션의 기억 없이 시작하고, 압축(compaction)만으로는 모자랐다. 실패는 한 번에 다 하려다 도중에 컨텍스트가 바닥나는 것과, 나중 세션이 일이 끝났다고 선언해 버리는 것이었다. 처방은 첫 세션의 초기화 에이전트가 init.sh, 진행 기록 파일, 첫 git 커밋, 200개가 넘는 기능을 모두 「failing」으로 표시한 JSON 목록을 만들고, 이후의 코딩 에이전트가 매 세션 기능 하나만 구현해 브라우저로 끝에서 끝까지 시험한 뒤 커밋과 기록을 남기는 것이다. 각주는 두 「에이전트」가 첫 사용자 프롬프트만 다르고 하네스는 같다고 밝힌다. 서베이와 다른 점은 이것이 지도가 아니라 한 회사의 설계 사례이고, 효과를 수치 없이 말로만 전한다는 것이다. 진행 파일은 C, git은 L, 기능 목록과 브라우저 시험은 V, init.sh 는 E에 놓인다(이 대응은 이 책의 읽기다).

SWE-agent의 에이전트–컴퓨터 인터페이스 절제 (Yang 외 2024 · 이 책 14회). 서베이가 근거로 드는 보고들은 대부분 비교 조건이 공개되지 않은 블로그다. SWE-agent는 모델을 고정하고 인터페이스 부품 하나씩을 바꿔 SWE-bench Lite 300문항에서 쟀다. 서베이 부록 B의 Table S2도 SWE-agent의 핵심 기여를 에이전트–컴퓨터 인터페이스(ACI)로 보고, 명령·관찰·편집·시험·실행 백엔드가 「측정되는 하네스의 일부」가 된다고 쓴다.

SWE-agent 논문 Table 3. SWE-bench Lite(300문항) 해결률이다. 「기본」은 원문이 아이콘으로 표시한 기본 구성, 괄호는 원문의 하락폭이다. 본문 §5.1은 이 절제를 「SWE-agent w/ GPT-4」 구성이라 쓰고, Table 1은 같은 18.00%를 「GPT-4 Turbo」로 적는다.

같은 논문 Table 1에서 같은 모델(GPT-4 Turbo)로 Shell-only 에이전트는 11.00%, SWE-agent는 18.00%를 냈고, 논문은 이를 ACI 덕분의 64% 상대 향상이라고 쓴다. 반복 검색이 검색 명령이 없을 때보다 나쁜 결과(12.0 대 15.7)는 결과를 하나하나 다 넘겨 보다가 예산을 소진한 탓으로, 사람용 인터페이스가 에이전트에게 맞지 않을 수 있음을 보여 준다. 칸들의 통계적 단단함은 7절 실습 2에서 계산했다. 1회의 L21도 HCI에 들이는 만큼의 노력을 ACI에 들이라고 권한다.

Harness engineering: leveraging Codex in an agent-first world (Ryan Lopopolo 2026, OpenAI · 원문 · 한국어판). 서베이가 「OpenAI 2026c」로 §1·§2·§6.4·§12.5에 걸쳐 인용하는 글이다. 사람이 코드를 한 줄도 직접 쓰지 않고 Codex만으로 내부 베타 제품을 만든 팀의 다섯 달 보고다. 2025년 8월 말 빈 저장소에서 시작해 약 100만 줄, 병합된 PR 약 1,500건에 이르렀고, 처음 세 명이던 엔지니어 한 사람이 하루 평균 PR 3.5건을 냈다. 손으로 짰을 때의 10분의 1 시간이라는 것은 저자들의 추정이다. 사람의 일은 코드를 쓰는 것에서 환경을 설계하고 의도를 명세하고 피드백 고리를 만드는 것으로 옮겨 갔다고 쓴다.

장치는 서베이의 층에 거의 다 걸린다(대응은 이 책의 읽기다). 워크트리마다 앱을 띄우고 로그·지표·트레이스를 작업마다 일회용 관측 스택으로 붙였다(E·O). Chrome DevTools Protocol과 DOM 스냅샷·스크린샷 스킬로 에이전트가 화면을 직접 다룬다(T). 약 100줄짜리 AGENTS.md 를 백과사전이 아니라 목차로 두고, docs/ 를 기록 체계(system of record)로 삼아 필요한 만큼만 드러낸다(C). 실행 계획은 진행·결정 기록과 함께 저장소에 커밋한다(L). 계층 간 의존 방향은 맞춤 린터와 구조 시험이 기계적으로 막고, 린트 오류 메시지에 고치는 법을 적어 에이전트의 컨텍스트에 넣는다(V·G). 문서를 훑는 「doc-gardening」 에이전트와 「golden principles」 위반을 찾는 배경 작업이 정리 PR을 연다(V·L).

서베이와 갈리는 곳은 셋이다. 첫째, 이름이다. 「harness engineering」은 제목에만 나오고 본문에서 정의되지 않는다. 프롬프트·컨텍스트·하네스 공학의 세 단계 구분도, 「task runner」라는 말도 본문에는 없다. §2.1이 OpenAI가 이 용어를 채택했다고 쓴 것은 제목으로 뒷받침된다. 그러나 Figure 1 캡션과 §2.2가 세 단계 구분을 이 글에 기대어 말하는 것은 내용을 서베이의 틀로 읽은 것이다. 내용으로는 프롬프트 하나로 버그 재현부터 수정·시연 영상·PR·병합까지 이어 가는 대목이 §6.4의 task runner와 잘 맞는다. 둘째, §12.5다. 서베이는 OpenAI가 하네스 공학을 단순히 비계를 더 얹는 일이 아니라 사람의 주의·저장소 상태·에이전트 실행을 맞추는 일로 본다고 쓴다(OpenAI 2026c;d). 사람의 시간과 주의가 유일하게 희소한 자원이라는 말, 저장소를 기록 체계로 삼는다는 말은 본문에 있다. 그러나 비계와 맞세우는 대조는 이 글에 없고, 결론은 오히려 규율이 「코드보다 비계에서 드러난다(the discipline shows up more in the scaffolding rather than the code)」고 쓴다. 함께 인용된 2026d에도 그 대조는 없다. 2026d는 Codex CLI의 에이전트 루프를 풀어 쓴 Michael Bolin의 글(「Unrolling the Codex agent loop」, 2026-01-23)로, 에이전트를 「하네스」라고 부르며 프롬프트를 항목 목록으로 조립하는 방식, 접두부가 정확히 같아야 맞는 프롬프트 캐시, 상태를 남기지 않는 요청, 대화 압축을 설명한다. 비계나 사람의 주의, 모델이 좋아질 때의 일은 다루지 않는다. §12.5의 대조는 두 글을 묶어 읽은 서베이의 정리로 보아야 한다. 셋째, 근거의 성격이다. 수치는 한 팀의 자기 보고이고 비교 조건이 없다. 글 스스로도 이 자율성이 이 저장소의 구조와 도구에 크게 기대므로 비슷한 투자 없이 일반화된다고 가정하지 말라고 하고, 모델이 더 좋아지면 이 체계가 어떻게 변할지 모른다고 적는다. 앞의 SWE-agent 절제가 하네스의 효과를 통제된 비교로 보였다면, 이 글은 같은 주장을 운영 경험으로 뒷받침한다. 마지막 유보는 §12.5의 「모델이 좋아지면 하네스를 다시 추정하라」와 같은 물음이다.

Agent Harness for Large Language Model Agents: A Survey (Qianyu Meng 외 2026, Preprints). 서베이가 자기 분류와 직접 견주는 선행 정리다(Preprints 202604.0428. 서베이 참고문헌의 저자 9인은 v1·v2(2026-04-07·09)와 맞고, 2026-04-28의 v3는 저자가 11인이다). 이것이 하네스 하나를 여섯 구성요소로 기술한 해부도라면, Harness 서베이는 수많은 프로젝트를 일곱 칸에 나누는 지도다(본론 4절). 비슷한 이름의 다른 서베이(Guo 외, 「From Question Answering to Task Completion: A Survey on Agent System and Harness Design」)도 있으니 검색할 때 서지를 섞지 않는다.

Stop Comparing LLM Agents Without Disclosing the Harness (Yunbei Zhang 외 2026 · 이 책 18회). 서베이가 「Zhang 외 2026c」로 인용하는 입장 논문 preprint다. 서베이가 전하는 내용은 점수가 모델–하네스 쌍의 성질이라는 것(§8.1), 하네스가 닫힌 고리의 제어기 $C_H$ 라는 것(§11.3), 모델 × 하네스 요인 실험이 순위의 역전을 드러낼 수 있다는 것(§12.5)이다. 서베이가 이 생각을 생태계 지도의 한 결론으로 놓는다면, 이 논문은 평가 관행에 대한 요구로 세운다. 하네스를 밝히지 않은 비교의 문제는 18회 곁가지에서 다시 다룬다.

Building effective agents (Erik S.·Barry Zhang 2024, Anthropic · 이 책 1회). 1회는 워크플로(미리 정한 코드 경로로 LLM과 도구를 조율한다)와 에이전트(LLM이 자기 과정과 도구 사용을 동적으로 정한다)를 가르고, 가장 단순한 해법에서 시작하라고 권했다. 1회가 무엇을 만들지를 묻는다면 이 회차는 그것을 무엇으로 감쌀지를 묻는다. 1회의 절약 원칙은 서베이 §12.5의 「모델이 좋아지면 하네스를 다시 추정하라」는 요구와 맞닿는다.

서베이로 돌아가기

이 회차는 Harness 서베이 자체가 주제이므로, 이 절은 2회의 Agentic Reasoning 서베이 개정판(이하 AR 개정판)과 맞대어 읽는다. 같은 해에 같은 대상을 정리했는데 거의 겹치지 않는다.

머리와 몸 — 두 서베이가 묻는 질문

AR 개정판은 모든 방법에 "what does it optimize?"를 묻고, 추론 흔적 $z$ 의 문맥 내 탐색, 시스템 상태 $S$ 의 갱신, 모수 $\theta$ 의 사후 학습으로 나눈 뒤 환경의 동적성(기초·자기 진화·집단)과 엇갈려 3 × 3 격자를 만든다(§1, §2.2, Table 3). 에이전트의 머리를 보는 서베이다. Harness 서베이는 모델 바깥의 어느 표면이 무엇을 맡는지를 묻는다. 몸과 울타리다.

AR 개정판은 「harness」를 개념어로 쓰지 않는다. 146쪽을 검색하면 이 낱말은 참고문헌 제목 세 곳(「Harnessing …」)에만 나온다. 거꾸로 Harness 서베이에는 $z$·$S$·$\theta$ 같은 형식화가 없다. 같은 에이전트를 한쪽은 확률 모형으로, 다른 쪽은 시스템 구성도로 그린다.

목차 단위 대조

두 서베이의 목차를 엮은이가 맞대었다. 「없음」은 그 주제를 다루는 절이 목차에 없다는 뜻이다.

AR 개정판에 절이 없는 셋 — 컨텍스트 관리, 실행 환경, 관측 — 이 바로 Harness 서베이가 독립 층으로 세운 것들이다.

형식화에 놓아 보기 — 하네스는 튜플의 어디에 있나

AR 개정판 §2.2는 환경 $E=⟨X,O,A,T,\Omega ,R,\gamma ⟩$ 와 에이전트 $G=⟨Z,M,{\pi }_{\text{reason}},{\pi }_{\text{exec}},U⟩$ 를 일부러 나눈다. 하네스는 어디에 들어가는가. 아래 대응은 이 책의 읽기이고, 두 서베이 어느 쪽도 이렇게 대응시키지 않았다.

엮은이의 대응. 서베이의 주장이 아니다.

2회에서 AR 개정판은 「$Z$ 나 $M$ 이 다른 두 에이전트는 같은 $E$ 를 마주한다」고 썼다. 위처럼 놓으면 하네스 변경이 도구 권한이나 실행 환경까지 건드릴 때는 $M$ 만이 아니라 $A$ 와 $T$ 도 바뀐다. 그런 경우 같은 모델($\theta$ 고정)이라도 사실상 다른 환경을 마주한다. 반대로 컨텍스트 정책(C)이나 관측 장치(O)만 바꾸는 하네스 변경은 같은 $E$ 안에서 $M$ 이나 측정 쪽만 달라진 경우로 놓인다. 「같은 모델인데 왜 성능이 다른가」에 대한 형식적 답 한 가지다.

AR 개정판의 $S$ 는 기억·도구 라이브러리·프롬프트·통신 위상·에이전트 자신의 코드로, 하네스의 부품 목록과 많이 겹친다. 차이는 $S$ 가 에피소드를 거치며 갱신되는 것(식 5, $S_{k+1}\leftarrow U(S_k,{\tau }_k,F_k)$)인 데 비해 하네스는 대개 사람이 설계해 고정해 둔 것이라는 점이다. 하네스를 자동으로 최적화하는 Meta-Harness나, 실패한 궤적에서 하네스 결함을 고치는 19회의 HarnessFix는 AR 개정판의 말로 $S$ 모드의 사례가 된다.

방법론 대조 — 두 서베이는 자기 코퍼스를 어떻게 밝혔나

AR 개정판 §1.1과 Harness 서베이 §2.5–2.8·부록 A를 엮은이가 맞대었다.

PRISMA를 대하는 태도가 대조적이다. AR 개정판은 따르지 않았다고 말하고 건수를 본문에 싣는다. Harness 서베이는 따랐다고 말하지만 흐름도에 건수가 없다. 밝힌 빈틈은 닮았다. 공개되지 않은 산업 시스템은 어느 지도에도 잘 안 잡힌다.

설계 지침과 거버넌스

AR 개정판의 Table 5는 배치 조건마다 어느 모드를 고를지 권한다. 학습 예산이 없는 일회성 과제에는 $z$, 고정된 영역의 반복 과제에는 $S$, 과제 분포를 알고 서빙 지연이 중요하면 $\theta$ 다. Harness 서베이 §11은 처방표가 아니라 층 사이의 상충을 적는다. 하나는 「어느 쪽을 고를까」, 다른 하나는 「무엇을 고르든 무엇을 감수하나」다.

거버넌스에서는 두 서베이가 같은 구조에 이른다. AR 개정판 §8.7은 거버넌스를 모델 수준(정렬), 에이전트 수준(도구 권한·샌드박스·행동 공간 제한·사람 확인), 생태계 수준(주체가 다른 에이전트 사이의 책임)으로 나누고, 에이전트 수준의 공학적 통제가 배치 범위에 비해 「명세가 부족하다」고 쓴다. Harness 서베이의 G층은 모델 수준 방어, 시스템 수준 권한·게이트웨이, 조직 수준 감사·사람 승인을 담는다. AR 개정판이 명세가 부족하다고 한 에이전트 수준이 Harness 서베이에서는 E와 G 두 층의 내용이 된다. AR 개정판 §8.7이 $S$ 의 모든 쓰기에 출처(provenance)를 요구하고 Harness 서베이 §12.2가 기억된 사실의 출처와 낡음 표시를 요구하는 것도 같다. 머리에서 출발한 서베이와 몸에서 출발한 서베이가 감사 가능성에서 만난다.

자주 하는 오해

오해 1. "하네스가 모델보다 중요하다." 서베이는 그렇게 주장하지 않는다. §1은 가장 강한 증거가 코딩 에이전트 벤치마크에서 나왔고 그것이 모든 상황에서 하네스가 더 중요함을 보이지는 않는다고 적는다. 결론의 「천장을 정한다」에도 「모델 능력만이 아니라」라는 단서가 붙어 있다. 영상 제목 「Why The Harness Matters More Than The Model」은 서베이의 문장이 아니다.

오해 2. "하네스 공학은 프롬프트·컨텍스트 공학을 대체한 다음 단계다." §2.2는 하네스 공학이 둘을 대체하지 않고 통합한다고 적는다. 프롬프트를 잘 쓰는 일은 하네스 안에서 여전히 필요하다.

오해 3. "ETCLOVG는 하네스를 만드는 순서이자 설계 지침이다." §13은 이 분류가 기술적(descriptive)이고 규범적 틀로 바꾸는 것은 다음 단계라고 적는다. 일곱 층은 있는 것을 나누는 칸이지 쌓아 올리는 공정이 아니다. 「무엇을 고를 것인가」에 더 가까운 표는 AR 개정판의 Table 5다.

오해 4. "170여 개 프로젝트의 층별 분포가 생태계의 모습이다." §2.8은 코퍼스를 눈에 보이는 생태계의 지도로 읽으라고 한다. Table S1은 138개에 주 층 하나씩만 매겼고 코더 간 일치도는 재지 않았다. L을 빼면 층 사이의 차이는 균등 배정을 가정한 참고 계산에서도 두드러지지 않는다(7절). 코퍼스가 확률 표본이 아니라는 점이 먼저다.

오해 5. "이 서베이는 하네스의 효과를 실험으로 보였다." 서베이는 실험을 하지 않았다. 하네스 효과의 수치는 블로그와 다른 연구의 보고를 옮긴 것이고 표본과 반복 횟수는 적혀 있지 않다. 통제된 비교의 예는 「곁가지」의 SWE-agent Table 3이다.

오해 6. "관측(O)과 검증(V)은 같은 일이다." §2.3은 둘을 따로 세운다. O는 신호를 잡고, V는 그것을 평가·실패 귀속·회귀 피드백으로 바꾼다. §12.3은 LangChain의 2026년 조사를 인용해 팀의 89%가 관측 도구를 쓰지만 오프라인 평가를 돌리는 팀은 52.4%라고 전하고, 이것을 에이전트가 무엇을 했는지는 보지만 맞았는지는 체계적으로 판단하지 않는 상태로 해석한다.

오해 7. "하네스는 코딩 에이전트 이야기다." 코딩 에이전트가 과대 대표된 것은 공개 흔적이 많아서다(§2.8). 결론은 코딩 밖으로 지도를 넓히는 것을 과제로 든다. 20회의 LLM Wiki는 코딩 밖에서 일곱 층을 다시 만나는 사례다.

토론 질문

1. 하네스를 통제 변수로. 두 모델을 비교한 적이 있다면 그때 프롬프트·도구·재시도 규칙·평가 스크립트를 고정했는가? 고정하지 않았다면 무엇을 모델의 차이로 볼 수 있었는가? §8.1의 두 선택지(하네스를 고정하거나 요인으로 바꾸거나) 가운데 여러분에게 현실적인 것은? 18회에서 답을 맞춰 본다.

2. 능력과 통제, 어디에 선을 긋나. 운영 DB 쓰기 권한을 개발자에게 어디까지 줄지 정하듯, 에이전트에게 파일 시스템·셸·외부 API 권한을 줄 때도 선을 그어야 한다. §11.2의 피해 반경을 줄이는 장치 가운데 무엇을 먼저 두고, 그 대가로 무엇을 포기하는가? 15회를 미리 떠올려 보자.

3. 모델이 좋아지면 하네스는 줄어야 하나. §12.5는 하네스의 각 장치가 「모델이 혼자 못 하는 것」에 대한 가정이라고 말한다. 1년 뒤 무엇을 걷어 낼 수 있을까? 걷어 내도 되는지는 어떤 실험으로 확인하겠는가? 19회와 20회에서 다시 묻는다.

영상

• 〔보조〕 「하네스 엔지니어링은 대체 무엇일까? | 현업이 알려주는 하네스 엔지니어링」 — 전현준의 현업 에이전트
• 〔보조〕 「하네스 엔지니어링 15분 만에 이해시켜드립니다 | 개념, 핵심 원칙, AI 에이전트」 — 이동훈의 루트AI
• 〔보조〕 「Why The Harness Matters More Than The Model | YC Paper Club」 — Y Combinator (패널 토론)

영상은 2026-10-04에 YouTube oEmbed로 제목과 채널을 확인했다. 본편 내용은 엮은이가 검증하지 않았다.

후속 공부

• 원문의 나머지. §3–§9는 각론 회차에서 읽는다(본론 4절의 표). §12의 열린 문제 다섯(실행 환경, 장기 상태 유지, 추적에서 실패 진단, 표준 인계, 모델이 좋아질 때의 하네스)은 19회와 20회를 준비하며 읽는다. 부록 B Table S2는 대표 구현 여섯 개가 덮는 층을 보여 준다(Claude Code는 E·T·C·L·G, SWE-agent는 E·T·L·V).
• 저장소. awesome-agent-harness 저장소. Hugging Face 쪽에는 2026년 10월 현재 서베이 PDF와 README만 있고 카탈로그 데이터는 없다. GitHub 목록은 2026-05-08 스냅샷(Table S1) 이후에도 계속 늘어나 370여 개가 되었으므로, 7절의 재분석을 거기서 다시 하려면 시점을 맞춰야 한다. 보조 층 배정이 공개되어 있는지 확인해 보는 것도 좋은 연습이다.
• 서베이에서 이어 읽기. AR 개정판 §1.1(코퍼스 구성), §2.4와 Table 5(설계 지침), §8.7(거버넌스의 세 수준).
• 이 책 안에서. 7회(T), 9회(C), 13회(L), 14회(E), 15회(G), 17회·18회(V), 19회(O), 20회(일곱 층 전부의 대응).

출처

핵심 읽기

• [L01] Junjie Li 외. 「Agent Harness Engineering: A Survey」. 2026, 미게재 preprint(OpenReview 아카이브 직접 업로드, 게시 2026-05-14·최종 수정 2026-07-18). 프로젝트 페이지 · PDF · OpenReview · 데이터 · 저장소. 인용한 곳: §1–2(Figure 1–5), §5.7, §6 Table 2, §8.1, §10–13, 부록 A Table S1, 부록 B Table S2. 프로젝트 페이지의 main.pdf(71쪽)와 대조했다.

서베이

• [L22] Tianxin Wei 외. 「Agentic Reasoning for Large Language Models: A Survey」. TMLR 심사 중(2026-09-15 액션 에디터 「Accept as is」, OpenReview 「Decision pending」). OpenReview 개정판 (CC BY 4.0) · arXiv 2601.12538(arXiv판 — 개정판과 절·표 번호가 다르다. v2는 초록 페이지 Comments 칸에 「Accepted by TMLR」가 붙었을 뿐 본문은 v1과 같다. 2026-10-05 대조). 인용한 곳: §1, §1.1, §2.2–2.4, Table 3, Table 5, §8.7, §9, 목차. 절·표 번호는 익명 심사본(2026-09-01 생성) 기준이다.

곁가지

• [S21] Justin Young (Anthropic). 「Effective harnesses for long-running agents」. Anthropic Engineering 블로그, 2025-11-26. 원문
• [S20] John Yang 외. 「SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering」. NeurIPS 2024. arXiv 2405.15793 · NeurIPS 2024 · 코드. 인용한 곳: §5, §5.1, Table 1, Table 3.
• [S22] Ryan Lopopolo (OpenAI). 「Harness engineering: leveraging Codex in an agent-first world」. OpenAI 블로그, 2026-02-11. 원문 · 한국어판. 저자·날짜와 본문은 2026-10-05에 영문 원문 페이지에서 확인했다.
• [S32] Yunbei Zhang 외. 「Stop Comparing LLM Agents Without Disclosing the Harness」. 2026, preprint. arXiv 2605.23950. 이 장의 서술은 Harness 서베이의 인용(§5.7, §8.1, §11.3, §12.5)에 한정된다.
• [L21] Erik S.·Barry Zhang (Anthropic). 「Building effective agents」. Anthropic Engineering 블로그, 2024-12-19. 원문
• Michael Bolin (OpenAI). 「Unrolling the Codex agent loop」. OpenAI 블로그, 2026-01-23. 원문 · 한국어판. Harness 서베이의 「OpenAI 2026d」. 2026-10-05에 원문 페이지에서 저자·날짜와 본문을 확인했다.
• Qianyu Meng 외. 「Agent Harness for Large Language Model Agents: A Survey」. Preprints, 2026. DOI 10.20944/preprints202604.0428(v2, 2026-04-09. v3는 2026-04-28). Harness 서베이 참고문헌의 서지를 Crossref 메타데이터와 대조했다.

확인 방법. 2026-10-05에 Harness 서베이 PDF(71쪽), AR 개정판 PDF(146쪽, 익명 심사본), SWE-agent PDF에서 절·그림·표 번호와 수치, 인용문을 대조했다. 저자·게재 상태·링크는 2026-10-04에 확인한 부록 III의 서지를 따랐다. Harness 서베이의 Figure 1·2·3·5와 SWE-agent Table 3은 PDF 페이지를 렌더링해 눈으로 읽었고, Figure 2의 51개 항목과 층별 개수는 확대한 그림에서 엮은이가 셌다. S21은 위 링크의 원문을 텍스트로 받아 읽었고, S22는 2026-10-05에 영문 원문 페이지를 텍스트로 받아 읽고, 서베이가 이 글을 인용한 자리 전부(§1, §2.1·2.2·2.4·2.5, Figure 1·9, §6.4, §12.5)와 대조했다. 「harness engineering」「task runner」, 세 공학의 구분이 본문에 없다는 것은 전문 검색으로 확인했다. 서베이가 함께 인용한 OpenAI 2026d(서베이 참고문헌의 URL)도 같은 날 원문을 받아 「scaffold」「attention」「human」이 나오지 않음을 검색으로 확인했다. 7절의 계산은 인쇄된 숫자로 엮은이가 파이썬(scipy·statsmodels)으로 했다. Table S1은 138행을 파싱해 범주 머리줄의 항목 수와 일치함을 확인했고, 윌슨 구간·굿먼 동시 구간·카이제곱 적합도 검정·크러스컬–월리스 검정·이항검정을 계산했다. SWE-agent 비교는 두 비율의 정규 근사 검정, 정확 맥니마 검정의 두 극단, 본페로니 보정으로, 표본 크기는 두 비율 비교와 맥니마 검정의 정규 근사 공식으로 구했다.

4회 · 선택 · ★★

생각을 글로 쓰게 하기 — Chain-of-Thought

이 회차가 답하는 질문: 답하기 전에 중간 단계를 쓰게 하면 왜 정답률이 오르며, 언제는 오르지 않는가.

핵심 읽기. Jason Wei 외, 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」, NeurIPS 2022. 본문 9쪽, 부록까지 43쪽.

한 문단 요약. 가중치를 고정한 언어모델에 예시 여덟 개를 보여 주되, 예시마다 질문과 답 사이에 사람이 쓴 풀이 문장을 끼워 넣는다. 그러면 모델도 새 질문에 풀이를 먼저 쓰고 답을 낸다. 이것이 사고의 사슬(chain of thought, CoT) 프롬프팅이다. 초등 산수 문장제 벤치마크 GSM8K에서 PaLM 540B의 정답률은 17.9%에서 56.9%로 올랐다. 효과는 모델이 1천억 파라미터 안팎으로 커져야 나타났고, 작은 모델에서는 오히려 떨어졌다. GSM8K에서 식만 쓰게 하거나, 풀이 길이만큼 점을 찍게 하거나, 답 뒤에 풀이를 쓰게 하면 효과가 사라졌다. 저자들은 이것을 자연어 풀이를 답보다 먼저 쓰는 것이 효과를 낸다는 증거로 읽는다. 이 책 뒤 회차들이 말하는 「생각」의 출발점이다.

발제 가이드

50분 배분. 발제 뒤 10분은 토론이다.

꼭 읽을 곳. §1–2 전부(Figure 1 포함), §3.1–3.4, §6 Discussion. 그림을 둘만 띄운다면 Figure 1과 Figure 4다. Figure 1은 방법이 무엇인지, Figure 4는 그것이 언제 통하는지를 보여 준다. Figure 4의 수치는 그림 대신 부록 B의 Table 2로 읽는다.

선택 읽기. 부록 A(FAQ), 특히 A.1(왜 모델이 커져야 하는가)과 A.2(프롬프트 공학의 역할). 부록 D.1·D.2(LaMDA 137B가 쓴 풀이 100개를 사람이 읽고 분류한 결과)도 짧다.

발제에서 줄일 곳. §7 관련 연구와 부록 C(확장 관련 연구)는 이 장의 「곁가지」가 대신한다. 부록 F(입출력 예)와 G(프롬프트 전문)는 Table 20(산수 문장제 예시 여덟 개)만 훑는다. 부록 E(재현성·자원·라이선스)는 넘긴다.

이 회차를 생략할 때. 6회 발제의 앞 10분에 Figure 1과 Figure 4만 소개한다(이 장의 「직관 잡기」 첫 절과 본론 3절의 규모별 이득 표). 6회는 이 논문의 CoT와 후속 자기일관성(CoT-SC)을 기준선으로 쓰고, 5회는 이 장의 한 줄짜리 추론 경로를 트리로 넓힌다. 두 회차를 읽는 데는 「예시에 풀이를 넣어 모델이 풀이를 먼저 쓰게 하고, 경로를 하나만 탐욕적으로 뽑는다」는 것이면 된다.

수치를 옮길 때. 이 논문의 성적은 2022년의 모델에 예시 몇 개를 주고 탐욕적 디코딩(greedy decoding)으로 한 번 뽑은 결과다. 산수 벤치마크는 예시 여덟 개(AQuA는 네 개)이고, 상식·기호 과제는 과제마다 다르다(BIG-bench 두 과제는 평가 세트의 처음 10문항, SayCan은 6개, 끝 글자 잇기는 4개 — §4·§5와 부록 G). LaMDA만 예시 순서 다섯 가지의 평균이고 나머지는 순서 하나다(§3.1). 숫자에는 모델과 크기, 벤치마크와 문항 수를 함께 적고, 같은 값이 표마다 다른 곳이 있으니(본론 3·4절) 어느 표에서 가져왔는지도 적는다.

직관 잡기

Figure 1 — 같은 문제, 두 프롬프트

Figure 1은 왼쪽에 표준 프롬프팅(standard prompting), 오른쪽에 CoT 프롬프팅을 나란히 놓는다. 위 칸이 모델에 넣은 입력, 아래 칸이 모델의 출력이다.

Standard Prompting
  Model Input
    Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can
       has 3 tennis balls. How many tennis balls does he have now?
    A: The answer is 11.
    Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6
       more, how many apples do they have?
  Model Output
    A: The answer is 27.                                         (틀림)

Chain-of-Thought Prompting
  Model Input
    Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can
       has 3 tennis balls. How many tennis balls does he have now?
    A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis
       balls. 5 + 6 = 11. The answer is 11.
    Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6
       more, how many apples do they have?
  Model Output
    A: The cafeteria had 23 apples originally. They used 20 to make lunch. So
       they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9.
       The answer is 9.                                          (맞음)

CoT 논문 Figure 1을 옮겼다. 원문 그림은 오른쪽 예시와 출력의 풀이 부분을 색으로 칠하고, 출력 옆에 틀림·맞음 표시를 단다. 괄호 안 표시는 그것을 글로 바꾼 것이다.

두 입력의 차이는 예시 답안 한 줄뿐이다. 오른쪽 예시는 "5 + 6 = 11" 에 이르는 풀이를 먼저 쓰고, 모델은 그 형식을 따라 23 − 20 = 3, 3 + 6 = 9 를 차례로 써서 맞힌다. 왼쪽 모델은 답만 내다가 27이라고 틀린다. 그림에는 예시가 하나뿐이지만 실제 프롬프트에는 여덟 개가 들어갔고(§3.1, 부록 Table 20), 그림은 어느 모델의 출력인지 밝히지 않는다. 방법을 보여 주는 도해이지 실험 결과가 아니다.

엮은이의 다리 — 잠재변수의 주변화

논문 자신의 비유는 사람이 문제를 푸는 과정이다(§2). 여러 단계의 문장제를 풀 때 사람은 문제를 중간 단계로 쪼개 하나씩 푼 다음 답을 낸다. "After Jane gives 2 flowers to her mom she has 10 . . . then after she gives 3 to her dad she will have 7 . . . so the answer is 7." 저자들은 이 풀이가 해설(solution)과 다름없음을 인정하면서도, 해설은 대개 답 뒤에 오므로 답에 이르는 사고 과정을 흉내 낸다는 뜻에서 「사고의 사슬」이라 부른다. 순서에 대한 이 고집은 본론 4절의 절제 실험에서 다시 나온다.

본론

1. 정의와 네 가지 성질 (§1–2)

두 갈래의 착상을 합친다(§1). 하나는 답에 이르는 자연어 풀이(rationale)를 생성하도록 모델을 처음부터 학습시키거나(Ling 외 2017) 미세조정(fine-tuning)하는(Cobbe 외 2021) 연구이고, 다른 하나는 GPT-3가 보여 준 문맥 내 학습(in-context learning)이다. 앞의 것은 풀이를 단 자료를 대량으로 만들기 비싸고, 뒤의 것은 추론 과제에서 성능이 낮고 모델을 키워도 잘 오르지 않는다. 논문은 둘을 합쳐 ⟨입력, 사고의 사슬, 출력⟩의 세 요소 묶음(삼중항)을 예시로 넣는다.

정의는 한 문장이다. "A chain of thought is a series of intermediate natural language reasoning steps that lead to the final output"(§1). 답에 이르는 일련의 자연어 중간 추론 단계다.

식으로 쓰면 이렇다. 예시 집합을 $D$ 라 하자. 표준 프롬프팅의 예시는 $D=\{(x_i,y_i)\}$ 이고 모델은 새 질문 $x$ 에 대해 $y$ 를 생성한다. CoT의 예시는 $D^{\prime }=\{(x_i,c_i,y_i)\}$ 이고 모델은 사슬 $c$ 를 먼저 생성한 뒤 $y$ 를 생성한다.

$$p_{\theta }(c,y\mid x,D^{\prime })=p_{\theta }(c\mid x,D^{\prime })·p_{\theta }(y\mid x,c,D^{\prime })$$

모수 $\theta$ 는 고정이다. 바뀌는 것은 프롬프트에 든 예시뿐이다. 이 식은 엮은이가 논문의 서술을 옮긴 것이고 논문에 식은 없다.

표준 프롬프팅과 CoT 프롬프팅의 구조. 두 경우 모두 가중치는 고정이고 예시의 형식만 다르다. 점선 화살표는 예시가 생성의 형식을 정한다는 뜻이다. 그림은 엮은이가 논문 §1–2와 §3.1의 서술을 옮겨 그린 것이다.

네 가지 성질(§2). 논문은 CoT가 매력적인 이유를 넷으로 든다.

1. 여러 단계의 문제를 중간 단계로 쪼갤 수 있다. 그래서 추론 단계가 더 필요한 문제에 계산을 더 배정할 수 있다.
2. 모델이 어떻게 답에 이르렀는지 들여다보고 추론이 어디서 틀렸는지 찾을 창을 준다. 다만 답을 뒷받침하는 계산을 온전히 규명하는 일은 여전히 열린 문제라는 단서를 괄호 안에 단다.
3. 산수 문장제·상식 추론·기호 조작처럼 사람이 언어로 풀 수 있는 과제라면 원칙적으로 어디든 쓸 수 있다.
4. 충분히 큰 기성 모델이라면 예시에 사슬을 넣는 것만으로 끌어낼 수 있다.

첫째 성질은 본론 4절의 「계산량만 늘리기」가 시험하고, 둘째 성질의 단서는 「자주 하는 오해」에서 다시 다룬다.

2. 산수 추론 — 실험 설정 (§3.1)

벤치마크 다섯. 문항 수는 부록 Table 12에 있다.

원문 부록 Table 12에서 문항 수만 옮겼다.

예시. 데이터셋 대부분에 평가 분할만 있어서 저자들이 사슬을 단 예시 여덟 개를 직접 쓰고(부록 Table 20) AQuA를 뺀 모든 산수 벤치마크에 똑같이 썼다. 선다형인 AQuA는 훈련 세트의 예시 네 개와 풀이를 썼다(부록 Table 21). 이 예시에는 프롬프트 공학을 따로 하지 않았다고 밝힌다.

모델. 다섯 계열이다.

• GPT-3: text-ada-001, text-babbage-001, text-curie-001, text-davinci-002. 논문은 이것들이 각각 350M·1.3B·6.7B·175B 파라미터의 InstructGPT 모델에 "presumably" 해당한다고 적는다. 크기는 추정이다.
• LaMDA: 422M·2B·8B·68B·137B. 부록 Table 2는 가장 작은 모델을 420M으로 적는다.
• PaLM: 8B·62B·540B.
• UL2 20B와 Codex(code-davinci-002). 부록 E의 판본 기록상 v5에서 더해졌다. 초록이 여전히 "three large language models"라고 쓰는 것은 그 전 판의 흔적으로 읽을 여지가 있다.

디코딩. 모든 모델에서 탐욕적 디코딩으로 한 번 뽑는다. 저자들은 괄호 안에 후속 연구가 여러 번 표집해 다수결을 하면 더 나아진다고 적고 자기일관성 논문(Wang 외 2022a)을 인용한다(§3.1). 이 장의 곁가지가 그 논문이다.

3. 결과 — 규모가 커져야 나타난다 (§3.2, Figure 4, 부록 Table 2)

저자들은 결과에서 세 가지를 끌어낸다.

첫째, CoT는 모델 규모의 창발 능력(emergent ability)이다. 작은 모델에서는 이득이 없고 1천억 파라미터 안팎에서야 이득이 난다. 작은 모델은 유창하지만 논리가 맞지 않는 사슬을 썼다고 한다. Figure 4는 GSM8K·SVAMP·MAWPS(행)와 LaMDA·GPT·PaLM(열)의 아홉 칸에 모델 크기를 가로축으로 둔 그림이다. 수치는 부록 Table 2로 본다.

원문 부록 Table 2. 칸마다 「표준 프롬프팅 → CoT 프롬프팅」의 정답률(%)이다. 원문은 CoT가 더 높은 칸을 굵은 녹색으로 표시한다. LaMDA 값은 예시 순서 다섯 가지의 평균이다.

GSM8K 열을 계열별로 읽으면 패턴이 뚜렷하다. 이득(CoT − 표준)은 다음과 같다.

부록 Table 2의 GSM8K 열에서 엮은이가 뺄셈한 값이다.

10B 아래에서는 세 계열 모두 이득이 음수다. 부록 A.1도 "chain of thought actually hurts performance for most models smaller than 10B parameters"라고 적는다. AQuA 열은 다르게 움직여 10B 이상에서도 PaLM 62B(25.6 → 22.4), LaMDA 68B(22.3 → 20.2), LaMDA 137B(25.5 → 20.6)에서 CoT가 더 낮다. 5지 선다라 찍기만 해도 20%이니, 10B 아래 모델의 AQuA 표준 성적(12.6~23.5%)은 찍기 수준에 가깝다.

둘째, 문제가 복잡할수록 이득이 크다. 기준 성적이 가장 낮은 GSM8K에서는 가장 큰 GPT와 PaLM의 성적이 두 배를 넘었다. 한 단계면 풀리는 MAWPS의 SingleOp에서는 이득이 음수이거나 아주 작았다(부록 Table 3). PaLM 540B 줄을 옮긴다.

원문 부록 Table 3의 PaLM 540B 행. 하위 집합의 성격은 §3.2, 부록 A.3, Table 3 캡션의 서술을 따랐다. 원문은 SingleOp·SingleEq·AddSub를 한두 단계면 풀리는 쉬운 문제로 묶는다.

셋째, 미세조정한 과제 전용 모델과 견줄 만하다. PaLM 540B는 GSM8K·SVAMP·MAWPS에서 기존 최고를 넘었고(SVAMP는 표준 프롬프팅으로도 이미 넘었다), AQuA와 ASDiv에서는 2% 안쪽까지 갔다. GSM8K의 기존 최고는 GPT-3를 미세조정하고 검증기(verifier)를 붙인 Cobbe 외(2021)의 55%이고, 초록의 "surpassing even finetuned GPT-3 with a verifier"가 이 비교다. 이 차이가 우연의 폭을 넘는지는 「통계의 눈으로」에서 계산한다.

외부 계산기. 풀이는 맞는데 산술만 틀리는 경우가 있어서, 부록 B는 풀이 속 식을 파이썬 eval 로 다시 계산해 넣는 사후 처리도 시험했다. 부록 Table 1의 GSM8K 열에서 CoT는 LaMDA 137B가 14.3 → 17.8, GPT-3 175B가 46.9 → 49.6, PaLM 540B가 56.9 → 58.6으로 올랐다.

사람이 풀이를 읽어 보았다. 저자들은 LaMDA 137B가 GSM8K에서 쓴 풀이 가운데 정답 50개와 오답 50개를 무작위로 골라 읽었다. 본문(§3.2)에 따르면 정답 50개는 우연히 맞힌 두 개를 빼면 모두 논리와 산술이 맞았다. 오답 50개는 46%가 사소한 실수만 있는 거의 맞는 풀이였고 54%는 의미 이해나 일관성에 큰 오류가 있었다. 부록 D.2의 내역은 계산 실수만 8%, 기호 대응 오류 16%, 한 단계 누락 22%, 크게 고쳐야 하는 것 54%(27개)이고, 앞의 셋을 더하면 46%가 된다.

숫자 둘이 어긋난다. 우연히 맞힌 풀이를 본문은 "two"라 하고 부록 D.1은 "only one"이라 한다. D.1은 여기에 사소한 흠이 있는 다섯 개를 더해 여섯 개를 열거하고 표에 실린 예도 여섯 개인데, Table 9 캡션은 흠 있는 사례가 7개, 나머지가 43개라고 적는다. 또 D.2는 외부 계산기로 LaMDA 137B의 GSM8K 성적이 "14.3% to 17.3%"로 올랐다며 Table 2를 가리키지만, 계산기 결과는 Table 1에 있고 값은 17.8이다. 어느 쪽이 맞는지는 원문으로 가려지지 않는다.

규모가 고친 오류(부록 A.1). PaLM 62B가 틀린 45문항을 손으로 분류해 보니, 540B는 의미 이해 오류 20건 중 6건, 한 단계 누락 18건 중 12건, 기타(환각·반복·기호 대응 오류) 7건 중 4건을 고쳤다. 저자들은 커진 모델이 의미 이해와 논리 추론 능력을 얻는다는 가설과 맞는다고 보면서도, 규모는 학습 계산량 같은 요인과 뒤섞여 있다고 단서를 단다.

4. 절제 실험 — 효과는 어디서 오는가 (§3.3, Figure 5, 부록 Table 6·7)

CoT가 효과를 낸다면 원인은 여럿일 수 있다. 저자들은 그럴듯한 설명 셋을 하나씩 떼어 시험한다. 식만 쓰기(equation only)는 답 앞에 수식만 쓰게 한다. 계산량만 늘리기(variable compute only)는 풀이에 필요한 식의 글자 수만큼 점(. . .)을 찍게 한다. 답 뒤에 추론 쓰기(reasoning after answer)는 답을 먼저 내고 풀이를 뒤에 쓰게 한다. 각각 효과가 식을 만드는 데서, 중간 토큰(계산량)을 더 쓰는 데서, 사전학습 지식을 불러내는 데서 온다는 설명을 겨냥한다.

Figure 5는 GSM8K에서 LaMDA 137B와 PaLM 540B의 다섯 조건(표준·세 변형·CoT)을 막대로 보여 준다. LaMDA의 수치는 부록 Table 6에 있다. PaLM 540B의 변형별 수치는 표로 주지 않으므로 이 장에서 옮기지 않았다.

원문 부록 Table 6의 앞부분. ± 값은 예시 순서를 다섯 가지로 섞어 돌린 결과의 표준편차다(캡션).

식만 쓰기는 GSM8K에서 소용이 없다. 5.4로 표준(6.5)보다도 낮다. 저자들의 해석은 GSM8K 문항의 의미가 자연어 추론 단계 없이 식 하나로 곧장 옮기기에는 너무 어렵다는 것이다. 반면 한두 단계짜리 문제가 많은 SVAMP·ASDiv·MAWPS에서는 식만 써도 성적이 오른다(29.5 → 35.1, 40.1 → 45.9, 43.2 → 50.1). 부록 A.4가 LaMDA 137B의 예를 하나 든다.

QUESTION: Mike plays ping pong for 40 minutes. In the first 20 minutes, he scores
4 points. In the second 20 minutes, he scores 25% more points. How many total
points did he score?

EQUATION ONLY (WRONG ANSWER): (4 + 20 * 0.25) = 6. The answer is 6.

CHAIN OF THOUGHT (CORRECT): Mike played ping pong for 40 minutes. In the first 20
minutes, he scored 4 points. In the second 20 minutes, he scored 25% more points.
So he scored 25% more in the second 20 minutes. 4 x 1.25 = 5. So he scored 5
points in the second 20 minutes. So he scored 9 points in total. The answer is 9.

식만 쓴 쪽은 「25% 더」를 무엇의 25%로 읽을지 정하지 못하고 숫자 20을 끌어다 쓴다. 사슬을 쓴 쪽은 「두 번째 20분에 4점의 1.25배」라는 중간 사실을 문장으로 먼저 세운다. 문장으로 쓰는 단계가 의미를 고정하는 일을 한다는 것이 저자들의 읽기다.

계산량만 늘려서는 소용이 없다. 점만 찍게 하면 6.4로 표준과 거의 같다. 이 설정(LaMDA 137B, GSM8K)에서는 중간 토큰 수를 늘리는 것만으로 CoT의 효과를 설명하지 못했다는 뜻이다. 네 가지 성질의 첫째(문제를 쪼개 계산을 더 배정할 수 있다)를 시험하는 실험이고, 결과는 자연어 단계가 중요하다는 저자들의 읽기와 맞는다. 다만 점 토큰 하나의 변형을 시험한 것이라, 계산이 반드시 자연어로 표현되어야 한다는 필요조건까지 보인 것은 아니다.

답 뒤에 풀이를 쓰면 소용이 없다. 6.1로 표준과 거의 같다. 풀이 문장이 지식을 불러내는 효과만 있다면 답 뒤에 써도 도움이 되어야 한다. 그렇지 않으므로 저자들은 사슬에 담긴 순차적 추론이 지식 활성화 이상의 이유로 쓸모 있다고 결론짓는다. 이 결과는 2회에서 본 가정 A0(추론 흔적 $z_t$ 는 행동 $a_t$ 보다 먼저 생성된다)과 겹쳐 읽을 수 있다. 순서를 뒤집으면 효과가 사라진다. 이 연결은 이 책의 읽기다.

부록 Table 7은 상식·기호 과제 다섯에서 같은 절제를 되풀이한다(Table 7에는 식만 쓰기가 없다). 계산량만 늘리기와 답 뒤 추론은 날짜 이해·스포츠 이해·끝 글자 잇기·동전 뒤집기에서 모두 표준 근처에 머문다. SayCan만 예외적으로 답 뒤 추론(83.3)이 표준(80.8)보다 조금 높고, 계산량만 늘리기(74.2)는 표준보다 낮다.

숫자 하나가 어긋난다. Table 6의 LaMDA 137B CoT SVAMP 값은 36.7인데, 부록 Table 2와 Table 1의 같은 칸은 37.5다. GSM8K(14.3)·ASDiv(46.6)·MAWPS(57.9)는 세 표가 일치하므로 SVAMP 칸만 다르다. 논문은 이 차이를 설명하지 않는다.

5. 강건성 — 누가 예시를 쓰든 되는가 (§3.4, Figure 6, 부록 A.2)

프롬프팅은 예시에 민감하다. 저자들은 GPT-3에서 예시 순서만 바꿔도 SST-2 정확도가 54.3%에서 93.4%까지 움직였다는 선행 결과(Zhao 외 2021)로 이 절을 열고, 예시의 질문은 그대로 둔 채 사슬만 바꿔 본다.

• 주석자 B와 C. 본 실험의 사슬은 주석자 A가 썼다. 공저자 두 사람이 같은 예시에 따로 사슬을 썼다(부록 H). 쓰는 법에 대한 지시는 없었다.
• 간결한 문체. 주석자 A가 Cobbe 외(2021)의 해설 문체를 따라 더 짧게 다시 썼다.
• GSM8K 훈련 세트의 예시 α·β·γ. 크라우드 작업자의 풀이가 달린 GSM8K 훈련 문항에서 여덟 개씩 세 묶음을 무작위로 뽑았다. 입력 창에 맞추려고 60토큰 이하를, 저자들이 쓴 예시와 공정하게 비교하려고 두 단계 이하를 골랐다(각주 2).

원문 부록 Table 6의 뒷부분(Robustness). 표준과 주석자 A 행은 같은 표의 앞부분에서 가져왔다.

저자들은 모든 변형이 네 벤치마크에서 표준을 「크게」 앞선다고 쓴다(§3.4, 부록 A.2). Table 6을 보면 차이가 작은 칸도 있다. SVAMP에서 변형 α는 32.8 대 29.5로 3.3%p, 주석자 B는 5.7%p 차이다. 저자들은 CoT의 성공이 특정 문체에 달려 있지 않고, GSM8K 예시가 다른 벤치마크에서도 통했으니 예시가 시험 문항과 같은 분포에서 올 필요도 없다고 읽는다(부록 A.2).

그래도 프롬프트 공학은 중요하다(부록 A.2). 저자들 스스로 다는 단서다. 동전 뒤집기에서는 주석자 A의 사슬이 99.6%, 주석자 C의 사슬이 71.4%였다(부록 Table 7). 다섯 항목의 순서를 뒤집는 과제에서는 공저자 두 사람이 통하는 사슬을 끝내 쓰지 못했고 세 번째 공저자가 완벽히 푸는 사슬을 썼다는 일화도 있다.

A.2의 나머지 점검도 짧게 옮긴다. 예시 순서에 따른 표준편차는 동전 뒤집기를 빼면 작았다. 예시 수를 바꿔도 이득은 대체로 유지되었다(Figure 11). 예시를 8개로 고정한 것은 입력 길이가 1,024토큰으로 제한되었기 때문이다(부록 D.3). 같은 프롬프트로 모델을 바꾸면 GPT-3의 CSQA와 StrategyQA에서만 이득이 나지 않았다고 A.2는 적고, 저자들은 이것을 한계로 적는다. 다만 A.2가 근거로 가리키는 Table 1에서는 LaMDA 137B의 AQuA도 25.5에서 20.6으로 내려간다(본론 3절). A.2의 「~에서만」은 그 칸을 세지 않은 것이다. 동전 뒤집기의 표준 프롬프팅 값은 A.2 본문이 "50.0%"라 쓰는데 근거로 가리키는 Table 7은 49.0 ±2.1이다.

6. 상식 추론과 기호 추론 (§4, §5, Figure 3)

Figure 3은 이 논문이 쓴 과제 아홉 가지의 ⟨입력, 사슬, 출력⟩ 예시를 한 장에 모은다. 실습 2에서 다시 만날 동전 뒤집기 칸만 옮긴다.

Coin Flip (state tracking)
  Q: A coin is heads up. Maybelle flips the coin. Shalonda does not flip the
     coin. Is the coin still heads up?
  A: The coin was flipped by Maybelle. So the coin was flipped 1 time, which
     is an odd number. The coin started heads up, so after an odd number of
     flips, it will be tails up. So the answer is no.

CoT 논문 Figure 3의 Coin Flip 칸. 원문 그림은 사슬 부분을 색으로 칠한다.

상식 추론(§4). 과제는 CSQA(상식 선다형), StrategyQA(여러 단계의 전략이 필요한 예·아니오 질문), BIG-bench의 날짜 이해(Date)와 스포츠 이해(Sports), SayCan(자연어 지시를 로봇 행동 순서로 옮기기)이다. BIG-bench 두 과제는 훈련 세트가 없어 평가 세트의 처음 열 문항을 예시로 쓰고 나머지로 평가했다. SayCan 평가 세트는 120문항이다(부록 Table 7 캡션).

원문 부록 Table 4에서 두 행을 옮겼다. 칸은 「표준 → CoT」 정답률(%).

본문은 모델이 커질수록 표준 프롬프팅도 오르고 CoT가 그 위에 이득을 더하며, 이득은 PaLM 540B에서 가장 커 보인다고 적는다. PaLM 540B는 스포츠 이해에서 도움 없는 스포츠 애호가(84%)를 넘었고(95.4%), StrategyQA에서 기존 최고(69.4%)를 넘었다. CSQA의 이득은 작았다.

본문과 표가 다른 곳. §4 본문은 StrategyQA 성적을 "75.6% vs 69.4%"로 쓰는데, 부록 Table 4의 PaLM 540B CoT 값은 77.8이다. 판을 고치며 표만 갱신된 흔적으로 읽을 여지가 있지만 논문은 설명하지 않는다. 발제 자료에는 어느 쪽에서 가져왔는지 적는다.

기호 추론(§5). 장난감 과제 둘이다. 끝 글자 잇기는 이름을 이루는 낱말들의 끝 글자를 잇고("Amy Brown" → "yn"), 동전 뒤집기는 여러 사람이 동전을 뒤집거나 말거나 한 뒤에도 앞면인지 묻는다. 예시는 두 낱말·두 번으로만 만들고, 평가는 같은 길이(영역 안)와 더 긴 길이(OOD: 세·네 낱말, 세·네 번)에서 한다.

원문 부록 Table 5의 PaLM 행. 칸은 「표준 → CoT」 정답률(%).

영역 안에서 PaLM 540B의 CoT는 거의 100%다. 저자들은 풀이 구조가 예시에 이미 있어 새 기호로 같은 단계를 되풀이하면 되는 장난감 과제라고 스스로 강조하면서, 그런데도 작은 모델은 실패했다고 적는다. OOD에서는 표준 프롬프팅이 두 과제 모두 실패하고 CoT는 규모와 함께 오른다. 예시보다 긴 입력으로의 길이 일반화(length generalization)다. 동전 뒤집기는 PaLM 540B의 표준 프롬프팅만으로 영역 안 98.1%이니 이 칸은 CoT의 효과를 보여 주는 자료로는 약하다.

7. 통계의 눈으로 다시 읽기

이 논문에는 문항 수가 인쇄되어 있다. 6회의 ReAct Table 1과 다른 점이다(부록 Table 12). 그러면 정답률마다 이항 표준오차를 붙일 수 있다. GSM8K(1,319문항)에서 정답률 14.3% 근처의 표준오차는 $\sqrt{0.143\times 0.857/1319}\approx 0.0096$, 곧 약 1.0%p이고 56.9% 근처에서는 약 1.4%p다. 부록 Table 6 GSM8K 열의 ± 값(0.2~1.0%p)은 다른 양이다. 같은 문항으로 예시 순서만 바꿨을 때의 흔들림이라 문항 표본추출의 불확실성을 담지 않는다. 이 ±를 신뢰구간처럼 읽으면 불확실성을 작게 잡는다.

규모의 「창발」을 역치 모형으로 읽기. 본론 3절의 규모별 이득 표를 회귀로 놓아 보자. $x$ 를 파라미터 수의 상용로그라 하면 꺾은선(hinge) 모형 $\Delta (x)={\beta }_0+{\beta }_{1}max(0,x-x_0)$ 에 ${\beta }_0=0$, ${\beta }_1>0$ 이라는 조건을 붙이면 「역치 $x_0$ 아래에서는 효과가 없고 위에서는 커진다」는 서술을 옮긴 것이 된다. 조건 없이 두면 역치 아래에서도 일정한 효과 ${\beta }_0$ 를 허용하는 모형이다. 문제는 자료다. 계열마다 점이 셋에서 다섯이고 역치 위의 점은 PaLM 둘, LaMDA 둘, GPT 하나다. 이것으로는 꺾인 직선과 매끄럽게 휘는 곡선을 구별할 수 없고, 역치도 「PaLM은 8B와 62B 사이」 같은 구간으로만 정해진다. 부록 A.1은 창발을 "its success cannot be predicted only by extrapolating the performance of small scale models"라는 뜻으로 쓰는데, 외삽의 실패는 어떤 외삽 모형을 썼느냐에 달려 있다. 정확 일치 정답률처럼 불연속적인 지표에서는 매끄러운 변화도 도약처럼 보일 수 있다는 주장이 뒤에 나왔다(Schaeffer 외 2023). 작은 모델의 음의 이득도 같은 눈으로 본다. LaMDA 420M의 −2.2%p는 문항 표본오차(약 0.5%p)보다 크지만, 부록 A.1은 작은 모델이 반복하거나 결론에 이르지 못해 파싱할 수 없는 출력을 자주 냈다고 적는다. 음의 이득 일부는 답 추출 실패라는 측정의 산물로 읽을 여지도 있다.

표의 숫자를 검산해 보기. 문항 수가 있으면 검산도 된다. 두 가지가 걸린다. 첫째, 부록 Table 2의 MAWPS 열은 네 하위 집합을 합친 2,065문항의 정답률이 아니라 하위 집합 정답률의 단순 평균과 맞는다. PaLM 540B 표준 프롬프팅의 Table 3 네 값(94.1, 86.5, 93.9, 42.2)은 단순 평균이 79.2로 Table 2와 같고, 문항 수(562·508·395·600) 가중 평균은 77.1이다. 엮은이가 확인한 다른 여섯 행(UL2 20B, GPT-3 175B, Codex, PaLM 8B·62B, LaMDA 137B)도 반올림 범위에서 단순 평균과 맞는다. 논문은 집계 방식을 밝히지 않는다. 둘째, 예시 순서를 하나만 쓴 모델(LaMDA 외)의 정답률은 「정수 ÷ 문항 수」의 반올림이어야 하는데, SingleEq(508문항) 열의 네 값(UL2 20B의 18.0·20.2, PaLM 8B의 28.2, PaLM 540B의 86.5)은 508문항에서 나올 수 없다. 439/508 = 86.42%, 440/508 = 86.61%라 86.5가 되는 정수가 없는 식이다. 왜 그런지는 논문으로 알 수 없다. AQuA(254문항)와 나머지 MAWPS 하위 집합은 이 검사를 통과하고, 1,000문항 이상인 벤치마크(SVAMP 1,000, GSM8K 1,319, ASDiv 2,096)는 0.1%p 단위가 모두 정수로 실현되므로 이 검사로 걸러지지 않는다.

실습 1 — GSM8K 1,319문항으로 차이를 재 보기. (a) PaLM 540B의 표준 17.9%와 CoT 56.9%는 각각 몇 문항인가? 두 값의 윌슨 95% 신뢰구간을 구하라. (b) 두 방법은 같은 1,319문항으로 비교했다. 독립 표본으로 보았을 때 차이 39.0%p의 표준오차는 얼마인가? 문항별 결과를 모르므로, 대응 비교의 표준오차가 가질 수 있는 범위도 어림하라. (c) 초록은 PaLM 540B + CoT(56.9%)가 미세조정한 GPT-3 + 검증기(55%)를 넘어 새 최고 성적을 냈다고 쓴다. 이 차이를 같은 방식으로 검정하라. 외부 계산기를 붙인 58.6%라면 어떤가? (d) 절제 실험에서 LaMDA 137B의 표준 6.5%와 「답 뒤에 추론」 6.1%를 「거의 같다」고 읽어도 되는가?

실습 2 — 사슬을 누가 썼느냐에 따른 흔들림. 본론 5절 표의 GSM8K 열에는 CoT 변형이 일곱 개 있다(주석자 A·B·C, 간결한 문체, GSM8K 예시 α·β·γ). (a) 일곱 값의 평균과 표준편차를 구하고, 표에 붙은 ±(예시 순서에 따른 표준편차)와 이항 표준오차(약 1.0%p)와 비교하라. (b) 저자들이 일곱 가운데 가장 좋은 것을 골라 보고했다면 성적은 평균보다 얼마나 높게 나오리라 기대되는가? 일곱 값이 같은 정규분포에서 독립으로 나왔다고 가정하라(정규분포가 아니면 최댓값의 기댓값이 달라진다). 표준정규 표본 일곱 개의 최댓값의 기댓값은 짧은 모의실험(예: 정규난수 7개씩 10만 묶음을 뽑아 최댓값을 평균)으로 구할 수 있다. 실제로 보고한 주석자 A의 값은 어디에 있는가? (c) 동전 뒤집기(부록 Table 7)의 주석자 A·B·C는 99.6 ±0.3, 77.5 ±7.9, 71.4 ±11.1이다. 「주석자에 강건하다」는 말을 이 과제에서도 할 수 있는가? (d) 「CoT라는 방법」의 성적을 하나로 보고하려면 무엇을 어떻게 적는 편이 나은가?

8. 논문이 스스로 밝힌 한계

• 모델이 정말 「추론」하는가. CoT가 사람의 사고 과정을 흉내 낸다고 해서 신경망이 실제로 추론하는지에 답하는 것은 아니다. 열린 문제로 남긴다(§6).
• 주석 비용. 예시 몇 개에 사슬을 다는 비용은 작지만 미세조정용 대량 주석은 비쌀 수 있고, 합성 데이터나 영예시 일반화로 넘어설 수 있을지 모른다고 적는다(§6). 곁가지의 DeepSeek-R1과 Zero-shot CoT가 각각 이 두 방향에 닿는다(이 책의 읽기).
• 추론 경로의 정확성은 보장되지 않는다. 틀린 경로가 틀린 답으로도 우연히 맞은 답으로도 이어지고(§6, 부록 D.2), 선다형·이진 분류 과제에서는 틀린 경로로 맞힐 가능성이 훨씬 크다(부록 D.1). NeurIPS 체크리스트는 생성된 사슬을 사실의 근거로 쓰거나 실제 상황에 쓰라고 권하지 않는다고 덧붙인다.
• 큰 모델에서만 나타난다. 그래서 실제 서비스에 쓰기 비싸다. 작은 모델에서 추론을 끌어내는 연구를 과제로 남긴다(§6).
• 모델 사이로 옮겨 가지 않는 이득. 같은 프롬프트가 GPT-3의 CSQA·StrategyQA에서는 이득을 내지 못했다(부록 A.2).
• 규모와 다른 요인의 뒤섞임. 모델 규모는 학습 계산량 같은 요인과 섞여 있어, 무엇이 추론을 가능하게 하는지는 사전학습 데이터·구조·목적함수를 따로 연구해야 한다고 적는다(부록 A.1).

곁가지 — 주제 논문과 다른 점

곁가지 셋(Zero-shot CoT, 자기일관성, DeepSeek-R1)은 초록의 범위에서만 다루고, 주제 논문이 직접 비교한 선행연구 하나와 이 책의 다음 두 회차를 더한다.

Zero-shot CoT (Kojima 외 2022 · NeurIPS 2022). 예시 없이 각 답 앞에 "Let's think step by step" 한 문장만 붙인다. 초록에 따르면 text-davinci-002에서 GSM8K가 10.4%에서 40.7%로, MultiArith가 17.7%에서 78.7%로 올랐고 PaLM 540B에서도 비슷했다. 주제 논문은 과제마다 사람이 사슬을 쓴 예시 여덟 개를 주지만, Kojima 외는 과제와 무관한 한 문장으로 같은 일을 시킨다. 기준선이 서로 달라(예시 없이 답하기 대 예시를 준 표준 프롬프팅) 두 논문의 숫자는 맞대지 않는다. 주제 논문 §6이 주석 비용을 넘을 길로 든 「영예시 일반화」가 이 방향이다.

자기일관성 Self-Consistency (Wang 외 2022 · ICLR 2023 · 이 책 6회의 CoT-SC). 초록은 CoT의 "naive greedy decoding"을 바꾸자고 한다. 추론 경로를 여럿 표집하고 "marginalizing out the sampled reasoning paths" 하여 가장 일관된 답을 고른다. 초록이 밝힌 개선은 GSM8K +17.9%, SVAMP +11.0%, AQuA +12.2%, StrategyQA +6.4%, ARC-challenge +3.9%다(어느 모델의 값인지는 초록에 없다). 주제 논문 §3.1이 후속 연구로 인용하는 논문이고 제1·제2저자가 서로 바뀐 같은 그룹의 작업이다. 차이는 경로의 수(하나 대 여럿)이고 비용은 표집 수만큼 는다.

DeepSeek-R1 (DeepSeek-AI 2025 · Nature 645권). 초록은 CoT의 성공이 사람이 주석한 시범에 크게 기댄다는 데서 출발해, 순수 강화학습만으로 추론 능력을 끌어내 "obviating the need for human-labeled reasoning trajectories" 했다고 주장한다. 자기반성·검증·전략 전환 같은 패턴이 학습 중에 창발했고, 수학·코딩처럼 검증 가능한 과제에서 지도학습 모델을 앞섰다고 한다. 주제 논문은 모수 $\theta$ 를 두고 예시로 사슬을 끌어내고, R1은 $\theta$ 를 바꿔 사슬 쓰는 습관을 모델 안에 넣는다. 2회의 말로 $z$ 모드 대 $\theta$ 모드다.

GSM8K와 검증기 (Cobbe 외 2021, 주제 논문의 참고문헌 목록에서 서지 확인). GSM8K의 출처이자 주제 논문이 기존 최고(55%)로 비교한 상대다. 초록에 따르면 산수 문장제 8,500개로 GSM8K를 만들고, 풀이의 정오를 판정하는 검증기(verifier)를 학습시켜 많은 후보 풀이 가운데 가장 높게 매긴 것을 고른다. 주제 논문과 달리 모수를 바꾸고, 「여럿 생성해서 고르기」를 하되 고르는 장치가 다수결이 아니라 학습된 검증기다. 주제 논문 부록 D.2도 이 방법을 디코딩 개선책으로 들며 검증기를 학습시켜야 한다는 단서를 단다.

Tree of Thoughts (Yao 외 2023 · 이 책 5회). ToT 초록은 언어모델의 추론이 "token-level, left-to-right" 결정에 갇혀 있다고 진단한다. CoT의 사슬도 왼쪽에서 오른쪽으로 한 번 쓰이고 되돌아가지 않는다. ToT는 여러 갈래를 펼쳐 스스로 평가하고 되돌아간다. 초록의 예로 24 게임에서 GPT-4 + CoT는 4%, ToT는 74%였다. 차이는 탐색의 유무다.

ReAct (Yao 외 2022 · 이 책 6회). 주제 논문의 CoT를 기준선으로 쓰면서 CoT를 "static black box"라고 부른다. 내부 표현으로만 생각을 만들고 바깥에 근거하지 않아 사실을 지어내거나 오류가 번진다는 것이다. HotpotQA(PaLM-540B, EM)에서 CoT 29.4, CoT-SC 33.4, ReAct 27.4였다(ReAct Table 1). 차이는 사슬의 조건이다. CoT의 사슬은 질문과 앞선 사슬에만, ReAct의 생각은 환경의 관찰에도 조건화된다.

서베이로 돌아가기

Agentic Reasoning 서베이 개정판 §2.2 — CoT는 $z$ 다