에이전트 (2022– )

이 장은 나중에 독립된 장들로 키울 수 있게 여섯 갈래로 나누어 두었다. 갈래마다 원문이 두 편에서 일곱 편이고, 모두 2021년 12월부터 2025년 1월 사이에 있다.

행동하는 언어 모델

Nakano 외의 WebGPT(2021년 12월 17일)는 GPT-3를 텍스트 기반 브라우저 환경에서 검색·탐색하며 참고문헌을 모아 답하도록 인간 시연과 피드백으로 미세 조정했다. 로봇 쪽에서는 Ahn 외의 SayCan(2022년 4월 4일)이 언어 모델의 기술 점수와 사전훈련된 로봇 기술의 가치 함수를 곱해 「실행 가능하고 맥락에 맞는」 행동을 고르게 했고, Huang 외의 Inner Monologue(2022년 7월 12일)가 성공 탐지·장면 기술 같은 환경 피드백을 텍스트로 되돌려 주는 폐루프를 더했다. 그리고 Yao 외의 ReAct(2022년 10월 6일; ICLR 2023)가 6장의 생각의 사슬에 행동을 끼워 넣었다. 추론 흔적과 과제별 행동을 번갈아 생성하면 행동으로 위키백과 API 같은 외부 출처에서 정보를 모을 수 있다는 것이다. HotpotQA·Fever·ALFWorld·WebShop에서 평가했다. 이 장의 다른 논문 21편 가운데 12편이 ReAct를 참고문헌에서 인용한다.

도구

Schick 외의 Toolformer(2023년 2월 9일)는 API마다 시연 몇 개만으로 계산기·검색·번역·달력 호출을 텍스트에 끼워 넣도록 언어 모델을 자기 지도로 훈련했다. Shen 외의 HuggingGPT(2023년 3월 30일)는 ChatGPT가 사용자 요청에서 과제를 계획하고 Hugging Face의 모델을 설명을 보고 골라 실행하게 했다. 둘의 차이가 뒤에 「훈련으로 도구를 배우는가, 프롬프트로 도구를 고르는가」라는 갈림이 된다.

성찰·탐색·기억

Shinn 외의 Reflexion(2023년 3월 20일)은 과제 피드백을 말로 성찰해 일화 기억에 두고 다음 시도에 쓰되 가중치는 바꾸지 않는다 — HumanEval pass@1 91%를 GPT-4의 80%와 견주어 보고했다. Yao 외의 Tree of Thoughts(2023년 5월 17일)는 모델이 생성하고 스스로 평가하는 중간 「생각」들의 나무를 BFS·DFS로 탐색해 24 게임에서 생각의 사슬의 4%를 74%로 올렸다. Packer 외의 MemGPT(2023년 10월 12일)는 운영체제의 가상 기억을 본떠 문맥 창과 외부 저장 계층 사이에서 정보를 옮기는 가상 문맥 관리를 제안했다. 세 논문은 모두 모델 밖의 구조 — 기억 버퍼, 탐색 트리, 저장 계층 — 로 능력을 더한다.

사회와 분업

Park 외의 Generative Agents(2023년 4월 7일; UIST '23)는 경험을 자연어로 저장하고 성찰로 종합해 계획에 끌어 쓰는 구조로 에이전트 25개를 심즈풍 마을에 두었다. Wang 외의 Voyager(2023년 5월 25일)는 마인크래프트에서 자동 교과과정과 실행 가능한 코드 기술의 라이브러리를 쌓는 GPT-4 에이전트다. Hong 외의 MetaGPT(2023년 8월 1일; ICLR 2024)는 표준 운영 절차를 프롬프트 열로 부호화하고 역할을 나눈 에이전트들을 조립 라인처럼 배치했다.

평가

과제가 정의되지 않으면 에이전트는 비교되지 않는다. Zhou 외의 WebArena(2023년 7월 25일)는 네 영역의 작동하는 웹사이트를 자체 호스팅 환경으로 만들고 과제 812개를 기능적 정확성으로 채점했다(최선의 GPT-4 에이전트 14.41%, 사람 78.24%). Liu 외의 AgentBench(2023년 8월 7일)는 8개 환경에서 모델 29개를 시험했고, Jimenez 외의 SWE-bench(2023년 10월 10일)는 GitHub 이슈 2,294개를 코드베이스 수정 과제로 만들어 당시 최선의 모델이 1.96%를 해결했다고 보고했다. Mialon 외의 GAIA(2023년 11월 21일)는 사람 92% 대 플러그인 GPT-4 15%의 질문 466개다. 2024년에는 OSWorld(4월 11일)가 실제 운영체제 환경 과제 369개(사람 72.36% 이상, 최선 모델 12.24%)를, Yang 외의 SWE-agent(5월 6일)가 에이전트-컴퓨터 인터페이스 설계로 SWE-bench 12.47%를, Yao 외의 τ-bench(6월 17일)가 모사 사용자와 정책 문서가 있는 고객 서비스 과제와 일관성 지표 pass^k를 더했다. Kapoor 외의 「AI Agents That Matter」(2024년 7월 1일)는 비용을 통제하지 않는 정확도 비교와 재현성 문제를 지적하고 정확도-비용 파레토 곡선을 제안했다.

보안과 추론 훈련

Greshake 외의 「Not What You've Signed Up For」(2023년 2월 23일)는 에이전트가 가져오는 자료에 심어 둔 지시문으로 모델을 원격 조종하는 간접 프롬프트 주입을 기술하고 Bing Chat 등에서 시연했다. 에이전트가 읽는 모든 것이 공격면이 된다는 이 관찰은 이 사이트의 운영 규칙에도 들어 있다. 장의 마지막 점 DeepSeek-R1(2025년 1월 22일; 『Nature』 2025년 9월)은 지도 미세 조정 없이 규칙 기반 보상만의 강화학습으로 추론 능력이 유도될 수 있음을 DeepSeek-R1-Zero로 보고했다(최종 R1은 콜드 스타트 SFT·RL·기각 표집을 거친다). 추론을 프롬프트로 끌어내던 6장의 방법이 훈련 목표로 옮겨 간 자리이며, 1.0판의 범위가 여기서 끝난다.

이 장에서 확인한 것과 못 한 것

22편을 모두 arXiv 판으로 읽었다. 여럿이 학회 발표 뒤 한참 뒤의 개정판이다 — AgentBench v3은 2025년 10월, MetaGPT v7과 SWE-bench v3은 2024년 11월 — 인용문과 참고문헌은 그 판의 것이고 카드에 판 번호를 적었다. MemGPT와 τ-bench는 동료 심사 게재를 확인하지 못했다. 후보 가운데 2023년 이후 서베이 논문들과 공개 저장소 문서(MCP 사양, 엔지니어링 블로그)는 원 논문이 아니어서 점을 찍지 않았다.