논문으로 읽는 인공지능의 역사
English
6장 사전학습·생성 2017–22

사전학습과 생성 모델 (2017–2022)

규모·자기 지도·정렬.

핵심

사전훈련과 미세 조정 (2018)

5장의 트랜스포머 뒤 첫 한 해에 언어 모델의 쓰임이 바뀌었다. Howard–Ruder의 ULMFiT(2018년 1월 18일)는 일반 말뭉치로 사전훈련한 언어 모델을 판별적 미세 조정·기울어진 삼각 학습률·점진적 해동으로 목표 과제에 맞춰 여섯 분류 자료 가운데 대부분에서 오류를 18~24% 줄였다. Peters 외의 ELMo(2018년 2월 15일)는 양방향 LSTM 언어 모델의 모든 내부 층을 과제별로 결합한 문맥화 단어 표현이다. Radford 외의 GPT-1(2018년 6월 11일, OpenAI 보고서)은 다층 트랜스포머 디코더를 비표지 텍스트로 훈련한 뒤 과제에 미세 조정해 12개 자연어 이해 자료 중 9개에서 최고 성능을 개선했다. Devlin 외의 BERT(2018년 10월 11일)는 트랜스포머 인코더를 마스크 언어 모델과 다음 문장 예측으로 사전훈련해 11개 과제에서 새 최고 성능을 보고했고, 참고문헌에서 GPT-1을 인용한다. 넷은 구조가 다르다 — LSTM 둘, 디코더 하나, 인코더 하나 — 그러나 「먼저 큰 텍스트로 사전훈련한다」는 문장은 같다.

Raffel 외의 T5(2019년 10월 23일)는 모든 텍스트 문제를 텍스트 입력·텍스트 출력으로 통일해 사전훈련 목적·구조·자료를 체계적으로 비교하고 말뭉치 C4를 공개했다. Lewis 외의 검색 증강 생성(RAG)(2020년 5월 22일)은 사전훈련된 생성기에 위키백과 밀집 색인의 검색기를 결합해 끝에서 끝까지 미세 조정했다. 7장의 에이전트가 「도구」와 「기억」이라 부르게 되는 것의 한 원문이다.

규모를 재다

Hestness 외(2017년 12월 1일, Baidu)는 번역·언어 모델링·영상·음성에서 학습 곡선을 재어 일반화 오류가 훈련 집합 크기의 거듭제곱 법칙으로 줄고 그 지수(대개 −0.07~−0.35)는 모델을 바꿔도 거의 그대로임을 보고했다. Kaplan 외의 「Scaling Laws for Neural Language Models」(2020년 1월 23일)는 트랜스포머 언어 모델의 손실이 모델 크기·자료 크기·연산량 각각의 거듭제곱 법칙을 따르며 일부 추세는 10의 7제곱 배가 넘는 범위에 걸쳐 이어진다고 쓰고, 고정 연산 예산에서는 매우 큰 모델을 수렴 전에 멈추는 것이 효율적이라고 끌어냈다. 넉 달 뒤 Brown 외의 GPT-3(2020년 5월 28일)가 1750억 매개변수 모델을 훈련해, 과제와 시연을 텍스트로만 주는 퓨샷 설정에서 평가했다. Hoffmann 외의 「Training Compute-Optimal Large Language Models」(2022년 3월 29일)는 400여 모델을 훈련해 연산 최적 훈련에서는 모델 크기와 토큰 수를 같은 비율로 키워야 한다고 썼고, 같은 연산으로 자료를 4배 쓴 700억 모델 Chinchilla가 더 큰 모델들을 앞섰다고 보고했다. Kaplan의 결론을 고친 셈이다. Fedus–Zoph–Shazeer의 스위치 트랜스포머(2021년 1월 11일; 『JMLR』 2022)는 5장의 희소 전문가 혼합 라우팅을 단순화해 1조 매개변수 모델을 사전훈련했다. PaLM(2022년 4월 5일)은 5400억 매개변수 조밀 모델을 TPU v4 6,144개로 훈련했고, Wei 외의 「Emergent Abilities」(2022년 6월 15일)는 작은 모델에는 없고 큰 모델에는 있어 외삽으로 예측할 수 없는 능력을 창발이라 정의했다.

추론을 끌어내다

Wei 외의 생각의 사슬(2022년 1월 28일)은 중간 추론 단계를 담은 예 몇 개를 프롬프트에 주면 산술·상식·기호 추론이 좋아진다고 보고했다. Wang 외의 자기 일관성(2022년 3월 21일)은 여러 추론 경로를 표집해 가장 일관된 답을 고르는 복호화로 GSM8K에서 17.9%p를 더했고, Kojima 외(2022년 5월 24일)는 「Let's think step by step」 한 문장만으로 제로샷 추론이 가능함을 보였다. 세 논문은 모델의 가중치를 바꾸지 않는다 — 프롬프트와 복호화만 바꾼다. 7장의 ReAct가 바로 이 자리에서 출발한다.

정렬

Stiennon 외의 「Learning to summarize from human feedback」(2020년 9월 2일; NeurIPS 2020)는 5장 Christiano 외의 방법을 언어 모델에 옮겨, 요약 쌍에 대한 사람의 비교로 보상 모델을 훈련하고 PPO로 요약 정책을 미세 조정했다. Ouyang 외의 InstructGPT(2022년 3월 4일)는 그 참고문헌에서 이 논문과 Christiano 2017을 인용하며, GPT-3를 라벨러의 시연으로 지도학습하고 라벨러가 매긴 순위로 인간 피드백 강화학습을 했다. 결과의 한 문장: 라벨러들은 13억 InstructGPT의 출력을 1750억 GPT-3보다 선호했다. 5장 Amodei 외가 세운 문제 가운데 「확장 가능한 감독」에 해당하는 실험이다. Bender 외의 「On the Dangers of Stochastic Parrots」(2021년 3월 3일, FAccT)는 「얼마나 크면 너무 큰가」를 묻고 환경·재정 비용과 자료 문서화를 먼저 따질 것을 권고했다. Bommasani 외의 「On the Opportunities and Risks of Foundation Models」(2021년 8월 16일, 214쪽)는 넓은 자료로(대개 대규모 자기 지도로) 훈련해 여러 하류 과제에 맞추는 모델에 「기반 모델」이라는 이름을 붙였다.

언어 밖으로

Dosovitskiy 외의 비전 트랜스포머(2020년 10월 22일; ICLR 2021)는 영상 조각의 열에 표준 트랜스포머를 직접 적용해 큰 자료로 사전훈련하면 합성곱망에 맞먹거나 앞선다고 보고했고, Radford 외의 CLIP(2021년 2월 26일; ICML 2021)은 인터넷에서 모은 4억 개의 영상·텍스트 쌍으로 어떤 캡션이 어떤 영상에 붙는지 예측하게 해 자연어로 시각 개념을 가리키는 제로샷 전이를 보였다. 트랜스포머가 언어 밖으로 나간 두 원문이다. Jumper 외의 AlphaFold(2021년 7월 15일, 『Nature』)는 단백질 구조와 다중 서열 정렬에 관한 지식을 망 설계에 넣어 CASP14의 다수 경우에서 실험 구조에 견줄 정확도를 냈다. 2024년 노벨 화학상의 수상 사유가 가리키는 논문이다. Chen 외의 Codex(2021년 7월 7일)는 GitHub 코드로 미세 조정한 GPT와 벤치마크 HumanEval을 소개했고(28.8%, 100표본이면 70.2%), 7장의 SWE-bench로 이어진다. 게임에서는 AlphaZero(2018년 12월 7일, 『Science』)가 체스·쇼기·바둑을 한 알고리즘으로 배웠고 MuZero(2019년 11월 19일)는 규칙조차 받지 않고 학습된 모델로 계획했다. GPT-2(2019년 2월 14일 OpenAI 블로그)는 15억 모델이 WebText로 제로샷 과제를 배우기 시작한다고 보고했다. GPT-4 기술 보고서(2023년 3월 15일)는 영상·텍스트 입력의 다중 모달 모델을 보고하면서 구조·규모·자료·훈련 방법의 세부는 담지 않는다고 적었고, Touvron 외의 LLaMA(2023년 2월 27일)는 공개 자료만으로 훈련한 70억~650억 모델을 공개해 130억 모델이 대부분의 벤치마크에서 GPT-3를 앞선다고 보고했다. 두 논문의 대비 — 닫힌 보고서와 열린 가중치 — 가 7장의 배경이다.

이 장에서 확인한 것과 못 한 것

29편을 모두 읽었다. Bender 외만 출판사 면이 자동 접근을 막아 OpenAlex가 재구성한 초록으로 인용했고 쪽이 없다. arXiv 논문은 내려받은 최신 판으로 읽었으며 몇 편은 v1보다 훨씬 뒤의 개정판이다(카드에 판 번호). 후보 가운데 World Models(2018), StyleGAN(2018), 「The Bitter Lesson」(2019, 블로그), AlphaStar(2019), Pluribus(2019), DDPM(2020), 점수 기반 생성(2020), DALL·E(2021), LoRA(2021), S4(2021), 잠재 확산(2021), Constitutional AI(2022), Whisper(2022), DPO(2023), Mamba(2023)는 기준을 넘지 못했다. 생성 모델과 효율화 쪽이 빠졌다는 뜻이며, 교과서 2종 기준이 2020년 이후 업적에는 아직 좁게 작동한다는 한계를 적어 둔다.

날짜 — 보도된 날짜와 원문

업적흔히 적는 것이 판에서 확인한 첫 공개
GPT-120182018-06-11 OpenAI 블로그·보고서 PDF(블로그 제목은 논문 제목과 다름)
GPT-220192019-02-14 OpenAI 블로그(「Better Language Models and Their Implications」)·보고서 PDF
GPT-3NeurIPS 20202020-05-28 arXiv v1
ChinchillaNeurIPS 20222022-03-29 arXiv v1 — NeurIPS 판은 제목이 다르다(「An empirical analysis of compute-optimal large language model training」)
GPT-42023-03-14(발표)2023-03-15 arXiv v1(보고서)
ELMoNAACL 20182018-02-15 arXiv v1. arXiv 주석은 「2017-10-27 OpenReview 게시」를 적으나 그 기록을 찾지 못해 v1을 썼다

계보

강화학습·게임 언어·음성 시각·생성 확률·통계·기원 규모·정렬·안전 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025
실선은 인용이 확인된 선(OpenAlex 또는 인용한 논문의 참고문헌 목록), 점선은 교과서가 말하는 영향이지만 인용이 확인되지 않은 선. 세로 위치는 주제 묶음.

논문 목록 (29)

Deep Learning Scaling is Predictable, Empirically

Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad et al. · 첫 공개 2017-12-01 (arXiv v1) · 게재: arXiv:1712.00409 [cs.LG] (Baidu Research) · 쪽 19 pp. (arXiv v1) · 피인용(OpenAlex) 427 (조회 2026-11-03)

arXiv

This paper presents a large scale empirical characterization of generalization error and model size growth as training sets grow.p. 1 (arXiv v1)

이 논문은 훈련 집합이 커질 때 일반화 오류와 모델 크기가 어떻게 커지는지를 대규모로 실증적으로 특성화한다.

무엇을 바꿨나. 기계 번역·언어 모델링·영상 분류·음성 인식에서 학습 곡선을 재어, 일반화 오류가 훈련 집합 크기의 거듭제곱 법칙으로 줄어들며 그 지수(대개 −0.07~−0.35)는 모델 개선으로 절편만 바뀌고 지수는 바뀌지 않음을 찾았다. 모델 크기는 자료 크기에 대해 선형보다 느리게 커진다고도 보고했다.

이 목록의 논문 중 인용한 것: He et al. 2015, Luong et al. 2015, Sennrich et al. 2015
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Brown et al. 2020, Kaplan et al. 2020, OpenAI 2023, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Touvron et al. 2023

Universal Language Model Fine-tuning for Text Classification

Jeremy Howard, Sebastian Ruder · 첫 공개 2018-01-18 (arXiv v1) · 게재: Proceedings of the 56th Annual Meeting of the ACL (Volume 1: Long Papers); arXiv:1801.06146 · 쪽 12 pp. (arXiv v5) · 피인용(OpenAlex) 4,036 (조회 2026-11-03)

DOI arXiv · arXiv v2 2018-05-14; v3 2018-05-15; v4 2018-05-17; v5 2018-05-23; ACL 2018 proceedings (July 2018), pp. 328–339 (Crossref 10.18653/v1/P18-1031, issued 2018)

We propose Universal Language Model Fine-tuning (ULMFiT), an effective transfer learning method that can be applied to any task in NLP, and introduce techniques that are key for fine-tuning a language model.p. 1 (arXiv v5)

우리는 NLP의 어떤 과제에도 적용할 수 있는 효과적인 전이학습 방법인 범용 언어 모델 미세 조정(ULMFiT)을 제안하고, 언어 모델 미세 조정에 핵심적인 기법들을 도입한다.

무엇을 바꿨나. 일반 말뭉치로 언어 모델을 사전훈련한 뒤 판별적 미세 조정, 기울어진 삼각 학습률, 점진적 해동으로 목표 과제에 미세 조정하고 분류기를 훈련하는 ULMFiT를 제안한다. 여섯 텍스트 분류 자료 대부분에서 18~24%의 오류 감소를 보고한다.

이 목록의 논문 중 인용한 것: He et al. 2015, Ioffe & Szegedy 2015, Mikolov et al. 2013, Peters et al. 2018
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Brown et al. 2020, Devlin et al. 2018, Radford et al. 2018, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019

Deep contextualized word representations

Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee et al. · 첫 공개 2018-02-15 (arXiv v1) · 게재: Proceedings of NAACL-HLT 2018, Volume 1 (Long Papers); arXiv:1802.05365 · 쪽 15 pp. (arXiv v2) · 피인용(OpenAlex) 11,983 (조회 2026-11-03)

DOI arXiv · OpenReview (ICLR 2018 submission) 2017-10-27 per arXiv comment 'Originally posted to openreview 27 Oct 2017' (not independently verified); arXiv v2 2018-03-22; NAACL-HLT 2018 proceedings (June 2018), pp. 2227–2237 (Crossref 10.18653/v1/N18-1202)

We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy).p. 1 (arXiv v2)

우리는 (1) 단어 용법의 복잡한 특성(예: 구문과 의미)과 (2) 그 용법이 언어적 문맥에 따라 어떻게 달라지는지(곧 다의성)를 모두 모델링하는 새로운 종류의 깊은 문맥화 단어 표현을 소개한다.

무엇을 바꿨나. 대규모 말뭉치로 사전훈련한 양방향 LSTM 언어 모델의 모든 내부 층을 과제별로 학습한 선형 결합으로 계산하는 단어 표현 ELMo를 소개한다. 기존 모델에 더하면 여섯 NLP 과제에서 결과가 개선되었다.

이 목록의 논문 중 인용한 것: Ba et al. 2016, Collobert et al. 2011, Hochreiter & Schmidhuber 1995, Kingma & Ba 2014, Lafferty et al. 2001, Mikolov et al. 2013, Pennington et al. 2014, Srivastava et al. 2014
이 목록의 논문 중 이 논문을 인용한 것: Bender et al. 2021, Bommasani et al. 2021, Chen et al. 2021, Devlin et al. 2018, Howard & Ruder 2018, Radford et al. 2018, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Wei et al. 2022

Improving Language Understanding by Generative Pre-Training

Radford · 첫 공개 2018-06-11 (tech report) · 게재: OpenAI technical report (unpublished preprint); the 2018 blog post linked it at s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf · 쪽 12 pp. (technical report PDF)

URL · Wayback capture of the blog post 2018-06-12; PDF metadata creationDate 2018-06-08 (file creation, not a public date)

We demonstrate that large gains on these tasks can be realized by generative pre-training of a language model on a diverse corpus of unlabeled text, followed by discriminative fine-tuning on each specific task.p. 1 (technical report PDF)

우리는 다양한 비표지 텍스트 말뭉치로 언어 모델을 생성적 사전훈련한 뒤 과제마다 판별적 미세 조정을 하면 이 과제들에서 큰 이득을 얻을 수 있음을 보인다.

무엇을 바꿨나. 다층 트랜스포머 디코더를 비표지 텍스트로 언어 모델로 훈련한 뒤, 과제를 의식한 입력 변환으로 표지 과제에 미세 조정했다. 과제에 무관한 모델 하나가 연구한 자연어 이해 자료 12개 중 9개에서 최고 성능을 개선했다.

이 목록의 논문 중 인용한 것: Ba et al. 2016, Bengio et al. 2006, Collobert et al. 2011, Hinton et al. 2006, Howard & Ruder 2018, Kingma & Ba 2014, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Sennrich et al. 2015, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Devlin et al. 2018, Dosovitskiy et al. 2020, Fedus et al. 2021, Kaplan et al. 2020, Lewis et al. 2020, OpenAI 2023, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Stiennon et al. 2020, Touvron et al. 2023, Yao et al. 2023

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · 첫 공개 2018-10-11 (arXiv v1) · 게재: Proceedings of NAACL-HLT 2019, Volume 1 (Long and Short Papers); arXiv:1810.04805 · 쪽 16 pp. (arXiv v2) · 피인용(OpenAlex) 44,732 (조회 2026-11-03)

arXiv · arXiv v2 2019-05-24; NAACL-HLT 2019 proceedings (June 2019), pp. 4171–4186 (Crossref 10.18653/v1/N19-1423, issued 2019)

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers.p. 1 (arXiv v2)

우리는 Bidirectional Encoder Representations from Transformers의 약자인 BERT라는 새 언어 표현 모델을 소개한다.

무엇을 바꿨나. 마스크 언어 모델 목적과 다음 문장 예측으로 비표지 텍스트에 사전훈련해 표현이 좌우 문맥을 모두 조건으로 삼게 한 트랜스포머 인코더 BERT를 소개한다. 출력층 하나를 더해 미세 조정하며 11개 NLP 과제에서 새 최고 성능을 보고한다.

이 목록의 논문 중 인용한 것: Deng et al. 2009, Howard & Ruder 2018, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Vaswani et al. 2017, Wu et al. 2016
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Dosovitskiy et al. 2020, Fedus et al. 2021, Huang et al. 2022, Jumper et al. 2021, Kaplan et al. 2020, Kojima et al. 2022, Lewis et al. 2020, Liu et al. 2023, OpenAI 2023, Packer et al. 2023, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Schick et al. 2023, Touvron et al. 2023, Wei et al. 2022, Wei et al. 2022

A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play

David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez et al. · 첫 공개 2018-12-07 (journal issue) · 게재: Science 362(6419) · 쪽 1140–1144 (journal); author manuscript 32 pp. · 피인용(OpenAlex) 3,562 (조회 2026-11-03)

DOI · earlier preprint arXiv:1712.01815 v1 2017-12-05 (arXiv abstract page: [v1] Tue, 5 Dec 2017 18:45:38 UTC) under a different title, 'Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm'

In this paper, we generalize this approach into a single AlphaZero algorithm that can achieve superhuman performance in many challenging games.p. 1 (author manuscript)

이 논문에서 우리는 이 접근을 여러 어려운 게임에서 초인간 성능을 낼 수 있는 단일 알고리즘 AlphaZero로 일반화한다.

무엇을 바꿨나. 알파고 제로의 접근을 게임 규칙만 주어진 채 무작위 대국에서 자기 대국 강화학습으로 체스·쇼기·바둑을 배우는 단일 알고리즘 AlphaZero로 일반화한다. 심층 신경망과 범용 몬테카를로 트리 탐색을 쓰며, 세 게임 각각에서 세계 챔피언 프로그램을 이겼다.

이 목록의 논문 중 인용한 것: Campbell et al. 2002, Jouppi et al. 2017, Shannon 1949, Silver et al. 2016, Silver et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Ouyang et al. 2022, Schrittwieser et al. 2019

Language Models are Unsupervised Multitask Learners

Radford · 첫 공개 2019-02-14 (tech report) · 게재: OpenAI technical report (not published in a journal or proceedings) · 쪽 24 pp. (PDF, no printed page numbers)

URL · PDF creation date 2019-02-14; the blog post originally linked the PDF at d4mucfpksywv.cloudfront.net/better-language-models/

We demonstrate that language models begin to learn these tasks without any explicit supervision when trained on a new dataset of millions of webpages called WebText.PDF p. 1 (no printed page number)

우리는 수백만 웹페이지로 된 새 자료 집합 WebText로 훈련하면 언어 모델이 명시적 감독 없이도 이런 과제들을 배우기 시작함을 보인다.

무엇을 바꿨나. 가장 큰 것이 15억 매개변수 GPT-2인 트랜스포머 언어 모델들을 수백만 웹페이지의 새 자료 WebText로 훈련하고, 과제별 훈련 없이 질의응답·번역·독해·요약의 제로샷 성능을 보고한다. 성능은 모델 용량에 로그 선형으로 개선된다.

이 목록의 논문 중 인용한 것: Ba et al. 2016, Bengio et al. 2003, Collobert et al. 2011, Devlin et al. 2018, Hestness et al. 2017, Howard & Ruder 2018, Krizhevsky et al. 2012, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Sennrich et al. 2015, Sutskever et al. 2014, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, DeepSeek-AI 2025, Dosovitskiy et al. 2020, Kaplan et al. 2020, Kojima et al. 2022, Lewis et al. 2020, OpenAI 2023, Ouyang et al. 2022, Radford et al. 2021, Raffel et al. 2019, Schick et al. 2023, Stiennon et al. 2020, Touvron et al. 2023, Wang et al. 2022, Wei et al. 2022, Yao et al. 2023

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Colin Raffel, Noam Shazeer, Roberts, Adam, Katherine Lee, Sharan Narang, Michael S Matena et al. · 첫 공개 2019-10-23 (arXiv v1) · 게재: Journal of Machine Learning Research 21(140) · 쪽 1–67 · 피인용(OpenAlex) 10,926 (조회 2026-11-03)

arXiv · arXiv v2 2019-10-24; arXiv v3 2020-07-28; arXiv v4 2023-09-19; JMLR 21(140):1-67, 2020 (PDF header: Submitted 1/20; Revised 6/20; Published 6/20; jmlr.org/papers/v21/20-074.html)

In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format.p. 1 (arXiv v4, JMLR pagination)

이 논문에서 우리는 모든 텍스트 기반 언어 문제를 텍스트-투-텍스트 형식으로 바꾸는 통일된 틀을 도입해 NLP 전이학습 기법의 지형을 탐색한다.

무엇을 바꿨나. 모든 텍스트 기반 언어 문제를 텍스트 입력·텍스트 출력으로 두는 통일된 틀을 도입하고, 그 틀로 사전훈련 목적·구조·비표지 자료·전이 방법을 체계적으로 비교한다. 말뭉치 C4와 사전훈련 모델·코드를 공개했다.

이 목록의 논문 중 인용한 것: Ba et al. 2016, Bahdanau et al. 2014, Deng et al. 2009, Devlin et al. 2018, Graves 2013, He et al. 2015, Hestness et al. 2017, Hinton et al. 2015, Howard & Ruder 2018, Mikolov et al. 2013, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Radford et al. 2019, Sennrich et al. 2015, Shazeer et al. 2017, Srivastava et al. 2014, Sutskever et al. 2014, Vaswani et al. 2017, Wu et al. 2016
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Fedus et al. 2021, Hoffmann et al. 2022, Kaplan et al. 2020, Kojima et al. 2022, Lewis et al. 2020, OpenAI 2023, Radford et al. 2021, Stiennon et al. 2020, Touvron et al. 2023, Wang et al. 2023, Wei et al. 2022, Wei et al. 2022

Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

Julian Schrittwieser, Ioannis Antonoglou, Thomas Hubert, Karen Simonyan, Laurent Sifre, Simon Schmitt et al. · 첫 공개 2019-11-19 (arXiv v1) · 게재: arXiv preprint (cs.LG); later Nature 588(7839) · 쪽 21 pp. (arXiv v2) · 피인용(OpenAlex) 1,221 (조회 2026-11-03)

DOI arXiv · arXiv v2 2020-02-21; Nature 588(7839):604-609, published online 2020-12-23, print issue 2020-12-24 (Crossref 10.1038/s41586-020-03051-4)

In this work we present the MuZero algorithm which, by combining a tree-based search with a learned model, achieves superhuman performance in a range of challenging and visually complex domains, without any knowledge of their underlying dynamics.p. 1 (arXiv v2)

이 연구에서 우리는 트리 기반 탐색과 학습된 모델을 결합해, 바탕 동역학에 관한 아무 지식 없이도 어렵고 시각적으로 복잡한 여러 영역에서 초인간 성능을 내는 MuZero 알고리즘을 제시한다.

무엇을 바꿨나. 보상·행동 선택 정책·가치 함수를 예측하는 학습된 모델과 트리 기반 탐색을 결합한 MuZero를 제시한다. 아타리 57개 게임에서 새 최고 성능을 세우고, 게임 규칙을 받지 않고도 바둑·체스·쇼기에서 AlphaZero와 맞먹었다.

이 목록의 논문 중 인용한 것: Campbell et al. 2002, Coulom 2006, Kocsis & Szepesvári 2006, Krizhevsky et al. 2012, Mnih et al. 2015, Silver et al. 2016, Silver et al. 2017, Silver et al. 2018, Sutton & Barto 1998
이 목록의 논문 중 이 논문을 인용한 것: 없음

Scaling Laws for Neural Language Models

Jared Kaplan A, Sam McCandlish, Tom Henighan, Brown, Tom B., Benjamin Chess, Rewon Child et al. · 첫 공개 2020-01-23 (arXiv v1) · 게재: arXiv:2001.08361 [cs.LG] (preprint; single arXiv version) · 쪽 30 pp. (arXiv v1) · 피인용(OpenAlex) 1,749 (조회 2026-11-03)

arXiv

The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude.p. 1 (arXiv v1)

손실은 모델 크기·자료 크기·훈련에 쓴 연산량에 대해 거듭제곱 법칙으로 변하며, 일부 추세는 일곱 자릿수 넘게 이어진다.

무엇을 바꿨나. 트랜스포머 언어 모델의 교차 엔트로피 손실이 모델 크기·자료 크기·훈련 연산량에 어떻게 의존하는지 재고 그 추세에 거듭제곱 법칙을 맞췄다. 그 적합으로 고정된 연산 예산의 배분을 끌어내어, 연산 효율적 훈련은 매우 큰 모델을 수렴 훨씬 전에 멈추는 것임을 찾았다.

이 목록의 논문 중 인용한 것: Devlin et al. 2018, Hestness et al. 2017, Kingma & Ba 2014, Krizhevsky et al. 2012, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Sennrich et al. 2015, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, DeepSeek-AI 2025, Fedus et al. 2021, Hoffmann et al. 2022, OpenAI 2023, Radford et al. 2021, Touvron et al. 2023, Wei et al. 2022, Wei et al. 2022

Language Models are Few-Shot Learners

Brown, Tom B., Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan A, Prafulla Dhariwal et al. · 첫 공개 2020-05-28 (arXiv v1) · 게재: arXiv preprint (cs.CL); later Advances in Neural Information Processing Systems 33 (NeurIPS 2020) · 쪽 75 pp. (arXiv v4) · 피인용(OpenAlex) 23,004 (조회 2026-11-03)

arXiv · arXiv v2 2020-06-01; arXiv v3 2020-06-05; arXiv v4 2020-07-22; NeurIPS 2020, Advances in Neural Information Processing Systems 33:1877-1901 (proceedings.neurips.cc)

Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting.p. 1 (arXiv v4)

구체적으로 우리는 종전의 어떤 비희소 언어 모델보다 10배 많은 1750억 매개변수의 자기회귀 언어 모델 GPT-3를 훈련하고, 퓨샷 설정에서 그 성능을 시험한다.

무엇을 바꿨나. 1750억 매개변수의 자기회귀 언어 모델 GPT-3를 훈련하고, 과제와 시연을 텍스트로만 주고 기울기 갱신이나 미세 조정 없이 제로샷·원샷·퓨샷으로 여러 NLP 과제에서 평가한다. 한계, 벤치마크 오염 분석, 사회적 영향도 함께 보고한다.

이 목록의 논문 중 인용한 것: Devlin et al. 2018, Hestness et al. 2017, Hinton et al. 2015, Howard & Ruder 2018, Kaplan et al. 2020, Lewis et al. 2020, Mikolov et al. 2013, Pennington et al. 2014, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Shazeer et al. 2017, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Bender et al. 2021, Bommasani et al. 2021, Chen et al. 2021, Chowdhery et al. 2022, DeepSeek-AI 2025, Dosovitskiy et al. 2020, Fedus et al. 2021, Greshake et al. 2023, Hoffmann et al. 2022, Huang et al. 2022, Kojima et al. 2022, Liu et al. 2023, Mialon et al. 2023, Nakano et al. 2021, OpenAI 2023, Ouyang et al. 2022, Packer et al. 2023, Park et al. 2023, Radford et al. 2021, Schick et al. 2023, Shen et al. 2023, Stiennon et al. 2020, Touvron et al. 2023, Wang et al. 2022, Wang et al. 2023, Wei et al. 2022, Wei et al. 2022, Yao et al. 2022, Yao et al. 2023

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal et al. · 첫 공개 2020-05-22 (arXiv v1) · 게재: arXiv:2005.11401 [cs.CL]; published in Advances in Neural Information Processing Systems 33 (NeurIPS 2020) · 쪽 19 pp. (arXiv v4) · 피인용(OpenAlex) 3,048 (조회 2026-11-03)

arXiv · arXiv v2 Mon, 7 Dec 2020; v3 Mon, 29 Mar 2021; v4 Mon, 12 Apr 2021 (arXiv comment: Accepted at NeurIPS 2020); Advances in Neural Information Processing Systems 33 (NeurIPS 2020, Dec 2020; proceedings.neurips.cc abstract page)

We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever.p. 1 (arXiv v4)

우리는 매개변수 기억이 사전훈련된 seq2seq 모델이고 비매개변수 기억이 사전훈련된 신경 검색기로 접근하는 위키백과의 밀집 벡터 색인인 RAG 모델을 소개한다.

무엇을 바꿨나. 사전훈련된 seq2seq 생성기와 위키백과 색인 위의 사전훈련 밀집 검색기를 결합해 끝에서 끝까지 미세 조정하는 검색 증강 생성(RAG)을 두 변형(열 전체에 같은 문단 / 토큰마다)으로 제안했다. 저자들의 실험에서 열린 영역 질의응답 과제 셋에서 최고 성능을 세웠다.

이 목록의 논문 중 인용한 것: Devlin et al. 2018, Kingma & Ba 2014, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Vaswani et al. 2017, Weston et al. 2014
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Brown et al. 2020, Hoffmann et al. 2022, Nakano et al. 2021, Packer et al. 2023, Yao et al. 2022

Learning to summarize from human feedback

Nisan Stiennon, Long Ouyang, Jeff Wu, Ziegler, Daniel M., Ryan Lowe, Chelsea Voss et al. · 첫 공개 2020-09-02 (arXiv v1) · 게재: Advances in Neural Information Processing Systems 33 (NeurIPS 2020) · 쪽 45 pp. (arXiv v3) · 피인용(OpenAlex) 550 (조회 2026-11-03)

arXiv · arXiv v2 2020-10-27; arXiv v3 2022-02-15 (version read); NeurIPS 2020 = Advances in Neural Information Processing Systems 33 (Dec 2020; proceedings.neurips.cc)

In this work, we show that it is possible to significantly improve summary quality by training a model to optimize for human preferences.p. 1 (arXiv v3)

이 연구에서 우리는 인간 선호를 최적화하도록 모델을 훈련하면 요약 품질을 크게 개선할 수 있음을 보인다.

무엇을 바꿨나. 요약 쌍에 대한 인간 비교 자료를 모아 인간이 선호한 요약을 예측하는 보상 모델을 훈련하고, 그 보상 모델에 대해 강화학습(PPO)으로 요약 정책을 미세 조정한다. 레딧 TL;DR에 적용하고 뉴스 전용 미세 조정 없이 CNN/DM 기사로 전이됨을 보고한다.

이 목록의 논문 중 인용한 것: Brown et al. 2020, Christiano et al. 2017, Glorot & Bengio 2010, Kingma & Ba 2014, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Schulman et al. 2017, Vaswani et al. 2017, Wu et al. 2016
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Chen et al. 2021, Nakano et al. 2021, Ouyang et al. 2022

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner et al. · 첫 공개 2020-10-22 (arXiv v1) · 게재: International Conference on Learning Representations (ICLR) 2021 · 쪽 22 pp. (arXiv v2) · 피인용(OpenAlex) 21,368 (조회 2026-11-03)

arXiv · arXiv v2 2021-06-03 (version read); ICLR 2021 conference paper (May 2021; PDF header 'Published as a conference paper at ICLR 2021'; listed at https://iclr.cc/virtual/2021/poster/3013)

We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks.p. 1 (arXiv v2)

우리는 CNN에 대한 이 의존이 필수가 아니며, 영상 조각의 열에 직접 적용한 순수 트랜스포머가 영상 분류 과제에서 매우 잘 작동할 수 있음을 보인다.

무엇을 바꿨나. 선형 임베딩한 영상 조각의 열에 표준 트랜스포머를 거의 손대지 않고 직접 적용해 영상을 분류하는 비전 트랜스포머(ViT)를 제시한다. 큰 자료로 사전훈련해 중소 규모 벤치마크로 옮기면 더 적은 훈련 연산으로 합성곱망에 맞먹거나 앞선다고 보고한다.

이 목록의 논문 중 인용한 것: Brown et al. 2020, Deng et al. 2009, Devlin et al. 2018, He et al. 2015, Ioffe & Szegedy 2015, Kingma & Ba 2014, Krizhevsky et al. 2012, LeCun et al. 1989, Radford et al. 2018, Radford et al. 2019, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Radford et al. 2021, Shen et al. 2023

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

William Fedus, Barret Zoph, Noam Shazeer · 첫 공개 2021-01-11 (arXiv v1) · 게재: Journal of Machine Learning Research 23(120) · 쪽 1–40 (printed header; 40 pp., arXiv v3) · 피인용(OpenAlex) 988 (조회 2026-11-03)

arXiv · arXiv v2 2022-04-30; arXiv v3 2022-06-16 (version read); JMLR 23(120), 2022 (printed header: Submitted 8/21; Revised 3/22; Published 4/22; jmlr.org/papers/v23/21-0998.html)

We simplify the MoE routing algorithm and design intuitive improved models with reduced communication and computational costs.p. 1 (arXiv v3)

우리는 MoE 라우팅 알고리듬을 단순화하고, 통신·계산 비용을 줄인 직관적으로 개선된 모델을 설계한다.

무엇을 바꿨나. 전문가 혼합 라우팅을 스위치 트랜스포머로 단순화하고, 큰 희소 모델을 bfloat16으로 훈련하게 하는 기법을 더해 같은 연산에서 T5-Base/Large보다 최대 7배 빠른 사전훈련을 보고한다. C4 말뭉치로 최대 1조 매개변수 모델을 사전훈련한다.

이 목록의 논문 중 인용한 것: Brown et al. 2020, Devlin et al. 2018, Hinton et al. 2015, Hochreiter & Schmidhuber 1995, Jacobs et al. 1991, Kaplan et al. 2020, Radford et al. 2018, Raffel et al. 2019, Shazeer et al. 2017, Srivastava et al. 2014, Sutton & Barto 1998, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bender et al. 2021, Bommasani et al. 2021, Chowdhery et al. 2022, Hoffmann et al. 2022, Ouyang et al. 2022, Wei et al. 2022

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Ramesh, Aditya, Gabriel Goh, Sandhini Agarwal et al. · 첫 공개 2021-02-26 (arXiv v1) · 게재: Proceedings of the 38th International Conference on Machine Learning (ICML 2021), PMLR 139 · 쪽 48 pp. (arXiv v1); PMLR 139:8748–8763 · 피인용(OpenAlex) 15,291 (조회 2026-11-03)

arXiv · ICML 2021 = Proceedings of the 38th International Conference on Machine Learning, PMLR 139:8748–8763 (Jul 2021; proceedings.mlr.press/v139/radford21a.html)

We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet.p. 1 (arXiv v1)

우리는 어떤 캡션이 어떤 영상에 붙는지를 예측하는 단순한 사전훈련 과제가, 인터넷에서 모은 4억 개의 (영상, 텍스트) 쌍으로 최고 수준의 영상 표현을 처음부터 배우는 효율적이고 확장 가능한 길임을 보인다.

무엇을 바꿨나. 인터넷에서 모은 4억 개의 (영상, 텍스트) 쌍으로 어떤 캡션이 어떤 영상에 붙는지 예측하는 과제로 영상·텍스트 인코더를 사전훈련한다(CLIP). 자연어로 시각 개념을 가리켜 제로샷 전이를 하며, 기존 컴퓨터 비전 자료 30여 개로 벤치마크했다.

이 목록의 논문 중 인용한 것: Bengio et al. 2003, Blei et al. 2003, Brown et al. 2020, Deng et al. 2009, Devlin et al. 2018, Dosovitskiy et al. 2020, He et al. 2015, Hestness et al. 2017, Howard & Ruder 2018, Ioffe & Szegedy 2015, Kaplan et al. 2020, Kingma & Ba 2014, Krizhevsky et al. 2012, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Sennrich et al. 2015, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Bommasani et al. 2021, Chen et al. 2021, Huang et al. 2022

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell · 첫 공개 2021-03-03 (conference) · 게재: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT '21), ACM · 쪽 610–623 · 피인용(OpenAlex) 6,988 (조회 2026-11-03)

DOI

In this paper, we take a step back and ask: How big is too big?page unknown (abstract)

이 논문에서 우리는 한 걸음 물러나 묻는다. 얼마나 크면 너무 큰가?

무엇을 바꿨나. 점점 커지는 언어 모델에 어떤 위험이 따르고 어떤 완화 경로가 있는지 묻는다. 환경·재정 비용을 먼저 따지고, 자료를 선별·문서화하고, 이해당사자의 가치에 맞춘 개발 전 검토를 하고, 더 큰 모델 밖의 연구 방향을 찾을 것을 권고한다.

이 목록의 논문 중 인용한 것: Brown et al. 2020, Fedus et al. 2021, Hinton et al. 2015, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2019, Raffel et al. 2019, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Bommasani et al. 2021, Chen et al. 2021, Chowdhery et al. 2022, Greshake et al. 2023, Hoffmann et al. 2022, OpenAI 2023, Ouyang et al. 2022, Wei et al. 2022

Evaluating Large Language Models Trained on Code

Mark I-Cheng Chen, Jerry Tworek, Heewoo Jun, Yuan, Qiming, Henrique Pondé de Oliveira Pinto, Jared Kaplan A et al. · 첫 공개 2021-07-07 (arXiv v1) · 게재: arXiv:2107.03374 [cs.LG] (OpenAI preprint) · 쪽 35 pp. (arXiv v2) · 피인용(OpenAlex) 1,436 (조회 2026-11-03)

arXiv · arXiv v2 Wed, 14 Jul 2021 (comment: corrected typos, added references, added authors, added acknowledgements)

We introduce Codex, a GPT language model fine-tuned on publicly available code from GitHub, and study its Python code-writing capabilities.p. 1 (arXiv v2)

우리는 GitHub의 공개 코드로 미세 조정한 GPT 언어 모델 Codex를 소개하고 그 파이썬 코드 작성 능력을 연구한다.

무엇을 바꿨나. 공개 GitHub 코드로 미세 조정한 GPT 모델 Codex와, 문서 문자열에서 합성한 프로그램의 기능적 정확성을 재는 벤치마크 HumanEval을 소개했다. Codex는 HumanEval 문제의 28.8%(GPT-3는 0%)를, 문제당 100개 표본을 뽑으면 70.2%를 풀었다.

이 목록의 논문 중 인용한 것: Bender et al. 2021, Brown et al. 2020, Devlin et al. 2018, Graves 2013, Graves et al. 2014, Kaplan et al. 2020, Mikolov et al. 2013, Peters et al. 2018, Radford et al. 2018, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Stiennon et al. 2020, Sutskever et al. 2014, van den Oord et al. 2016, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Chowdhery et al. 2022, DeepSeek-AI 2025, Hong et al. 2023, Huang et al. 2022, Jimenez et al. 2023, Kapoor et al. 2024, Liu et al. 2023, OpenAI 2023, Ouyang et al. 2022, Shinn et al. 2023, Touvron et al. 2023, Wang et al. 2022, Wang et al. 2023, Wei et al. 2022, Yang et al. 2024, Yao et al. 2024, Zhou et al. 2023

Highly accurate protein structure prediction with AlphaFold

John Jumper, Richard Evans, Alexander Pritzel, Tim Green, Michael Figurnov, Olaf Ronneberger et al. · 첫 공개 2021-07-15 (journal (online publication)) · 게재: Nature 596(7873) · 쪽 583–589 · 피인용(OpenAlex) 43,764 (조회 2026-11-03)

DOI · Nature print issue 596(7873), 26 Aug 2021 (page header; Crossref published-print 2021-08-26)

Here we provide the first computational method that can regularly predict protein structures with atomic accuracy even in cases in which no similar structure is known.p. 583

여기서 우리는 유사한 구조가 알려지지 않은 경우에도 원자 수준 정확도로 단백질 구조를 일관되게 예측할 수 있는 첫 계산 방법을 제공한다.

무엇을 바꿨나. 단백질 구조와 다중 서열 정렬에 관한 물리·생물학적 지식을 딥러닝 설계에 넣어 완전히 다시 설계한 AlphaFold 신경망을 기술한다. CASP14에서 다수의 경우 실험 구조에 견줄 정확도로 구조를 예측했다.

이 목록의 논문 중 인용한 것: Devlin et al. 2018, He et al. 2015, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: 없음

On the Opportunities and Risks of Foundation Models

Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Biagio Altman, Simran Arora, Sydney von Arx et al. · 첫 공개 2021-08-16 (arXiv v1) · 게재: arXiv:2108.07258 [cs.LG]; report of the Center for Research on Foundation Models (CRFM), Stanford Institute for Human-Centered Artificial Intelligence (HAI) · 쪽 214 pp. (arXiv v3) · 피인용(OpenAlex) 2,677 (조회 2026-11-03)

arXiv · arXiv v2 Wed, 18 Aug 2021; v3 Tue, 12 Jul 2022

We call these models foundation models to underscore their critically central yet incomplete character.p. 1 (arXiv v3)

우리는 이 모델들이 결정적으로 중심에 있으면서도 미완이라는 성격을 강조하려고 기반 모델이라 부른다.

무엇을 바꿨나. 넓은 자료로 대개 대규모 자기 지도로 훈련되어 넓은 범위의 하류 과제에 맞출 수 있는 모델에 「기반 모델」이라는 이름을 도입했다. 그 능력·기술 원리·응용·사회적 영향을 개관하고, 이 전환을 창발과 동질화라는 개념으로 짚었다.

이 목록의 논문 중 인용한 것: Amodei et al. 2016, Bahdanau et al. 2014, Bender et al. 2021, Brown et al. 2020, Chen et al. 2021, Deng et al. 2009, Devlin et al. 2018, Dosovitskiy et al. 2020, Fedus et al. 2021, Girshick et al. 2013, Glorot & Bengio 2010, Goodfellow et al. 2014, Graves et al. 2014, He et al. 2015, Hestness et al. 2017, Hinton et al. 2006, Hinton et al. 2015, Hochreiter & Schmidhuber 1995, Howard & Ruder 2018, Jouppi et al. 2017, Kaplan et al. 2020, Kingma & Welling 2013, Krizhevsky et al. 2012, LeCun et al. 2015, Lewis et al. 2020, Marr 1982, Mikolov et al. 2010, Mikolov et al. 2013, Nair & Hinton 2010, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Radford et al. 2019, Radford et al. 2021, Raffel et al. 2019, Russell & Norvig 1995, Sennrich et al. 2015, Shannon 1948, Shazeer et al. 2017, Silver et al. 2016, Simonyan & Zisserman 2014, Sohl-Dickstein et al. 2015, Stiennon et al. 2020, Szegedy et al. 2013, Szegedy et al. 2014, Turing 1950, van den Oord et al. 2016, Vaswani et al. 2017, Weston et al. 2014
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Chowdhery et al. 2022, Greshake et al. 2023, OpenAI 2023, Ouyang et al. 2022, Park et al. 2023, Wang et al. 2023, Wei et al. 2022

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Wei, Jason, Wang, Xuezhi, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia et al. · 첫 공개 2022-01-28 (arXiv v1) · 게재: Advances in Neural Information Processing Systems 35 (NeurIPS 2022) · 쪽 43 pp. (arXiv v6) · 피인용(OpenAlex) 4,210 (조회 2026-11-03)

arXiv · arXiv v2 2022-04-06; v3 2022-06-01; v4 2022-06-13; v5 2022-10-10; v6 2023-01-10; NeurIPS 2022, Advances in Neural Information Processing Systems 35:24824-24837 (proceedings.neurips.cc, dated 2022-12-06)

We explore how generating a chain of thought—a series of intermediate reasoning steps—significantly improves the ability of large language models to perform complex reasoning.p. 1 (arXiv v6)

우리는 생각의 사슬, 곧 일련의 중간 추론 단계를 생성하는 것이 대규모 언어 모델의 복잡한 추론 능력을 어떻게 크게 향상시키는지 탐구한다.

무엇을 바꿨나. 중간 추론 단계를 담은 예 몇 개를 프롬프트에 주는 생각의 사슬 프롬프트를 도입하고, 산술·상식·기호 추론 과제에서 대규모 언어 모델을 개선함을 보고했다. 그런 예 여덟 개로 PaLM 540B가 GSM8K에서 최고 정확도에 이르렀다.

이 목록의 논문 중 인용한 것: Ahn et al. 2022, Brown et al. 2020, Chen et al. 2021, Devlin et al. 2018, Graves et al. 2014, Hochreiter & Schmidhuber 1995, Kaplan et al. 2020, Ouyang et al. 2022, Peters et al. 2018, Raffel et al. 2019, Vaswani et al. 2017, Wang et al. 2022, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Chowdhery et al. 2022, DeepSeek-AI 2025, Greshake et al. 2023, Hong et al. 2023, Huang et al. 2022, Kojima et al. 2022, Liu et al. 2023, OpenAI 2023, Packer et al. 2023, Park et al. 2023, Shen et al. 2023, Shinn et al. 2023, Wang et al. 2022, Wang et al. 2023, Wei et al. 2022, Yao et al. 2022, Yao et al. 2023, Zhou et al. 2023

Training Compute-Optimal Large Language Models

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford et al. · 첫 공개 2022-03-29 (arXiv v1) · 게재: arXiv preprint (cs.CL); later Advances in Neural Information Processing Systems 35 (NeurIPS 2022) · 쪽 36 pp. (arXiv v1) · 피인용(OpenAlex) 932 (조회 2026-11-03)

DOI arXiv · NeurIPS 2022, Advances in Neural Information Processing Systems 35:30016-30030, under the title "An empirical analysis of compute-optimal large language model training" (proceedings.neurips.cc, dated 2022-12-06)

By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled.p. 1 (arXiv v1)

7천만에서 160억 넘는 매개변수의 언어 모델 400여 개를 50억~5000억 토큰으로 훈련해 우리는 연산 최적 훈련에서는 모델 크기와 훈련 토큰 수를 같은 비율로 키워야 함을 발견한다. 모델 크기가 두 배가 될 때마다 훈련 토큰 수도 두 배가 되어야 한다.

무엇을 바꿨나. 400여 개의 훈련된 언어 모델로부터 고정 연산 예산에서 모델 크기와 훈련 토큰 수를 어떻게 늘려야 하는지 추정해 같은 비율로 키워야 함을 찾았다. 같은 연산으로 Gopher보다 자료를 4배 쓴 700억 매개변수 Chinchilla가 Gopher·GPT-3·Jurassic-1·Megatron-Turing NLG를 여러 하류 과제에서 앞섰다.

이 목록의 논문 중 인용한 것: Bender et al. 2021, Brown et al. 2020, Fedus et al. 2021, Jouppi et al. 2017, Kaplan et al. 2020, Kingma & Ba 2014, Lewis et al. 2020, Raffel et al. 2019, Vaswani et al. 2017
이 목록의 논문 중 이 논문을 인용한 것: Chowdhery et al. 2022, Liu et al. 2023, OpenAI 2023, Touvron et al. 2023, Wei et al. 2022

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin et al. · 첫 공개 2022-03-04 (arXiv v1) · 게재: arXiv preprint (cs.CL); later Advances in Neural Information Processing Systems 35 (NeurIPS 2022) · 쪽 68 pp. (arXiv v1) · 피인용(OpenAlex) 4,208 (조회 2026-11-03)

arXiv · NeurIPS 2022, Advances in Neural Information Processing Systems 35:27730-27744 (proceedings.neurips.cc, dated 2022-12-06)

In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback.p. 1 (arXiv v1)

이 논문에서 우리는 인간 피드백으로 미세 조정해 넓은 범위의 과제에서 언어 모델을 사용자 의도에 정렬하는 한 길을 보인다.

무엇을 바꿨나. GPT-3를 먼저 라벨러의 시연으로 지도학습하고 다음에 라벨러가 매긴 출력 순위로 인간 피드백 강화학습을 해 InstructGPT를 만들었다. 라벨러들은 13억 InstructGPT의 출력을 1750억 GPT-3보다 선호했고, 진실성이 오르고 유해 출력이 줄었다.

이 목록의 논문 중 인용한 것: Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Christiano et al. 2017, Fedus et al. 2021, Nakano et al. 2021, Radford et al. 2019, Schulman et al. 2017, Silver et al. 2018, Stiennon et al. 2020
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Chowdhery et al. 2022, DeepSeek-AI 2025, Greshake et al. 2023, Huang et al. 2022, Kojima et al. 2022, Liu et al. 2023, Mialon et al. 2023, OpenAI 2023, Packer et al. 2023, Park et al. 2023, Shen et al. 2023, Touvron et al. 2023, Wei et al. 2022, Wei et al. 2022, Zhou et al. 2023

Self-Consistency Improves Chain of Thought Reasoning in Language Models

Xuezhi Wang, Wei, Jason, Dale Schuurmans, Quoc Viet Le, Ed H., Narang, Sharan et al. · 첫 공개 2022-03-21 (arXiv v1) · 게재: International Conference on Learning Representations (ICLR 2023) · 쪽 24 pp. (arXiv v4) · 피인용(OpenAlex) 809 (조회 2026-11-03)

arXiv · arXiv v2 2022-04-06 (added PaLM results); arXiv v3 2022-10-04 (added UL2 results); arXiv v4 2023-03-07 (ICLR camera-ready); ICLR 2023 (PDF header "Published as a conference paper at ICLR 2023"; arXiv comments)

In this paper, we propose a new decoding strategy, self-consistency, to replace the naive greedy decoding used in chain-of-thought prompting.p. 1 (arXiv v4)

이 논문에서 우리는 생각의 사슬 프롬프트에 쓰이는 단순한 탐욕적 복호화를 대신할 새 복호화 전략, 자기 일관성을 제안한다.

무엇을 바꿨나. 생각의 사슬 프롬프트에서 다양한 추론 경로를 표집하고 그것들을 주변화해 가장 일관된 답을 고르는 복호화 전략 자기 일관성을 제안했다. GSM8K(+17.9%)·SVAMP(+11.0%) 같은 산술·상식 벤치마크에서 개선을 보고한다.

이 목록의 논문 중 인용한 것: Ackley et al. 1985, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Kojima et al. 2022, Radford et al. 2019, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: DeepSeek-AI 2025, Hong et al. 2023, Kojima et al. 2022, Liu et al. 2023, Shen et al. 2023, Touvron et al. 2023, Wei et al. 2022, Wei et al. 2022, Yao et al. 2022, Yao et al. 2023

PaLM: Scaling Language Modeling with Pathways

Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts et al. · 첫 공개 2022-04-05 (arXiv v1) · 게재: arXiv:2204.02311 [cs.CL]; published in Journal of Machine Learning Research 24(240):1-113 (2023) · 쪽 87 pp. (arXiv v5) · 피인용(OpenAlex) 2,552 (조회 2026-11-03)

arXiv · arXiv v2 Thu, 7 Apr 2022; v3 Tue, 19 Apr 2022; v4 Thu, 29 Sep 2022; v5 Wed, 5 Oct 2022; Journal of Machine Learning Research 24(240):1-113, 2023 (jmlr.org/papers/v24/22-1144.html)

To further our understanding of the impact of scale on few-shot learning, we trained a 540-billion parameter, densely activated, Transformer language model, which we call Pathways Language Model (PaLM).p. 1 (arXiv v5)

규모가 퓨샷 학습에 미치는 영향을 더 이해하기 위해 우리는 5400억 매개변수의 조밀 활성 트랜스포머 언어 모델을 훈련했고, 이를 Pathways 언어 모델(PaLM)이라 부른다.

무엇을 바꿨나. Pathways 체계로 TPU v4 칩 6,144개에서 5400억 매개변수 조밀 트랜스포머 언어 모델 PaLM을 훈련하고, 수백 개의 언어 이해·생성·추론·다국어·코드 벤치마크에서 퓨샷 결과를 보고했다. 모델 규모에 따른 편향·유해성·훈련 자료 암기도 분석했다.

이 목록의 논문 중 인용한 것: Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Devlin et al. 2018, Fedus et al. 2021, Hoffmann et al. 2022, Kaplan et al. 2020, Kingma & Ba 2014, Ouyang et al. 2022, Radford et al. 2018, Raffel et al. 2019, Shazeer et al. 2017, Vaswani et al. 2017, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: Ahn et al. 2022, Hong et al. 2023, Huang et al. 2022, Kojima et al. 2022, Liu et al. 2023, OpenAI 2023, Schick et al. 2023, Shen et al. 2023, Touvron et al. 2023, Wang et al. 2022, Wang et al. 2023, Wei et al. 2022, Yao et al. 2022, Yao et al. 2023

Large Language Models are Zero-Shot Reasoners

Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa · 첫 공개 2022-05-24 (arXiv v1) · 게재: Advances in Neural Information Processing Systems 35 (NeurIPS 2022) · 쪽 42 pp. (arXiv v4) · 피인용(OpenAlex) 2,015 (조회 2026-11-03)

DOI arXiv · arXiv v2 2022-06-09; arXiv v3 2022-10-02; arXiv v4 2023-01-29; NeurIPS 2022, Advances in Neural Information Processing Systems 35:22199-22213 (proceedings.neurips.cc, dated 2022-12-06)

While these successes are often attributed to LLMs’ ability for few-shot learning, we show that LLMs are decent zero-shot reasoners by simply adding “Let’s think step by step” before each answer.p. 1 (arXiv v4)

이런 성공은 흔히 LLM의 퓨샷 학습 능력 덕으로 돌려지지만, 우리는 각 답 앞에 「Let's think step by step」을 붙이기만 해도 LLM이 괜찮은 제로샷 추론기임을 보인다.

무엇을 바꿨나. 각 답 앞에 「Let's think step by step」 한 문장을 붙이는 제로샷 CoT가 손수 만든 퓨샷 예 없이도 산술·기호·논리 추론 벤치마크에서 대규모 언어 모델의 제로샷 정확도를 올림을 보였다. 예컨대 text-davinci-002의 MultiArith가 17.7%에서 78.7%로 올랐다.

이 목록의 논문 중 인용한 것: Ahn et al. 2022, Brown et al. 2020, Chowdhery et al. 2022, Devlin et al. 2018, Ouyang et al. 2022, Radford et al. 2019, Raffel et al. 2019, Vaswani et al. 2017, Wang et al. 2022, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: DeepSeek-AI 2025, Huang et al. 2022, OpenAI 2023, Shen et al. 2023, Wang et al. 2022, Wei et al. 2022, Yao et al. 2022

Emergent Abilities of Large Language Models

Wei, Jason, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud et al. · 첫 공개 2022-06-15 (arXiv v1) · 게재: arXiv:2206.07682 [cs.CL]; published in Transactions on Machine Learning Research (TMLR), 08/2022 · 쪽 30 pp. (arXiv v2) · 피인용(OpenAlex) 1,264 (조회 2026-11-03)

arXiv · arXiv v2 Wed, 26 Oct 2022 (comment: Transactions on Machine Learning Research (TMLR), 2022); PDF header: Published in Transactions on Machine Learning Research (08/2022), reviewed on OpenReview forum yzkSU5zdwD

We consider an ability to be emergent if it is not present in smaller models but is present in larger models.p. 1 (arXiv v2)

우리는 어떤 능력이 작은 모델에는 없고 큰 모델에는 있을 때 그 능력을 창발적이라고 본다.

무엇을 바꿨나. 대규모 언어 모델의 창발 능력을 작은 모델에는 없고 큰 모델에는 있어서 작은 모델의 성능을 외삽해서는 예측할 수 없는 능력으로 정의하고, 퓨샷 프롬프트와 증강 프롬프트 설정에서 선행 연구가 보고한 그런 능력을 개관했다.

이 목록의 논문 중 인용한 것: Ahn et al. 2022, Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chowdhery et al. 2022, Devlin et al. 2018, Fedus et al. 2021, Hoffmann et al. 2022, Kaplan et al. 2020, Kojima et al. 2022, Ouyang et al. 2022, Radford et al. 2019, Raffel et al. 2019, Wang et al. 2022, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: DeepSeek-AI 2025, OpenAI 2023, Schick et al. 2023, Shen et al. 2023, Touvron et al. 2023, Wang et al. 2023, Wei et al. 2022

LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix et al. · 첫 공개 2023-02-27 (arXiv v1) · 게재: arXiv:2302.13971 [cs.CL] (Meta AI preprint; single arXiv version) · 쪽 27 pp. (arXiv v1) · 피인용(OpenAlex) 4,527 (조회 2026-11-03)

arXiv

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters.p. 1 (arXiv v1)

우리는 70억에서 650억 매개변수에 이르는 기반 언어 모델 모음 LLaMA를 소개한다.

무엇을 바꿨나. 공개 자료만으로 수조 토큰을 훈련한 70억~650억 매개변수의 기반 언어 모델 LLaMA를 공개했다. 주어진 추론 예산에서 최고 성능을 겨냥하며, LLaMA-13B가 대부분의 벤치마크에서 GPT-3(175B)를 앞서고 LLaMA-65B가 Chinchilla-70B·PaLM-540B에 견줄 만하다고 보고했다.

이 목록의 논문 중 인용한 것: Bengio et al. 2003, Brown et al. 1990, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Devlin et al. 2018, Elman 1988, Graves 2013, Hestness et al. 2017, Hochreiter & Schmidhuber 1995, Hoffmann et al. 2022, Kaplan et al. 2020, Mikolov et al. 2010, Ouyang et al. 2022, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Sennrich et al. 2015, Shannon 1948, Turing 1950, Vaswani et al. 2017, Wang et al. 2022, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: OpenAI 2023, Shen et al. 2023, Wang et al. 2023, Yao et al. 2023

GPT-4 Technical Report

OpenAI, Achiam, Josh, Adler, Steven, Agarwal, Sandhini, Ahmad, Lama, Akkaya, Ilge et al. · 첫 공개 2023-03-15 (arXiv v1) · 게재: arXiv:2303.08774 [cs.CL] (OpenAI technical report; the GPT-4 System Card is appended) · 쪽 100 pp. (arXiv v6) · 피인용(OpenAlex) 2,404 (조회 2026-11-03)

arXiv · arXiv v2 Thu, 16 Mar 2023; v3 Mon, 27 Mar 2023; v4 Tue, 19 Dec 2023; v5 Fri, 1 Mar 2024; v6 Mon, 4 Mar 2024 (comment: updated authors list; fixed author names and added citation)

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs.p. 1 (arXiv v6)

우리는 영상과 텍스트 입력을 받아 텍스트를 출력할 수 있는 대규모 다중 모달 모델 GPT-4의 개발을 보고한다.

무엇을 바꿨나. 영상·텍스트 입력을 받는 트랜스포머 기반 다중 모달 모델 GPT-4를 시험·벤치마크 결과와 사후 훈련 정렬 절차와 함께 보고하고, 1/1,000 이하의 연산으로 훈련한 모델로부터 성능의 일부를 예측하게 한 기반 설비를 기술했다. 보고서는 구조(모델 크기 포함)·하드웨어·훈련 연산량·자료 구성·훈련 방법의 세부는 담지 않는다고 적는다.

이 목록의 논문 중 인용한 것: Ba et al. 2016, Bender et al. 2021, Bommasani et al. 2021, Brown et al. 2020, Chen et al. 2021, Chowdhery et al. 2022, Christiano et al. 2017, Devlin et al. 2018, Hestness et al. 2017, Hoffmann et al. 2022, Kaplan et al. 2020, Kojima et al. 2022, Ouyang et al. 2022, Radford et al. 2018, Radford et al. 2019, Raffel et al. 2019, Schick et al. 2023, Schulman et al. 2017, Shazeer et al. 2017, Touvron et al. 2023, Vaswani et al. 2017, Wei et al. 2022, Wei et al. 2022
이 목록의 논문 중 이 논문을 인용한 것: DeepSeek-AI 2025, Greshake et al. 2023, Hong et al. 2023, Liu et al. 2023, Mialon et al. 2023, Shen et al. 2023, Shinn et al. 2023, Wang et al. 2023, Xie et al. 2024, Yang et al. 2024, Yao et al. 2023, Zhou et al. 2023