논문으로 읽는 인공지능의 역사
English

규모·정렬·안전

스케일링 법칙, 인간 피드백 강화학습, 안전 문제 제기.

규모·정렬·안전 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024
실선은 인용이 확인된 선(OpenAlex 또는 인용한 논문의 참고문헌 목록), 점선은 교과서가 말하는 영향이지만 인용이 확인되지 않은 선. 세로 위치는 주제 묶음.
연도첫 저자제목장
2013Szegedy et al.Intriguing properties of neural networks5장 딥러닝 2012–17
2016Amodei et al.Concrete Problems in AI Safety5장 딥러닝 2012–17
2017Christiano et al.Deep reinforcement learning from human preferences5장 딥러닝 2012–17
2017Hestness et al.Deep Learning Scaling is Predictable, Empirically6장 사전학습·생성 2017–22
2020Kaplan et al.Scaling Laws for Neural Language Models6장 사전학습·생성 2017–22
2020Stiennon et al.Learning to summarize from human feedback6장 사전학습·생성 2017–22
2021Fedus et al.Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity6장 사전학습·생성 2017–22
2021Bender et al.On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?6장 사전학습·생성 2017–22
2022Hoffmann et al.Training Compute-Optimal Large Language Models6장 사전학습·생성 2017–22
2022Ouyang et al.Training language models to follow instructions with human feedback6장 사전학습·생성 2017–22
2022Chowdhery et al.PaLM: Scaling Language Modeling with Pathways6장 사전학습·생성 2017–22
2022Wei et al.Emergent Abilities of Large Language Models6장 사전학습·생성 2017–22