딥러닝 (2012–2017)

2012년

Krizhevsky–Sutskever–Hinton의 「ImageNet Classification with Deep Convolutional Neural Networks」는 2012년 12월 NIPS에서 발표되었다. 합성곱 5층과 완전연결 3층, 매개변수 6천만 개의 망을 비포화 뉴런과 GPU 합성곱 구현과 드롭아웃으로 훈련해 LSVRC-2010 시험에서 top-5 오류 17.0%, ILSVRC-2012에서는 앙상블로 15.3%를 냈다는 보고다. 한 달 앞서 11월 『IEEE Signal Processing Magazine』의 「Deep Neural Networks for Acoustic Modeling in Speech Recognition」은 토론토·MSR·구글·IBM 네 그룹이 공유하는 견해로서 DNN 음향 모델이 TIMIT와 다섯 개 대어휘 과제에서 GMM-HMM을 앞섰다고 썼다. Cireşan 외의 다열 심층망(2012년 2월 13일 arXiv v1; CVPR 2012)과 Le 외의 대규모 비지도 특징 학습(2011년 12월 29일 arXiv v1; ICML 2012)이 같은 무렵에 있다. 후자는 표지 없는 영상 1천만 장으로 얼굴에 반응하는 단위를 얻었다고 보고했다. 4장의 조건 — ImageNet, GPU 훈련, 정류 선형 단위, 층별 초기화 — 이 한자리에 모인 해다.

표현을 배우다 (2013–2014)

Mikolov 외의 word2vec(2013년 1월 16일 arXiv v1)는 매우 큰 말뭉치에서 적은 계산으로 단어 벡터를 학습하는 CBOW와 스킵그램을 제안했고, 같은 해 10월의 후속 논문이 음성 표집과 구 벡터를 더했다. Pennington–Socher–Manning의 GloVe(2014년 10월, EMNLP)는 동시 출현 행렬로 같은 일을 했다. 이 세 편이 4장 Bengio 2003의 분산 표현을 실용으로 옮긴 자리다. Graves의 순서열 생성(2013년 8월 4일)은 LSTM이 자료점을 하나씩 예측해 손글씨를 합성하는 것을 보였고, Graves–Wayne–Danihelka의 신경 튜링 기계(2014년 10월 20일)는 망을 외부 기억에 주의 기제로 결합했고, 닷새 앞선 Weston–Chopra–Bordes의 기억망(2014년 10월 15일)은 읽고 쓸 수 있는 장기 기억을 추론 요소와 결합해 질의응답에 썼다. 두 논문이 7장의 「기억」 갈래의 원문이다.

시각에서는 R-CNN(2013년 11월 11일 arXiv v1; CVPR 2014)이 영역 제안에 CNN을 적용해 검출을 바꾸었고, VGG(2014년 9월 4일)와 GoogLeNet(2014년 9월 17일)이 깊이를 16~22층으로 밀었다. Szegedy 외의 「Intriguing properties of neural networks」(2013년 12월 21일)는 거의 지각되지 않는 섭동으로 망을 오분류시킬 수 있음을 보여 적대적 예시 연구를 열었다. 훈련 쪽에서는 드롭아웃(2014년 6월, 『JMLR』), Adam(2014년 12월 22일), 배치 정규화(2015년 2월 11일), 층 정규화(2016년 7월 21일)가 뒤의 망들이 널리 쓰는 손잡이가 되었다.

생성 모델 셋

Kingma–Welling의 변분 오토인코더(2013년 12월 20일), Goodfellow 외의 생성 적대망(2014년 6월 10일), Sohl-Dickstein 외의 확산 모델(2015년 3월 12일)이 두 해 사이에 나왔다. 세 논문은 서로 다른 길로 같은 문제를 푼다 — 자료 분포에서 새 표본을 내는 모델을 기울기로 훈련하기. GAN은 생성자와 판별자의 최소최대 게임으로, VAE는 변분 하한의 재매개변수화로, 확산은 구조를 천천히 파괴하는 전방 과정의 역을 배우는 것으로. DCGAN(2015년 11월 19일)과 WaveNet(2016년 9월 12일)이 각각 영상과 원시 오디오에서 그 길을 이었다.

번역에서 어텐션으로

Cho 외의 RNN 인코더-디코더(2014년 6월 3일)와 Sutskever–Vinyals–Le의 seq2seq(2014년 9월 10일)가 한 RNN으로 문장을 벡터에 넣고 다른 RNN으로 꺼내는 틀을 세웠다. Bahdanau–Cho–Bengio(2014년 9월 1일)는 그 고정 길이 벡터를 병목으로 보고, 목표 단어마다 원문의 관련 위치를 부드럽게 탐색하는 확장을 제안했다 — 「정렬과 번역을 함께 학습하는」 이 기제가 어텐션이다. Luong 외(2015년 8월 17일)가 전역·국소 어텐션으로 다듬었고, Sennrich 외의 하위 단어 단위(2015년 8월 31일)가 희귀 단어 문제를 바이트 쌍 부호화로 풀었다. 구글의 GNMT(2016년 9월 26일)는 그 전부를 8층 LSTM 서비스로 묶었다. 그리고 Vaswani 외의 「Attention Is All You Need」(2017년 6월 12일 arXiv v1; NIPS 2017)가 순환을 걷어냈다. 영→독 28.4 BLEU, 영→불 41.8 BLEU. 6장의 언어 모델들이 이 구조 위에 선다.

심층 강화학습

Mnih 외의 「Playing Atari with Deep Reinforcement Learning」(2013년 12월 19일)은 Q-학습의 변형으로 합성곱망을 훈련해 원시 픽셀에서 일곱 게임을 배웠고, 『Nature』 판(2015년 2월 25일)은 2013년 판에 이미 있던 경험 재생에 주기적으로 갱신하는 목표망을 더해, 49개 게임 중 대부분에서 전문 시험자에 견줄 수준에 이르렀다고 보고했다. 두 논문은 4장 TD-Gammon을 인용하며, 『Nature』 판은 2013년 프리프린트를 참고문헌에 넣지 않았다. TRPO(2015년 2월 19일)와 DDPG(2015년 9월 9일)는 정책 경사를 연속 행동과 큰 망으로 확장했고, Mnih 외의 A3C(2016년 2월 4일)는 경험 재생 대신 여러 행위자-학습자를 비동기로 돌려 다중 코어 CPU 한 대로 아타리 최고 성능을 넘었다. Schulman 외의 PPO(2017년 7월 20일)는 확률비를 잘라 낸 대리 목적으로 TRPO를 단순화했다 — 6장의 인간 피드백 강화학습이 쓰는 알고리듬이다. Christiano 외의 「Deep reinforcement learning from human preferences」(2017년 6월 12일)는 궤적 조각 쌍에 대한 사람의 선호로 보상 모델을 배우고 그 보상으로 정책을 훈련해, 참 보상 없이 아타리와 MuJoCo 과제를 배웠다. 참고문헌에서 Amodei 외 2016과 DQN을 인용하며, 6장 InstructGPT의 직접 전신이다. Silver 외의 알파고(2016년 1월 27일 『Nature』 온라인)는 지도학습 정책망·강화학습 정책망·가치망을 4장의 몬테카를로 트리 탐색과 결합해 유럽 챔피언을 5대 0으로 이겼고, 알파고 제로(2017년 10월 19일)는 인간 기보 없이 자기 대국만으로 그 알파고를 100대 0으로 이겼다. 알파고 논문은 Sutton 1988과 Sutton 1999를 인용한다.

경계에서

He 외의 잔차 학습(2015년 12월 10일)은 층이 입력에 대한 잔차를 배우게 해 152층을 훈련했고 앙상블의 ImageNet top-5 오류 3.57%로 ILSVRC 2015에서 1위를 했다 — 잔차 연결의 우선권 상자가 이 아래에 있다. 증류(2015년 3월 9일)는 큰 모델의 지식을 작은 모델로 옮기는 훈련이고, LeCun–Bengio–Hinton의 『Nature』 리뷰(2015년 5월 27일)와 Schmidhuber의 『Neural Networks』 개관(2014년 4월 30일 arXiv v1; 2015년 1월호)은 같은 해에 같은 분야의 역사를 서로 다르게 썼다. 후자의 참고문헌 888건에서 이 판의 논문 47편과의 인용선이 확인되었다(OpenAlex 41·원문 6). Shazeer 외의 희소 게이트 전문가 혼합(2017년 1월 23일; ICLR 2017)은 4장 Jacobs 1991의 전문가 혼합을 되살려, 게이트망이 예마다 수천 전문가 가운데 희소한 조합을 고르게 해 1370억 매개변수의 언어 모델을 만들었다 — 6장 스위치 트랜스포머의 전신이다. Amodei 외의 「Concrete Problems in AI Safety」(2016년 6월 21일)는 부작용·보상 해킹·안전한 탐색·분포 이동을 연구 문제로 세워 6장의 정렬 연구로 이어진다. 구글 TPU 논문(2017년 4월 16일 arXiv v1; ISCA 2017)은 이 장에서 유일한 하드웨어 점이다. 2015년부터 구글 데이터센터에 배치된 추론용 ASIC을 당시 CPU·GPU와 비교했다.

이 장에서 확인한 것과 못 한 것

46편을 모두 읽었다. arXiv 논문은 내려받은 최신 판으로 읽었으므로 인용문의 쪽은 그 판의 것이다 — 카드에 판 번호를 적었다. Nature 논문 네 편(DQN, 리뷰, 알파고, 알파고 제로)은 출판사 조판본 또는 저자 원고를 저자·연구소·대학 저장소에서 읽었다. 후보 가운데 Faster R-CNN·YOLO·U-Net·Highway Networks·Show-Attend-Tell·GCN·DeepStack은 기준을 넘지 못했다.