데이터에서 일반화를 보장할 수 있는가.
핵심
Brown 외의 「A statistical approach to machine translation」(1990년 6월, 『Computational Linguistics』)은 번역을 Pr(S)Pr(T|S)를 최대로 하는 원문 S를 고르는 문제로 세웠다. 언어 모델과 번역 모델의 곱 — 이 한 줄의 분해가 이후 30년 통계적·신경망 번역의 뼈대다. 논문은 3장의 EM 알고리즘을 인용한다. 2001년 6월 ICML의 조건부 확률장(Lafferty–McCallum–Pereira)은 순서열의 표지와 분할을 조건부 확률로 모델링해 최대 엔트로피 마르코프 모델의 표지 편향을 피했고, 2003년 『JMLR』의 잠재 디리클레 할당(Blei–Ng–Jordan)은 문서를 주제들의 혼합으로 보는 3수준 베이즈 모델을 세웠다. 같은 해 같은 저널의 Bengio 외 「A Neural Probabilistic Language Model」(2003년 2월)이 단어의 분산 표현과 단어 열의 확률을 한 신경망으로 함께 학습했다. 「차원의 저주와 싸우기 위해 단어의 분산 표현을 학습한다」는 문장이 5장의 word2vec과 6장의 언어 모델이 돌아가 인용하는 자리다.
Boser–Guyon–Vapnik(1992년 7월, COLT)은 최대 마진 분류기의 훈련 알고리즘으로, 이 판에서는 원문을 열지 못했다. 그것을 분리 불가능한 자료로 확장한 Cortes–Vapnik의 「Support-vector networks」(1995년 9월, 『Machine Learning』)는 읽었다. 「서포트 벡터 망은 두 집단 분류 문제를 위한 새 학습 기계다.」 입력을 매우 높은 차원의 특징 공간으로 비선형 사상하고 거기서 선형 결정면을 긋는다는 설명과 함께, 참고문헌에 1986년 『Nature』 역전파 논문이 (제목이 잘못 적힌 채) 들어 있다. Tibshirani의 라소(1996, 『JRSS B』)는 계수 절댓값의 합에 제약을 두어 일부 계수를 정확히 0으로 만드는 선형 모델 추정법이고, Breiman의 「Random Forests」(2001년 10월)는 독립 동일 분포의 확률 벡터로 키운 나무들의 다수결로 분류하며 나무를 더할수록 일반화 오류가 수렴함을 보였다. 세 편은 모두 「왜 일반화되는가」를 수학으로 묻는다. 3장 Valiant의 물음에 대한 1990년대와 2001년의 답들이다.
1992년 5월 『Machine Learning』 한 호에 두 편이 실렸다. Watkins–Dayan의 「Q-learning」은 1989년 학위논문이 개요만 적었던 수렴 증명을 완성했다 — 행동 가치를 이산으로 표현하고 모든 상태에서 모든 행동이 반복 표집되면(학습률 조건 아래) 확률 1로 최적 행동 가치에 수렴한다. Williams의 REINFORCE는 확률적 단위 망의 가중치 조정이 기대 강화의 기울기 방향을 따름을 보였고, 3장 Barto 1983을 인용한다. Tesauro의 TD-Gammon(1995년 3월, 『CACM』)은 자기 대국과 TD(λ)로 스스로 훈련한 망이 백개먼을 두게 된 보고로, 5장 DQN 두 논문이 인용한다. ACM 게재본을 열지 못해 저자 허락을 받은 전사본으로 읽었다. Kaelbling–Littman–Cassandra(1998년 5월, 『Artificial Intelligence』)는 부분 관측 마르코프 결정 과정을 AI의 행동 선택 문제에 끌어왔다. Sutton–Barto의 『Reinforcement Learning: An Introduction』(1998, MIT Press)은 「핵심 발상과 알고리즘을 명료하고 단순하게 설명」하겠다는 서문대로 이 계보를 한 틀에 모은 책이고, 이 판의 다른 논문 12편이 인용하는, 목록 안에서 가장 많이 인용된 책이다. 이듬해 Sutton 외의 정책 경사 정리(NIPS 12)는 정책을 함수 근사기로 두고 기대 보상의 기울기를 근사 행동 가치로 추정할 수 있음을 보였다. 5장 AlphaGo가 이 두 편을 인용한다.
Hochreiter의 뮌헨공대 학위논문(1991년 6월 15일, 독일어)은 순환망의 역전파가 먼 과거의 입력을 배우지 못하는 까닭을 오류 신호의 역방향 흐름으로 분석하고 「기억 단위」 구조를 제안했다. Bengio–Simard–Frasconi(1994년 3월, 『IEEE TNN』)는 같은 문제를 다른 길로 보였다 — 의존 관계의 시간 폭이 길수록 기울기 학습은 어려워진다. 두 분석의 답이 Hochreiter–Schmidhuber의 「Long Short-Term Memory」(1997년 11월 1일, 『Neural Computation』)다. 곱셈 게이트가 접근을 통제하는 단위 안에서 오류 흐름을 일정하게 유지해 1000단계가 넘는 간격을 이어 준다. 같은 달 Schuster–Paliwal의 양방향 RNN이 나왔다. Jacobs 외의 「Adaptive Mixtures of Local Experts」(1991년 2월)는 여러 전문가 망과 게이트 망의 조합으로, 6장의 희소 전문가 혼합이 돌아가 인용하는 원문이다.
LeCun–Bottou–Bengio–Haffner의 「Gradient-based learning applied to document recognition」(1998년 11월, 『Proceedings of the IEEE』)은 「손으로 설계한 특징 추출을 픽셀 영상에 직접 작동하는 학습 기계로 대체할 수 있다」고 썼다. 3장의 1989년 우편번호 논문을 잇는 이 논문(LeNet)은 실제 배치된 은행 수표 판독기까지 기술한다. Hinton의 대조 발산(2000년 기술 보고서, 2002년 8월 『Neural Computation』)이 전문가 곱을 훈련하는 방법을 주고, 2006년에 세 편이 잇따른다. Hinton–Osindero–Teh의 심층 신뢰망(2006년 7월)은 상보적 사전분포로 깊은 망을 한 층씩 학습했고, Hinton–Salakhutdinov(2006년 7월 28일, 『Science』)는 같은 층별 사전훈련으로 깊은 오토인코더가 PCA보다 나은 저차원 부호를 얻음을 보였으며, Bengio 외(NIPS 2006, 12월)는 그 탐욕적 층별 전략이 「주로 최적화를 돕는다」는 가설을 실험으로 확인했다. Glorot–Bengio의 초기화(2010년 5월, AISTATS)와 Nair–Hinton의 정류 선형 단위(2010년 6월, ICML)는 뒤의 깊은 망이 쓰게 되는 두 손잡이 — 초기화 방식과 정류 단위(이 논문에서는 RBM에 도입) — 를 제시했다. Raina–Madhavan–Ng(2009년 6월, ICML)는 그래픽 처리기가 다중 코어 CPU를 훨씬 넘어서며 심층 비지도학습의 적용 범위를 바꿔 놓을 잠재력이 있다고 논하고, 심층 신뢰망 학습을 최대 70배 빠르게 했다고 보고했다. 참고문헌에서 2006년의 두 Hinton 논문을 인용한다. Cireşan 외(2010년 3월 1일 arXiv v1; 『Neural Computation』)는 GPU로 훈련한 크고 단순한 다층 퍼셉트론이 비지도 사전훈련 없이 MNIST에서 0.35% 오류를 냈다고 보고했다.
Campbell–Hoane–Hsu의 「Deep Blue」(2002년 1월)는 1997년 카스파로프를 이긴 기계의 탐색 엔진·평가 함수·기보 데이터베이스를 기술했다. 2006년에는 바둑에서 다른 길이 열렸다. Coulom(5월, 토리노)은 평균에서 최소최대로 옮겨 가는 백업 연산자로 트리 탐색과 몬테카를로 평가를 결합했고, Kocsis–Szepesvári의 UCT(9월, ECML)는 밴딧 발상으로 그 탐색을 이끌었다. 5장 AlphaGo의 탐색이 이 두 편에서 온다. Mikolov 외의 순환 신경망 언어 모델(2010년 9월 26일, Interspeech)과 Collobert 외의 「Natural Language Processing (almost) from Scratch」(2011년 3월 2일 arXiv, 『JMLR』)는 언어 처리에서 특징 공학을 신경망 표현으로 바꾸기 시작한 두 점이다. 그리고 Deng 외의 「ImageNet」(2009년 6월, CVPR)이 WordNet 계층으로 조직한 영상 320만 장을 메커니컬 터크로 모았다고 보고했다. 이 데이터베이스 없이 5장은 시작되지 않는다.
Schapire의 「The strength of weak learnability」(1989년 FOCS 발표, 1990년 『Machine Learning』)는 무작위 추측보다 조금 나은 약한 학습기가 임의로 높은 정확도의 강한 학습기와 동치임을 구성적으로 증명했고, 3장 Valiant 1984를 인용한다. Freund–Schapire의 AdaBoost(1995년 3월 EuroCOLT 발표, 1997년 『JCSS』)는 곱셈 가중치 갱신으로 약한 학습기의 성능에 관한 사전 지식이 필요 없는 부스팅 알고리듬을 끌어냈다 — 이 판은 저자 원고로 읽었다. 4장의 조건부 확률장과 후보 Viola–Jones가 이 논문을 인용한다. Quinlan의 『C4.5』(1993)는 3장 ID3의 후속 책으로, 읽지 못했다. Breiman의 「Bagging predictors」는 1994년 9월 버클리 통계학과 기술 보고서 421호로 먼저 나와 1996년 8월 『Machine Learning』에 실렸다. 부트스트랩 복제본마다 예측기를 만들어 평균이나 다수결로 합치는 방법으로, 예측 방법이 불안정할 때 정확도가 오른다고 밝혔다 — 2001년 랜덤 포레스트의 전신이다.
두 사건이 통계 학습 시대의 끝에 있다. Thrun 외의 「Stanley」(2006년 9월 25일, 『Journal of Field Robotics』)는 2005년 DARPA 그랜드 챌린지 사막 코스를 가장 먼저 완주한 자율 주행차를 기술하며, 그 소프트웨어를 기계학습과 확률 추론 위에 세웠다고 적는다. Schaeffer 외의 「Checkers Is Solved」(2007년 7월 19일, 『Science』)는 1989년부터 거의 쉬지 않고 돌린 종반 데이터베이스와 증명 트리 탐색으로 체커가 약하게 풀렸음 — 시작 국면에서 양쪽이 완벽하게 두면 무승부 — 을 증명했다고 발표했다. 참고문헌에 Shannon 1950이 있다 — 1장에서 시작한 「게임으로 지능을 재는」 계보의 한 종점이다.
41편 가운데 원문을 읽은 것이 35편이다. C4.5는 읽지 못했고, Raina 2009는 ICML 논문집의 보존본으로, 배깅은 저널 OA 판으로 읽었다. Boser 1992는 읽지 못했고, Bengio 1994는 저자 예고판, Russell–Norvig는 4판 서문, Deep Blue는 2001년 8월 저자 원고로 읽었다. Sutton–Barto 1998은 저자 사이트의 1판 HTML로 읽어 쪽이 없다. 이 시기 후보 가운데 PageRank(1999), SIFT(1999), 기울기 부스팅(2001), Viola–Jones(2001), Breiman의 「두 문화」(2001), 「자료의 비합리적 효과」(2009), Watson(2010)은 기준을 넘지 못했다 — 통계 학습과 검색 쪽 논문이 여럿 빠졌다는 뜻이며, 기준 문헌이 AI·신경망 교과서에 치우쳐 있다는 한계로 적어 둔다.
In this paper, it is shown that these two notions of learnability are equivalent.p. 197
이 논문에서는 이 두 학습 가능성 개념이 동치임을 보인다.
무엇을 바꿨나. 분포 무관(PAC) 모델에서 약한 학습 가능성(무작위 추측보다 조금 나은 가설)과 강한 학습 가능성이 동치임을 증명한다. 예 분포를 걸러 약한 학습 알고리듬을 임의로 높은 정확도의 알고리듬으로 바꾸는 구성적 방법을 준다.
이 목록의 논문 중 인용한 것: Valiant 1984
이 목록의 논문 중 이 논문을 인용한 것: Freund & Schapire 1995, LeCun et al. 1998, Schmidhuber 2014
In this paper, we present a statistical approach to machine translation.79
이 논문에서 우리는 기계 번역에 대한 통계적 접근을 제시한다.
무엇을 바꿨나. 번역을 Pr(S)Pr(T|S)를 최대로 하는 원문 S를 고르는 문제로 세우고, 언어 모델과 번역 모델을 결합한다. 이 접근을 프랑스어→영어 번역에 적용한 예비 결과를 준다.
이 목록의 논문 중 인용한 것: Dempster et al. 1976
이 목록의 논문 중 이 논문을 인용한 것: Touvron et al. 2023, Wu et al. 2016
We present a new supervised learning procedure for systems composed of many separate networks, each of which learns to handle a subset of the complete set of training cases.79
우리는 여러 개의 별도 망으로 이루어진 체계를 위한 새 지도학습 절차를 제시한다. 각 망은 훈련 사례 전체의 한 부분집합을 다루도록 학습한다.
무엇을 바꿨나. 별도의 「전문가」 망들과 각 훈련 사례를 어느 전문가가 맡을지 정하는 게이트 망으로 이루어진 체계의 지도학습 절차를 제안한다. 다층 지도망의 모듈판이자 경쟁 학습의 연합판으로 기술하며, 모음 변별 과제를 하위 과제로 나누는 모습을 보인다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Fedus et al. 2021, Hinton et al. 2015, Shazeer et al. 2017
In dieser Arbeit wird untersucht, wie man an das Problem der langen Lernzeit bei Netzeingaben, welche später noch Einfluß auf die gewünschte Ausgabe haben sollen, herangehen kann.1
이 논문에서는 나중의 원하는 출력에 영향을 미쳐야 하는 망 입력에 대해 학습 시간이 길어지는 문제에 어떻게 접근할 수 있는지를 조사한다.
무엇을 바꿨나. 순환망의 역전파 학습이 먼 과거의 입력을 쓰는 법을 배우는 데 오래 걸리는 까닭을 오류 신호의 역방향 흐름으로 분석하고, 관련 정보를 보존하며 입력 열을 줄이는 방법과 임의로 긴 시간 동안 정보를 나르는 「기억 단위」 구조를 해법으로 조사한다.
이 목록의 논문 중 인용한 것: Barto et al. 1983, Minsky & Papert 1969, Samuel 1959
이 목록의 논문 중 이 논문을 인용한 것: Bahdanau et al. 2014, Ciresan et al. 2010, Hochreiter & Schmidhuber 1995, LeCun et al. 2015, Schmidhuber 2014, Sutskever et al. 2014
We show that Q-learning converges to the optimum action-values with probability 1 so long as all actions are repeatedly sampled in all states and the action-values are represented discretely.279
우리는 모든 상태에서 모든 행동이 반복해서 표집되고 행동 가치가 이산적으로 표현되는 한, Q-학습이 확률 1로 최적 행동 가치에 수렴함을 보인다.
무엇을 바꿨나. Watkins(1989)가 개요만 적은 Q-학습 수렴 증명을 이 기술 노트에서 상세히 제시한다. 모든 상태에서 모든 행동이 반복 표집되고 행동 가치가 이산이면 확률 1로 최적 행동 가치에 수렴하며, 비할인 흡수 환경과 한 반복에 여러 Q값을 바꾸는 경우로의 확장을 개관한다.
이 목록의 논문 중 인용한 것: Sutton 1988, Watkins 1989
이 목록의 논문 중 이 논문을 인용한 것: Lillicrap et al. 2015, Mnih et al. 2013, Mnih et al. 2015, Schmidhuber 2014, Sutton & Barto 1998
This article presents a general class of associative reinforcement learning algorithms for connectionist networks containing stochastic units.229
이 논문은 확률적 단위를 포함하는 연결주의 망을 위한 일반적 부류의 연합 강화학습 알고리즘을 제시한다.
무엇을 바꿨나. 확률적 단위 망을 위한 연합 강화학습 알고리즘 부류인 REINFORCE를 제시하고, 즉시 강화 과제와 일부 지연 강화 과제에서 그 가중치 조정이 기울기 추정을 명시적으로 계산하지 않고도 기대 강화의 기울기 방향을 따름을 보인다. 역전파와의 결합도 보인다.
이 목록의 논문 중 인용한 것: Barto et al. 1983, Sutton 1988, Watkins 1989, Werbos 1974
이 목록의 논문 중 이 논문을 인용한 것: Mnih et al. 2016, Schmidhuber 2014, Schulman et al. 2017, Silver et al. 2016, Sutton & Barto 1998, Sutton et al. 1999
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Cortes & Vapnik 1995, LeCun et al. 1998
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: 없음
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.1 (author preprint)
우리는 포착해야 할 의존 관계의 지속 시간이 길어질수록 기울기 기반 학습 알고리즘이 왜 점점 더 어려운 문제에 부딪히는지를 보인다.
무엇을 바꿨나. 순환망의 기울기 기반 학습이 포착할 의존 관계의 시간 폭이 길어질수록 어려워지는 까닭을 보인다. 기울기 하강의 효율적 학습과 정보를 오래 붙들어 두는 것 사이의 상충을 드러내고, 표준 기울기 하강의 대안을 검토한다.
이 목록의 논문 중 인용한 것: Kirkpatrick et al. 1983
이 목록의 논문 중 이 논문을 인용한 것: Bahdanau et al. 2014, Glorot & Bengio 2010, Graves 2013, He et al. 2015, Hochreiter & Schmidhuber 1995, LeCun et al. 1998, LeCun et al. 2015, Mikolov et al. 2010, Schmidhuber 2014, Sutskever et al. 2014
Bagging predictors is a method for generating multiple versions of a predictor and using these to get an aggregated predictor.p. 123
배깅 예측기는 예측기의 여러 판을 만들고 그것들로 통합 예측기를 얻는 방법이다.
무엇을 바꿨나. 학습 집합의 부트스트랩 복제본마다 예측기를 만들어 평균(수치)이나 다수결(부류)로 결합하는 배깅(부트스트랩 통합)을 도입한다. 분류·회귀 나무와 선형 회귀의 부분집합 선택에서 정확도 향상을 보이고, 예측 방법의 불안정성이 배깅이 정확도를 높이는 조건임을 밝힌다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Breiman 2001, Schmidhuber 2014
In the second part of the paper we apply the multiplicative weight-update technique to derive a new boosting algorithm.p. 1 (author manuscript)
논문의 둘째 부분에서는 곱셈 가중치 갱신 기법을 적용해 새 부스팅 알고리듬을 끌어낸다.
무엇을 바꿨나. Littlestone–Warmuth의 곱셈 가중치 갱신 규칙을 일반적인 결정 이론적 온라인 배분 설정(Hedge 알고리듬)에 맞춘다. 그 기법으로 약한 학습기의 성능에 관한 사전 지식이 필요 없는 부스팅 알고리듬(AdaBoost)을 끌어내고 다중 부류·실수값 출력으로 확장한다.
이 목록의 논문 중 인용한 것: Schapire 1989
이 목록의 논문 중 이 논문을 인용한 것: Lafferty et al. 2001
This article presents a game-learning program called TD-Gammon.page unknown
이 글은 TD-Gammon이라는 게임 학습 프로그램을 제시한다.
무엇을 바꿨나. 자기 대국의 결과로부터 TD(λ) 알고리듬으로 스스로를 백개먼 평가 함수로 훈련하는 신경망 TD-Gammon을 제시했다. 전문가 기보에 역전파로 훈련한 저자의 앞선 망 Neurogammon과 비교하고, 이 영역에서 TD 학습이 작동한 까닭을 논한다.
이 목록의 논문 중 인용한 것: Hornik et al. 1988, Samuel 1959, Shannon 1949, Sutton 1988
이 목록의 논문 중 이 논문을 인용한 것: Mnih et al. 2013, Mnih et al. 2015, Sutton & Barto 1998
This article presents long short-term memory (LSTM), a novel recurrent network architecture in conjunction with an appropriate gradient-based learning algorithm.1736
이 논문은 적절한 기울기 기반 학습 알고리즘과 결합한 새 순환망 구조인 장단기 기억(LSTM)을 제시한다.
무엇을 바꿨나. 곱셈 게이트가 접근을 통제하는 특수 단위 안의 상수 오류 회전목마로 오류 흐름을 일정하게 유지하는 순환 구조 LSTM과 그 기울기 기반 학습 알고리즘을 도입한다. 1000단계가 넘는 시간 간격을 이어 주며, RTRL·BPTT 등 다른 순환 방법과 비교한 실험을 싣는다.
이 목록의 논문 중 인용한 것: Bengio et al. 1994, Elman 1988, Hochreiter 1991
이 목록의 논문 중 이 논문을 인용한 것: Bahdanau et al. 2014, Bommasani et al. 2021, Cho et al. 2014, Ciresan et al. 2010, Fedus et al. 2021, Graves 2013, Graves et al. 2014, He et al. 2015, LeCun et al. 2015, Mnih et al. 2016, Peters et al. 2018, Schmidhuber 2014, Shazeer et al. 2017, Sutskever et al. 2014, Sutton & Barto 1998, Touvron et al. 2023, van den Oord et al. 2016, Vaswani et al. 2017, Wei et al. 2022, Weston et al. 2014, Wu et al. 2016
The main unifying theme is the idea of an intelligent agent.vii (4th edition, 2021)
통합의 주된 주제는 지능 에이전트라는 발상이다.
무엇을 바꿨나. 환경에서 지각을 받아 행동하는 지능 에이전트라는 발상을 중심으로 AI를 조직하고, 에이전트 함수를 표현하는 여러 방식을 다루는 교과서다(인용문은 1995년판이 아니라 4판 서문에서 가져왔다).
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Ciresan et al. 2010, Kapoor et al. 2024, Schmidhuber 2014, Sutton & Barto 1998
The support-vector network is a new learning machine for two-group classification problems.273
서포트 벡터 망은 두 집단 분류 문제를 위한 새 학습 기계다.
무엇을 바꿨나. 입력 벡터를 매우 높은 차원의 특징 공간으로 비선형 사상하고 거기서 선형 결정면을 만드는 서포트 벡터 망을 기술하고, 분리 가능한 훈련 자료에 쓰이던 방법을 분리 불가능한 자료로 확장한다. 다항식 입력 변환 결과와 OCR 벤치마크에서의 고전 알고리즘과의 비교를 보고한다.
이 목록의 논문 중 인용한 것: Boser et al. 1992, Rumelhart et al. 1986
이 목록의 논문 중 이 논문을 인용한 것: 없음
We propose a new method for estimation in linear models.267
우리는 선형 모델의 추정을 위한 새 방법을 제안한다.
무엇을 바꿨나. 계수 절댓값의 합이 상수 이하라는 제약 아래 잔차 제곱합을 최소화해 일부 계수가 정확히 0이 되게 하는 라소를 제안하고, 부분집합 선택·능형 회귀와 비교한 모의실험을 보고한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Raina et al. 2009, Srivastava et al. 2014
In the first part of this paper, a regular recurrent neural network (RNN) is extended to a bidirectional recurrent neural network (BRNN).2673
이 논문의 첫 부분에서는 보통의 순환 신경망(RNN)을 양방향 순환 신경망(BRNN)으로 확장한다.
무엇을 바꿨나. 보통의 RNN을 양의 시간 방향과 음의 시간 방향으로 동시에 훈련하는 양방향 RNN으로 확장해, 미리 정한 미래 프레임까지의 입력 정보에 제한되지 않게 한다. 인공 자료와 TIMIT 음소 실험을 보고하고, 완전한 기호 열의 조건부 사후확률을 추정하도록 구조를 바꾼다.
이 목록의 논문 중 인용한 것: Waibel et al. 1987
이 목록의 논문 중 이 논문을 인용한 것: Bahdanau et al. 2014, Schmidhuber 2014, Wu et al. 2016
We then outline a novel algorithm for solving POMDPs off line and show how, in some cases, a finite-memory controller can be extracted from the solution to a POMDP.99
이어서 우리는 POMDP를 오프라인으로 푸는 새 알고리즘을 개관하고, 어떤 경우에는 POMDP의 해에서 유한 기억 제어기를 끌어낼 수 있음을 보인다.
무엇을 바꿨나. 마르코프 결정 과정과 부분 관측 MDP에 대한 운영과학 기법을 부분 관측 확률적 영역에서의 행동 선택 문제에 끌어온다. POMDP를 오프라인으로 푸는 알고리즘을 개관하고, 어떤 경우에는 그 해에서 유한 기억 제어기를 끌어낼 수 있음을 보인다.
이 목록의 논문 중 인용한 것: Rabiner 1989
이 목록의 논문 중 이 논문을 인용한 것: Amodei et al. 2016, Mnih et al. 2015, Schmidhuber 2014
Our goal in writing this book was to provide a clear and simple account of the key ideas and algorithms of reinforcement learning.Preface (HTML edition, page unknown)
이 책을 쓴 우리의 목표는 강화학습의 핵심 발상과 알고리즘을 명료하고 단순하게 설명하는 것이었다.
무엇을 바꿨나. 강화학습의 핵심 발상과 알고리즘을 주로 인공지능과 공학의 관점에서 설명하는 책이다. 시간차 학습, 동적 계획법, 함수 근사를 목표 달성을 위한 상호작용 학습이라는 하나의 틀 안에 놓는다.
이 목록의 논문 중 인용한 것: Barto et al. 1983, Bellman 1957, Hochreiter & Schmidhuber 1995, Holland 1975, Kirkpatrick et al. 1983, Minsky 1961, Russell & Norvig 1995, Samuel 1959, Shannon 1949, Sutton 1988, Tesauro 1995, Watkins 1989, Watkins & Dayan 1992, Werbos 1982, Widrow & Hoff 1960, Williams 1992
이 목록의 논문 중 이 논문을 인용한 것: Amodei et al. 2016, Coulom 2006, Fedus et al. 2021, Mnih et al. 2013, Mnih et al. 2015, Mnih et al. 2016, Schmidhuber 2014, Schrittwieser et al. 2019, Shinn et al. 2023, Silver et al. 2016, Silver et al. 2017, Sutton et al. 1999
Using character recognition as a case study, we show that hand-crafted feature extraction can be advantageously replaced by carefully designed learning machines that operate directly on pixel images.p. 1 (HAL re-typeset copy; journal p. 2278 not seen)
문자 인식을 사례 연구로 삼아, 손으로 설계한 특징 추출을 픽셀 영상에 직접 작동하는 신중히 설계된 학습 기계로 유리하게 대체할 수 있음을 보인다.
무엇을 바꿨나. 손글씨 문자 인식 방법들을 검토하고 표준 숫자 과제에서 합성곱 신경망이 비교 대상 기법들을 앞섰다고 보고한다. 여러 모듈로 이루어진 문서 인식 체계를 기울기 기반으로 전역 훈련하는 그래프 변환망을 도입하고, 실제 배치된 은행 수표 판독기를 기술한다.
이 목록의 논문 중 인용한 것: Ackley et al. 1985, Bengio et al. 1994, Boser et al. 1992, Cybenko 1989, LeCun et al. 1989, Rabiner 1989, Schapire 1989, Waibel et al. 1987
이 목록의 논문 중 이 논문을 인용한 것: Ciresan et al. 2010, Ciresan et al. 2012, Collobert et al. 2011, Girshick et al. 2013, Glorot & Bengio 2010, Goodfellow et al. 2014, Hinton et al. 2006, Ioffe & Szegedy 2015, Lafferty et al. 2001, Le et al. 2011, LeCun et al. 2015, Mnih et al. 2015, Schmidhuber 2014, Sutskever et al. 2014, Szegedy et al. 2014
Our main new result is to show that the gradient can be written in a form suitable for estimation from experience aided by an approximate action-value or advantage function.p. 1057 (first page unnumbered; next page headed 1058)
우리의 주된 새 결과는 기울기를 경험으로부터 추정하기에 적합한 꼴로, 근사 행동 가치 함수나 이점 함수의 도움을 받아 쓸 수 있음을 보인 것이다.
무엇을 바꿨나. 정책을 고유의 함수 근사기로 표현하고 기대 보상의 기울기를 따라 갱신한다. 그 기울기를 근사 행동 가치나 이점 함수로 추정할 수 있음을 보이고, 미분 가능한 함수 근사를 쓰는 정책 반복의 한 판이 국소 최적 정책으로 수렴함을 증명한다.
이 목록의 논문 중 인용한 것: Barto et al. 1983, Sutton & Barto 1998, Williams 1992
이 목록의 논문 중 이 논문을 인용한 것: Schmidhuber 2014, Silver et al. 2016
Fortunately, a PoE can be trained using a different objective function called “contrastive divergence” whose derivatives with regard to the parameters can be approximated accurately and efficiently.p. 1771
다행히 PoE는 「대조 발산」이라 부르는 다른 목적 함수로 훈련할 수 있는데, 매개변수에 대한 그 도함수는 정확하고 효율적으로 근사할 수 있다.
무엇을 바꿨나. 잠재 변수 모델들의 분포를 곱하고 재정규화해 결합하는 전문가 곱(PoE)을 제안한다. 가능도 최대화 대신 대조 발산이라는 목적을 최소화해 훈련할 수 있음을 보이고, 여러 종류의 전문가와 자료로 예를 든다.
이 목록의 논문 중 인용한 것: Geman & Geman 1984
이 목록의 논문 중 이 논문을 인용한 것: Bengio et al. 2003, Bengio et al. 2006, Hinton et al. 2006, Hinton & Salakhutdinov 2006, Hinton et al. 2012, Nair & Hinton 2010, Raina et al. 2009, Schmidhuber 2014, Sohl-Dickstein et al. 2015
We present conditional random fields, a framework for building probabilistic models to segment and label sequence data.p. 1 of postprint (unnumbered; proceedings p. 282 by position)
우리는 순서 자료를 분할하고 표지하는 확률 모델을 세우는 틀인 조건부 확률장을 제시한다.
무엇을 바꿨나. 순서열의 표지와 분할을 위한 조건부 확률장과 반복적 매개변수 추정 알고리즘을 도입한다. 최대 엔트로피 마르코프 모델의 표지 편향 문제를 피한다고 보고하고, 합성 자료와 품사 태깅에서 HMM·MEMM과 비교한다.
이 목록의 논문 중 인용한 것: Freund & Schapire 1995, LeCun et al. 1998
이 목록의 논문 중 이 논문을 인용한 것: Collobert et al. 2011, Peters et al. 2018
Random forests are a combination of tree predictors such that each tree depends on the values of a random vector sampled independently and with the same distribution for all trees in the forest.p. 5
랜덤 포레스트는 각 나무가 모든 나무에 대해 독립적으로 같은 분포에서 표집된 확률 벡터의 값에 의존하는 나무 예측기들의 조합이다.
무엇을 바꿨나. 독립 동일 분포의 확률 벡터로 키운 나무들이 가장 많은 표를 받은 부류를 고르는 앙상블로 랜덤 포레스트를 정의한다. 나무를 더할수록 일반화 오류가 수렴함을 보이고, 그것을 나무의 강도와 상관에 관련짓고, 아웃오브백 추정과 변수 중요도를 도입한다. 회귀도 다룬다.
이 목록의 논문 중 인용한 것: Breiman 1994
이 목록의 논문 중 이 논문을 인용한 것: Krizhevsky et al. 2012
This paper describes the Deep Blue system, and gives some of the rationale that went into the design decisions behind Deep Blue.p. 1 (manuscript)
이 논문은 딥 블루 체계를 기술하고, 딥 블루의 설계 결정에 들어간 근거의 일부를 제시한다.
무엇을 바꿨나. 1997년 6국 대국에서 가리 카스파로프를 이긴 체스 기계를 기술한다. 단일 칩 탐색 엔진, 다수준 병렬 체계, 탐색 확장, 복잡한 평가 함수, 그랜드마스터 기보 데이터베이스를 다루고, 전신 기계들과 설계 결정의 이유를 함께 적는다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Schrittwieser et al. 2019, Silver et al. 2016, Silver et al. 2018, Yao et al. 2023
We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora.p. 993
우리는 텍스트 말뭉치 같은 이산 자료 모음을 위한 생성 확률 모델인 잠재 디리클레 할당(LDA)을 기술한다.
무엇을 바꿨나. 각 문서를 주제들의 혼합으로 보는 3수준 계층 베이즈 모델인 잠재 디리클레 할당을 도입한다. 변분 추론과 매개변수 추정을 위한 EM 절차를 주고, 문서 모델링·텍스트 분류·협업 필터링 결과를 보고한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Radford et al. 2021
We propose to fight the curse of dimensionality by learning a distributed representation for words which allows each training sentence to inform the model about an exponential number of semantically neighboring sentences.p. 1137
우리는 각 훈련 문장이 의미적으로 이웃한 지수적으로 많은 문장에 관해 모델에 정보를 주도록 하는 단어의 분산 표현을 학습함으로써 차원의 저주와 싸울 것을 제안한다.
무엇을 바꿨나. 각 단어의 분산 표현과 단어 열의 확률 함수를 함께 학습하는 신경망 언어 모델을 제안한다. 두 말뭉치에서 n-그램 모델보다 나은 결과를 보고하고, 더 긴 문맥을 쓸 수 있음을 보인다.
이 목록의 논문 중 인용한 것: Elman 1988, Hinton 2000
이 목록의 논문 중 이 논문을 인용한 것: Bahdanau et al. 2014, Cho et al. 2014, Collobert et al. 2011, LeCun et al. 2015, Mikolov et al. 2010, Mikolov et al. 2013, Mikolov et al. 2013, Pennington et al. 2014, Radford et al. 2019, Radford et al. 2021, Sutskever et al. 2014, Touvron et al. 2023
This paper presents a new framework to combine tree search with Monte-Carlo evaluation, that does not separate between a min-max phase and a Monte-Carlo phase.p. 1 (HAL copy)
이 논문은 트리 탐색과 몬테카를로 평가를 결합하는 새 틀을 제시한다. 이 틀은 최소최대 단계와 몬테카를로 단계를 분리하지 않는다.
무엇을 바꿨나. 모의실험 수가 늘수록 평균에서 최소최대로 옮겨 가는 백업 연산자로 트리 탐색과 몬테카를로 평가를 결합해 모의실험 하나하나의 수준에서 선택성을 얻는다. 이 방법을 쓴 9×9 바둑 프로그램 크레이지 스톤이 제10회 KGS 컴퓨터 바둑 대회에서 우승했다고 보고한다.
이 목록의 논문 중 인용한 것: Sutton 1988, Sutton & Barto 1998
이 목록의 논문 중 이 논문을 인용한 것: Schrittwieser et al. 2019, Silver et al. 2016, Silver et al. 2017
Using complementary priors, we derive a fast, greedy algorithm that can learn deep, directed belief networks one layer at a time, provided the top two layers form an undirected associative memory.p. 1 (author preprint, unnumbered)
상보적 사전분포를 써서 우리는 위의 두 층이 무향 연합 기억을 이룬다는 조건 아래 깊은 유향 신뢰망을 한 층씩 학습하는 빠른 탐욕적 알고리즘을 끌어낸다.
무엇을 바꿨나. 상보적 사전분포로 깊은 유향 신뢰망을 한 층씩 학습하는 탐욕적 알고리즘을 끌어내고, 깨어남-잠듦 알고리즘의 대조판으로 미세 조정한다. 손글씨 숫자와 표지의 은닉 3층 생성 모델이 비교한 판별 방법들보다 MNIST 숫자를 더 잘 분류한다.
이 목록의 논문 중 인용한 것: Hinton 2000, LeCun et al. 1998, Pearl 1988
이 목록의 논문 중 이 논문을 인용한 것: Bengio et al. 2006, Bommasani et al. 2021, Collobert et al. 2011, Glorot & Bengio 2010, Goodfellow et al. 2014, Hinton & Salakhutdinov 2006, Hinton et al. 2012, Le et al. 2011, LeCun et al. 2015, Nair & Hinton 2010, Radford et al. 2018, Raina et al. 2009, Schmidhuber 2014, Srivastava et al. 2014
We describe an effective way of initializing the weights that allows deep autoencoder networks to learn low-dimensional codes that work much better than principal components analysis as a tool to reduce the dimensionality of data.p. 504
우리는 깊은 오토인코더 망이 자료의 차원을 줄이는 도구로서 주성분 분석보다 훨씬 잘 작동하는 저차원 부호를 학습하게 하는 효과적인 가중치 초기화 방법을 기술한다.
무엇을 바꿨나. 작은 중앙 층을 가진 다층 오토인코더 망으로 저차원 부호를 만든다. 가중치를 먼저 제한 볼츠만 기계로 층별 사전훈련한 뒤 역전파로 미세 조정하며, 여러 자료 집합에서 그 부호가 PCA보다 잘 작동한다고 보고한다.
이 목록의 논문 중 인용한 것: Hinton 2000, Hinton et al. 2006, Hopfield 1982
이 목록의 논문 중 이 논문을 인용한 것: Bengio et al. 2006, Ciresan et al. 2010, Hinton et al. 2012, Kingma & Ba 2014, Le et al. 2011, LeCun et al. 2015, Mnih et al. 2015, Nair & Hinton 2010, Raina et al. 2009, Schmidhuber 2014, Srivastava et al. 2014
In this paper we introduce a new algorithm, UCT, that applies bandit ideas to guide Monte-Carlo planning.PDF p. 1 (author preprint, no printed page number)
이 논문에서 우리는 밴딧 발상을 적용해 몬테카를로 계획을 이끄는 새 알고리즘 UCT를 도입한다.
무엇을 바꿨나. 밴딧 발상을 몬테카를로 계획의 안내에 적용한 알고리즘 UCT를 도입한다. 유한 지평 또는 할인 MDP에서 일관성을 보이고 추정 오차의 유한 표본 한계를 준다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Schrittwieser et al. 2019, Silver et al. 2016, Silver et al. 2017
This article describes the robot Stanley, which won the 2005 DARPA Grand Challenge.p. 662
이 글은 2005년 DARPA 그랜드 챌린지에서 우승한 로봇 스탠리를 기술한다.
무엇을 바꿨나. 2005년 DARPA 그랜드 챌린지 사막 코스를 가장 먼저 완주한 자율 주행차 스탠리와, 기계학습과 확률 추론 위에 세운 그 소프트웨어 체계를 기술한다. 장거리 지형 인식, 실시간 충돌 회피, 차량 제어를 다루고 경주 결과를 보고한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: 없음
Our experiments also confirm the hypothesis that the greedy layer-wise unsupervised training strategy mostly helps the optimization, by initializing weights in a region near a good local minimum, giving rise to internal distributed representations that are high-level abstractions of the input, bringing better generalization.PDF p. 1 (no printed page number; proceedings p. 153)
우리의 실험은 또한 탐욕적 층별 비지도 훈련 전략이 주로 최적화를 돕는다는 가설을 확인한다. 좋은 국소 최솟값 근처의 영역에서 가중치를 초기화해, 입력의 고수준 추상인 내부 분산 표현을 낳고 더 나은 일반화를 가져온다.
무엇을 바꿨나. Hinton 외의 심층 신뢰망을 위한 탐욕적 층별 비지도 훈련 알고리즘을 실증적으로 연구하고, 연속 입력과 입력 분포가 목표에 대해 알려 주는 바가 적은 경우로 확장한다.
이 목록의 논문 중 인용한 것: Hinton 2000, Hinton et al. 2006, Hinton & Salakhutdinov 2006
이 목록의 논문 중 이 논문을 인용한 것: Ciresan et al. 2010, Ciresan et al. 2012, Collobert et al. 2011, Glorot & Bengio 2010, Le et al. 2011, LeCun et al. 2015, Radford et al. 2018, Raina et al. 2009, Schmidhuber 2014
This paper announces that checkers is now solved: Perfect play by both sides leads to a draw.p. 1518
이 논문은 체커가 이제 풀렸음을 알린다. 양쪽이 완벽하게 두면 무승부가 된다.
무엇을 바꿨나. 체커가 약하게 풀렸음을, 곧 시작 국면에서 양쪽이 완벽하게 두면 무승부에 이른다는 계산적 증명을 발표한다. 1989년부터 거의 쉬지 않고 돌린 종반 데이터베이스와 증명 트리 탐색의 결합을 기술한다.
이 목록의 논문 중 인용한 것: Shannon 1949
이 목록의 논문 중 이 논문을 인용한 것: 없음
We introduce here a new database called “ImageNet”, a large-scale ontology of images built upon the backbone of the WordNet structure.PDF p. 1 (no printed page number; proceedings p. 248)
우리는 WordNet 구조의 골격 위에 세운 대규모 영상 온톨로지인 「ImageNet」이라는 새 데이터베이스를 소개한다.
무엇을 바꿨나. WordNet 계층으로 조직한 영상 데이터베이스 ImageNet을 소개한다. 12개 하위 트리, 5247개 동의어 집합, 320만 장의 영상을 아마존 메커니컬 터크로 모으고 정제했다고 보고한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Devlin et al. 2018, Dosovitskiy et al. 2020, Girshick et al. 2013, Krizhevsky et al. 2012, Le et al. 2011, Radford et al. 2015, Radford et al. 2021, Raffel et al. 2019, Simonyan & Zisserman 2014, Szegedy et al. 2013
We argue that modern graphics processors far surpass the computational capabilities of multicore CPUs, and have the potential to revolutionize the applicability of deep unsupervised learning methods.PDF p. 1 (abstract; no printed folio, = p. 873 in ACM pagination)
우리는 현대의 그래픽 처리기가 다중 코어 CPU의 계산 능력을 훨씬 넘어서며, 심층 비지도학습 방법의 적용 가능성을 바꿔 놓을 잠재력이 있다고 논한다.
무엇을 바꿨나. 비지도학습을 그래픽 처리기에서 대규모로 병렬화하는 일반 원리를 세우고 심층 신뢰망과 희소 부호화에 적용한다. DBN 학습이 듀얼코어 CPU 구현보다 최대 70배 빠르고, 새 병렬 알고리듬으로 희소 부호화가 5~15배 빨라졌다고 보고한다.
이 목록의 논문 중 인용한 것: Bengio et al. 2006, Hinton 2000, Hinton et al. 2006, Hinton & Salakhutdinov 2006, Tibshirani 1996
이 목록의 논문 중 이 논문을 인용한 것: Le et al. 2011, LeCun et al. 2015, Schmidhuber 2014
Good old on-line back-propagation for plain multi-layer perceptrons yields a very low 0.35% error rate on the famous MNIST handwritten digits benchmark.p. 1 (arXiv v1)
평범한 다층 퍼셉트론에 대한 고전적인 온라인 역전파가 유명한 MNIST 손글씨 숫자 벤치마크에서 0.35%라는 매우 낮은 오류율을 낸다.
무엇을 바꿨나. 은닉층 2~9개, 최대 1,211만 가중치의 크고 깊은 평범한 다층 퍼셉트론을 그래픽 카드에서 온라인 역전파로, 계속 변형한 훈련 영상으로 훈련해 비지도 사전훈련 없이 MNIST 시험 오류 0.35%를 보고했다.
이 목록의 논문 중 인용한 것: Bengio et al. 2006, Hinton & Salakhutdinov 2006, Hochreiter 1991, Hochreiter & Schmidhuber 1995, LeCun et al. 1998, Russell & Norvig 1995, Werbos 1974
이 목록의 논문 중 이 논문을 인용한 것: Ciresan et al. 2012, Hinton et al. 2012, Le et al. 2011, Schmidhuber 2014
Based on these considerations, we propose a new initialization scheme that brings substantially faster convergence.p. 249
이런 고려에 기초해 우리는 상당히 빠른 수렴을 가져오는 새 초기화 방식을 제안한다.
무엇을 바꿨나. 무작위 초기화에서 출발하는 표준 기울기 하강이 깊은 전방향망을 잘 훈련하지 못하는 까닭을 층별 활성과 기울기를 관찰해 분석하고, 새 초기화 방식을 제안한다.
이 목록의 논문 중 인용한 것: Bengio et al. 1994, Bengio et al. 2006, Hinton et al. 2006, LeCun et al. 1998, Rumelhart et al. 1986
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, He et al. 2015, Hinton et al. 2012, Ioffe & Szegedy 2015, Simonyan & Zisserman 2014, Stiennon et al. 2020
Compared with binary units, these units learn features that are better for object recognition on the NORB dataset and face verification on the Labeled Faces in the Wild dataset.PDF p. 1 (author copy, no printed page number)
이진 단위와 비교해 이 단위들은 NORB 자료의 물체 인식과 Labeled Faces in the Wild 자료의 얼굴 검증에 더 좋은 특징을 학습한다.
무엇을 바꿨나. RBM의 이진 은닉 단위를 잡음 섞인 정류 선형 단위로 근사되는 계단 시그모이드 단위로 일반화하고, NORB 물체 인식과 LFW 얼굴 검증에서 이진 단위보다 나은 특징을 얻었다고 보고한다.
이 목록의 논문 중 인용한 것: Hinton 2000, Hinton et al. 2006, Hinton & Salakhutdinov 2006
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, He et al. 2015, Ioffe & Szegedy 2015, Krizhevsky et al. 2012, Mnih et al. 2013, Mnih et al. 2015, Radford et al. 2015, Schmidhuber 2014, van den Oord et al. 2016
A new recurrent neural network based language model (RNN LM) with applications to speech recognition is presented.p. 1045
음성 인식에 응용되는 새 순환 신경망 기반 언어 모델(RNN LM)을 제시한다.
무엇을 바꿨나. 순환 신경망 언어 모델을 제시하고, RNN LM 혼합이 백오프 모델보다 혼잡도를 약 50% 낮추며 WSJ와 NIST RT05에서 단어 오류율을 줄였다고 보고한다.
이 목록의 논문 중 인용한 것: Bengio et al. 1994, Bengio et al. 2003, Elman 1988
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021, Mikolov et al. 2013, Sutskever et al. 2014, Touvron et al. 2023, Weston et al. 2014
We propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling.p. 1 (arXiv v1)
우리는 품사 태깅·청킹·개체명 인식·의미역 결정을 포함한 여러 자연어 처리 과제에 적용할 수 있는 통일된 신경망 구조와 학습 알고리즘을 제안한다.
무엇을 바꿨나. 품사 태깅·청킹·개체명 인식·의미역 결정에 하나의 신경망 구조와 학습 알고리즘을 쓰며, 과제별 특징 대신 대량의 비표지 텍스트에서 내부 표현을 학습한다. 태깅 체계로 공개했다.
이 목록의 논문 중 인용한 것: Bengio et al. 2003, Bengio et al. 2006, Chomsky 1956, Hinton et al. 2006, Lafferty et al. 2001, LeCun et al. 1998, Pearl 1988, Rabiner 1989, Waibel et al. 1987
이 목록의 논문 중 이 논문을 인용한 것: LeCun et al. 2015, Mikolov et al. 2013, Pennington et al. 2014, Peters et al. 2018, Radford et al. 2018, Radford et al. 2019