전문가의 지식을 규칙으로 옮길 수 있는가, 다층망을 학습시킬 수 있는가.
핵심
1974년 6월 MIT AI 메모 306호로 나온 Minsky의 「A Framework for Representing Knowledge」는 지식을 「프레임」, 곧 정형화된 상황을 기억한 자료 구조로 조직하자고 제안했다. 「프레임은 어떤 종류의 거실에 있는 상황이나 아이의 생일잔치에 가는 상황처럼 정형화된 상황을 표현하는 자료 구조다.」 Schank–Abelson의 『Scripts, Plans, Goals and Understanding』(1977)은 같은 발상을 사건의 전형적 순서인 스크립트로 전개한 책으로, 이 판에서는 읽지 못했다. Buchanan–Feigenbaum의 「Dendral and Meta-Dendral」(1978년 8월, 『Artificial Intelligence』)은 질량 분석 자료에서 분자 구조를 추론하는 전문가 시스템과 그 규칙을 학습하는 메타 체계를 기술한 것으로, 역시 읽지 못했다. 이 세 편이 1980년대 「전문가 시스템」 붐의 원문이다. 붐의 크기는 겨울 면의 제목 수와 참가자 수로 잴 수 있다.
Newell–Simon의 「Computer science as empirical inquiry: symbols and search」는 1975년 10월 20일 튜링상 강연으로 발표되고 1976년 3월 『Communications of the ACM』에 실렸다. 「물리적 기호 체계는 일반 지능 행동에 필요하고 충분한 수단을 갖는다.」 이 한 문장이 기호 AI의 강령으로 읽혀 왔고, 참고문헌에는 McCarthy의 LISP와 Turing 1950이 있다.
Dempster–Laird–Rubin의 EM 알고리즘은 1976년 12월 8일 왕립통계학회에서 낭독되고 1977년 『JRSS B』에 실렸다. 불완전 자료의 최대가능도 추정을 기대 단계와 최대화 단계의 반복으로 푸는 이 방법은 3장의 Rabiner와 4장의 Brown 외(통계적 기계 번역)가 인용한다. Geman 형제의 「Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images」(1984년 11월)는 영상을 마르코프 확률장으로 모델링하고 담금질을 결합한 깁스 표집기로 복원했다. 그 담금질은 Kirkpatrick 외의 「Optimization by Simulated Annealing」(1983년 5월 13일, 『Science』)에서 왔고, 두 논문 모두 Ackley 외의 볼츠만 기계가 인용한다. Pearl의 『Probabilistic Reasoning in Intelligent Systems』(1988)은 불확실성 아래의 추론을 신뢰망으로 쓴 책으로, 5장 Hinton 외 2012가 인용하지만 이 판에서는 읽지 못했다. Valiant의 「A theory of the learnable」(1984, STOC 예비판 뒤 『CACM』 11월호)는 「다항식 단계 안에 학습 가능한 개념 부류」라는 물음을 세워 학습 이론의 출발점이 되었고, Cybenko 1989가 인용한다.
Fukushima의 「Neocognitron」(1980년 4월, 『Biological Cybernetics』)은 S-세포와 C-세포 층을 번갈아 쌓아 패턴의 위치 변화에 영향받지 않는 인식을 교사 없이 학습하는 망이다. 이 장 뒤쪽의 LeCun 외(1989)가 이 논문을 인용한다 — 합성곱망의 계보에서 가장 오래된 확인된 인용선이다. Hopfield의 「Neural networks and physical systems with emergent collective computational abilities」(1982년 4월, 『PNAS』)는 비동기로 갱신되는 단위들의 집단 동역학이 안정 상태로 흘러 내용 주소화 기억이 된다는 모델로, McCulloch–Pitts·Hebb·『Perceptrons』를 인용한다. 2024년 노벨 물리학상의 수상 사유가 가리키는 업적이다. Ackley–Hinton–Sejnowski의 볼츠만 기계(1985년 1월, 『Cognitive Science』)는 Hopfield의 망에 확률적 단위와 담금질을 넣고, 예를 보는 것만으로 영역의 제약을 학습하는 규칙을 끌어냈다.
Rumelhart–Hinton–Williams의 「Learning representations by back-propagating errors」는 1986년 10월 9일 『Nature』에 실렸다. 「우리는 뉴런형 단위들의 망을 위한 새 학습 절차인 역전파를 기술한다.」 실제 출력과 바라는 출력의 차를 줄이도록 가중치를 거듭 조정하면 은닉 단위들이 과제의 특징을 표현하게 된다는 것이 논문의 요지다. 참고문헌은 네 건이고 그중 하나가 『Perceptrons』다 — 1969년의 책이 제기한 한계에 대한 답으로 읽힌다. 이 판의 다른 논문 가운데 이 Nature 논문을 참고문헌에 올린 것은 여덟 편(Waibel 1989, Cortes 1995, Glorot 2010, Hinton 2012, Mikolov 2013 두 편, Sutskever 2014, LeCun 2015)이고, 같은 해의 PDP 책 장을 대신 인용한 논문도 여럿 있다 — 카드의 주석은 그 둘을 구별했다.
Werbos의 「Applications of advances in nonlinear sensitivity analysis」(1982, IFIP 회의록)는 그의 1974년 학위논문의 방법을 신경망에 적용한 글로 알려져 있으나 Springer 유료라 읽지 못했다. 역전파의 우선권 상자가 이 아래에 있다.
Barto–Sutton–Anderson의 「Neuronlike adaptive elements」(1983년 9월)는 연합 탐색 소자와 적응 비평 소자 둘로 실패 신호만 받고 수레 위 막대를 세우는 법을 학습했다. 참고문헌에 Hebb·Widrow–Hoff·Minsky 1961·Samuel·McCulloch–Pitts가 있어 1·2장과 가장 많이 이어진다. Sutton의 「Learning to predict by the methods of temporal differences」(1988년 8월, 『Machine Learning』)는 잇따르는 예측 사이의 차이로 공로를 배분하는 시간차 방법을 정의하고 특수한 경우의 수렴을 증명했다. 이듬해 Watkins의 케임브리지 학위논문 「Learning from Delayed Rewards」(1989년 5월)가 환경 모델 없이 행동의 최적 가치를 직접 학습하는 방법 — 뒤에 Q-학습이라 불린다 — 을 제시했다. Barto와 Sutton의 2024년 튜링상 공적 설명이 가리키는 논문은 Barto 외 1983, Sutton 1988, Sutton–Barto 1998(4장)이다.
Holland의 『Adaptation in Natural and Artificial Systems』(1975, 미시간대 출판부)는 유전 알고리듬의 원문으로 알려져 있으나 이 판에서는 읽지 못했다. Sutton–Barto 1998과 Schmidhuber 2015가 인용한다. Searle의 「Minds, brains, and programs」(1980년 9월, 『Behavioral and Brain Sciences』)는 중국어 기호를 이해하지 못한 채 규칙을 따르는 사람의 사고실험 — 「중국어 방」 — 으로 「프로그램을 실행하는 것만으로는 결코 지향성의 충분조건이 되지 못한다」고 논했다. 참고문헌에서 ELIZA와 Schank–Abelson의 스크립트를 인용하며, 2장 Winograd가 대표하던 「이해」 주장의 반대편에 선다. McDermott의 R1은 1980년 4월 카네기멜런 기술 보고서로 먼저 나오고 1982년 『Artificial Intelligence』에 실렸다. 생성 체계 언어 OPS4로 쓰여 DEC의 VAX 주문을 구성하며 실제 생산 조직에서 쓰인 프로그램으로, 보고서는 「R1은 대조를 쓰므로 탐색이 거의 필요 없다」고 적는다 — 전문가 시스템이 상업적으로 쓰인 기록이다. Marr의 『Vision』(1982)은 시각을 계산 이론·표현과 알고리듬·구현의 세 수준으로 나눈 책으로 알려져 있으나 읽지 못했다.
Quinlan의 「Induction of decision trees」(1986년 3월, 『Machine Learning』 창간호)는 정보 기반 기준으로 각 마디의 속성을 고르는 ID3를 기술했다. 신경망의 귀환과 같은 해에 기호적 학습도 저널을 얻었다는 뜻이다. 4장의 C4.5가 그 후속이다.
1989년의 저널에 다섯 편이 실렸다(그중 둘은 먼저 보고서로 나왔다). Cybenko(12월)와 Hornik–Stinchcombe–White(1988년 UCSD 토론 논문으로 먼저 나와 1989년 『Neural Networks』에 게재)는 은닉층 하나의 전방향망이 (단위 초입방체 위의 연속 함수를, 은닉 단위를 충분히 두면) 임의의 정확도로 근사할 수 있음을 각각 증명했다(보편 근사 정리). Cybenko는 Hornik의 1988년 예비판을 인용한다. LeCun 외의 「Backpropagation Applied to Handwritten Zip Code Recognition」(12월, 『Neural Computation』)은 과제 영역의 제약을 망 구조에 넣어 미국 우정청의 손글씨 우편번호를 인식했다 — 4장 LeNet(1998)의 직접 전신이다. Rabiner의 HMM 개관(2월, 『Proceedings of the IEEE』)은 음성 인식의 은닉 마르코프 모델을 세 문제로 정리한 교과서적 글이고, Waibel 외의 시간 지연 신경망은 1987년 10월 ATR 기술 보고서로 먼저 나와 1989년 저널에 실렸다. 1946개 시험 토큰에서 TDNN 98.5% 대 HMM 93.7%라는 문장은 신경망이 음성에서 통계 모델과 겨루기 시작한 기록이다. Elman의 「Finding Structure in Time」(1990년 3월)은 은닉층의 패턴을 다음 단계의 문맥으로 되먹이는 단순 순환망으로 장을 닫는다.
28편 가운데 게재본 또는 그에 준하는 사본을 읽은 것이 19편이다. Schank–Abelson, Buchanan–Feigenbaum, Werbos 1982, Pearl, Holland, Marr는 읽지 못했고, R1은 기술 보고서판으로, Minsky 1974는 저자의 웹 판본, Elman은 쪽 없는 재타자본으로 읽었다. 이 시기 후보 가운데 MYCIN(Shortliffe 1975), Kohonen의 자기 조직화 지도(1982), Brooks의 포섭 구조(1986), Kowalski의 「알고리듬 = 논리 + 제어」(1979)는 기준을 넘지 못했다.
이 사이트는 판정하지 않는다. 양쪽 원문의 서지와 이 판에서 확인한 사실만 나란히 놓는다.
| 문헌 | 첫 공개 | 이 판에서 확인한 것 |
|---|---|---|
| Linnainmaa, S. 「The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors」. 헬싱키대 석사논문(핀란드어; 영어 제목은 번역) | 1970 | 서지는 2차 문헌으로만 확인. 원문·OpenAlex 레코드 없음. 선정 기준 미달 |
| Werbos, P. J. 『Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences』. 하버드 박사논문 | 1974 | 공개 사본 없음. 5장 LeCun 2015, Schmidhuber 2015와 4장 Williams 1992가 참고문헌에서 인용 |
| Werbos, P. J. 「Applications of advances in nonlinear sensitivity analysis」. IFIP 회의록, Springer | 1982 | 유료라 읽지 못함. Schmidhuber 2015, Sutton–Barto 1998이 인용 |
| Rumelhart, Hinton & Williams, 「Learning representations by back-propagating errors」. 『Nature』 323: 533–536 | 1986-10-09 | 원문 읽음. 참고문헌 4건(『Perceptrons』 포함). Werbos·Linnainmaa 인용 없음 |
Schmidhuber의 「Annotated History」(2022, v3 2025)는 역전파를 Linnainmaa 1970에, 신경망에의 첫 적용을 Werbos 1982에 돌린다. 한쪽의 주장으로 소개한다. 1986년 논문은 「back-propagation」이라는 이름을 쓰고, 은닉 단위가 특징을 표현하게 된다는 관찰을 적는다.
| 업적 | 흔히 적는 연도 | 원문에서 확인한 날짜 |
|---|---|---|
| 시간 지연 신경망 | 1989(저널) | 1987-10 ATR 기술 보고서 TR-I-0006(같은 제목·저자) |
| 물리적 기호 체계 가설 | 1976(CACM) | 1975-10-20 튜링상 강연 |
| EM 알고리즘 | 1977 | 1976-12-08 왕립통계학회 낭독 |
| PAC 학습 | 1984(CACM 11월) | 1984 STOC 예비판(논문 자신이 언급) |
| 보편 근사 정리(Hornik 외) | 1989 | 1988 UCSD 토론 논문 88-45(논문의 자기 인용) |
A frame is a data-structure for representing a stereotyped situation, like being in a certain kind of living room, or going to a child's birthday party.page unknown
프레임은 어떤 종류의 거실에 있는 상황이나 아이의 생일잔치에 가는 상황처럼 정형화된 상황을 표현하는 자료 구조다.
무엇을 바꿨나. 지식을 「프레임」으로 조직할 것을 제안한다. 정형화된 상황을 기억한 자료 구조로, 상위 수준은 고정되고 하위 단말(「슬롯」)에 구체적 사례가 채워지며, 프레임들이 체계로 연결되어 그 변환이 행동이나 관점 변화를 나타낸다.
이 목록의 논문 중 인용한 것: Minsky & Papert 1969
이 목록의 논문 중 이 논문을 인용한 것: 없음
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Schmidhuber 2014, Sutton & Barto 1998
A physical symbol system has the necessary and sufficient means for general intelligent action.116
물리적 기호 체계는 일반 지능 행동에 필요하고 충분한 수단을 갖는다.
무엇을 바꿨나. 물리적 기호 체계 가설과 휴리스틱 탐색 가설을 질적 구조의 법칙으로 제시하고, 컴퓨터과학(과 AI)을 기호 체계와 탐색에 관한 경험적 탐구로 자리매김한다.
이 목록의 논문 중 인용한 것: McCarthy 1960, Turing 1950
이 목록의 논문 중 이 논문을 인용한 것: 없음
A broadly applicable algorithm for computing maximum likelihood estimates from incomplete data is presented at various levels of generality.1
불완전 자료에서 최대가능도 추정값을 계산하는 널리 적용 가능한 알고리즘을 여러 수준의 일반성으로 제시한다.
무엇을 바꿨나. 불완전 자료의 최대가능도 추정을 위한 일반 반복법을 제시한다. 각 반복은 기대 단계와 최대화 단계로 이루어지며(EM 알고리즘), 가능도의 단조 증가와 수렴에 관한 이론을 결측·혼합·분산성분·요인분석 문제의 예와 함께 다룬다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Brown et al. 1990, Rabiner 1989, Schmidhuber 2014
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Searle 1980
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: 없음
A neural network model for a mechanism of visual pattern recognition is proposed in this paper.193
이 논문에서는 시각 패턴 인식 기제의 신경망 모델을 제안한다.
무엇을 바꿨나. S-세포 층과 C-세포 층이 번갈아 쌓인 다층망 「네오코그니트론」을 제안한다. 교사 없이 자기 조직화로 학습하며, 마지막 층의 반응은 패턴의 위치나 모양·크기의 작은 변화에 영향을 받지 않는다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Ciresan et al. 2012, Girshick et al. 2013, LeCun et al. 1989, Mnih et al. 2015, Schmidhuber 2014, Silver et al. 2017
R1 is implemented as a production system.abstract page, unnumbered (PDF p. 2 of the technical report scan)
R1은 생성 체계로 구현되어 있다.
무엇을 바꿨나. 생성 체계 언어 OPS4로 써서 고객 주문으로부터 VAX-11/780 컴퓨터 체계를 구성하며 디지털 이큅먼트의 생산 조직에서 정규로 쓰인 프로그램 R1을 기술한다. R1은 생성-검사가 아니라 대조를 쓰므로 체계 구성에 탐색이 거의 필요 없다고 적는다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: 없음
(2) Instantiating a computer program is never by itself a sufficient condition of intentionality.p. 417
(2) 컴퓨터 프로그램을 실행하는 것만으로는 결코 지향성의 충분조건이 되지 못한다.
무엇을 바꿨나. 중국어 기호를 이해하지 못한 채 조작 프로그램을 따르는 사람의 사고실험으로, 프로그램을 실행하는 것만으로는 지향성에 결코 충분하지 않다고 논했다. 「강한」 AI와 「약한」 AI를 구별하고 강한 AI는 사고에 관해 말해 줄 것이 거의 없다고 결론지었다.
이 목록의 논문 중 인용한 것: Schank & Abelson 1977, Weizenbaum 1966
이 목록의 논문 중 이 논문을 인용한 것: 없음
The collective properties of this model produce a content-addressable memory which correctly yields an entire memory from any subpart of sufficient size.2554
이 모델의 집단적 성질은 충분한 크기의 어떤 부분으로부터도 기억 전체를 올바르게 끌어내는 내용 주소화 기억을 만든다.
무엇을 바꿨나. 비동기로 갱신되는 뉴런형 단위들의 상호작용 모델을 제시한다. 집단 동역학이 안정 상태로 흘러들어 내용 주소화 기억으로 작동하며, 일반화·친숙성 인식·범주화·오류 정정·시간 순서 보존 같은 집단적 성질을 함께 보인다.
이 목록의 논문 중 인용한 것: Hebb 1949, McCulloch & Pitts 1943, Minsky & Papert 1969
이 목록의 논문 중 이 논문을 인용한 것: Ackley et al. 1985, Graves et al. 2014, Hinton & Salakhutdinov 2006, Schmidhuber 2014
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Bommasani et al. 2021
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Schmidhuber 2014, Sutton & Barto 1998
A detailed analogy with annealing in solids provides a framework for optimization of the properties of very large and complex systems.671
고체의 담금질과의 상세한 유비가 매우 크고 복잡한 체계의 성질을 최적화하는 틀을 준다.
무엇을 바꿨나. 통계역학의 메트로폴리스 알고리즘에 온도를 서서히 낮추는 절차를 더한 「모의 담금질」을 조합 최적화의 일반 방법으로 쓴다. 컴퓨터 설계의 분할·배치·배선 문제와 도시 수천 개의 외판원 문제에 적용한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Ackley et al. 1985, Bengio et al. 1994, Geman & Geman 1984, Pearl 1988, Sutton & Barto 1998
The learning system consists of a single associative search element (ASE) and a single adaptive critic element (ACE).834
학습 체계는 하나의 연합 탐색 소자(ASE)와 하나의 적응 비평 소자(ACE)로 이루어진다.
무엇을 바꿨나. 연합 탐색 소자와 적응 비평 소자라는 뉴런형 적응 소자 둘로 이루어진 체계가, 실패 신호만을 피드백으로 받으면서 수레 위 막대를 세우는 법을 학습함을 보인다. 비평 소자는 강화 신호만으로는 얻지 못할 더 많은 정보를 담은 평가를 만들어 낸다.
이 목록의 논문 중 인용한 것: Hebb 1949, McCulloch & Pitts 1943, Minsky 1961, Samuel 1959, Widrow & Hoff 1960
이 목록의 논문 중 이 논문을 인용한 것: Hochreiter 1991, Schmidhuber 2014, Schulman et al. 2015, Sutton 1988, Sutton & Barto 1998, Sutton et al. 1999, Watkins 1989, Williams 1992
We give a precise methodology for studying this phenomenon from a computational viewpoint.1134
이 현상을 계산의 관점에서 연구하는 정밀한 방법론을 제시한다.
무엇을 바꿨나. 학습을 명시적 프로그래밍 없는 지식 획득으로 정의하고, 학습 프로토콜을 정한 뒤 어떤 개념 부류가 다항식 단계 안에 학습되는지를 연구하는 방법론을 제안한다. 몇몇 자명하지 않은 명제 개념 부류가 이 뜻에서 학습 가능함을 보인다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: Cybenko 1989, Schapire 1989
We establish convergence properties of the algorithm and we experiment with some simple pictures, for which good restorations are obtained at low signal-to-noise ratios.721
우리는 이 알고리즘의 수렴 성질을 확립하고, 낮은 신호 대 잡음비에서도 좋은 복원을 얻는 간단한 그림들로 실험한다.
무엇을 바꿨나. 영상을 깁스 분포(곧 마르코프 확률장)로 모델링하고 경계를 위한 선 과정을 둔다. 담금질을 결합한 병렬 확률 이완 알고리즘(깁스 표집기)으로 손상된 영상의 MAP 복원을 계산하고 수렴 결과를 준다.
이 목록의 논문 중 인용한 것: Kirkpatrick et al. 1983
이 목록의 논문 중 이 논문을 인용한 것: Ackley et al. 1985, Hinton 2000, Pearl 1988
This paper presents a type of parallel constraint satisfaction network which we call a “Boltzmann Machine” that is capable of learning the underlying constraints that characterize a domain simply by being shown examples from the domain.148
이 논문은 「볼츠만 기계」라 부르는 병렬 제약 충족 망을 제시한다. 이 망은 어떤 영역의 예들을 보는 것만으로 그 영역을 특징짓는 바탕 제약을 학습할 수 있다.
무엇을 바꿨나. 통계역학에 기초한 병렬 탐색법을 기술하고, 거기서 「볼츠만 기계」의 연결 강도를 조정하는 학습 규칙을 끌어낸다. 망은 보여 준 예들의 확률 분포와 맞는 예를 내는 내부 생성 모델을 만든다.
이 목록의 논문 중 인용한 것: Geman & Geman 1984, Hopfield 1982, Kirkpatrick et al. 1983, Minsky & Papert 1969
이 목록의 논문 중 이 논문을 인용한 것: LeCun et al. 1998, Sutton 1988, Wang et al. 2022
This paper summarizes an approach to synthesizing decision trees that has been used in a variety of systems, and it describes one such system, ID3, in detail.p. 81
이 논문은 여러 체계에 쓰여 온 결정 나무 합성 접근을 요약하고, 그 가운데 하나인 ID3를 상세히 기술한다.
무엇을 바꿨나. 결정 나무의 하향식 귀납(TDIDT) 학습 체계군과, 정보 기반 기준으로 각 마디에서 시험할 속성을 고르는 ID3 알고리듬을 상세히 기술한다. 잡음·불완전 자료를 위한 확장을 제시하고, 속성 선택 기준의 알려진 결점을 극복하는 두 방법을 비교한다.
이 목록의 논문 중 인용한 것: 없음
이 목록의 논문 중 이 논문을 인용한 것: 없음
We describe a new learning procedure, back-propagation, for networks of neurone-like units.533
우리는 뉴런형 단위들의 망을 위한 새 학습 절차인 역전파를 기술한다.
무엇을 바꿨나. 실제 출력과 바라는 출력 벡터의 차를 줄이도록 연결 가중치를 거듭 조정하는 역전파를 기술한다. 그 결과 은닉 단위들이 과제 영역의 특징을 표현하게 된다.
이 목록의 논문 중 인용한 것: Minsky & Papert 1969
이 목록의 논문 중 이 논문을 인용한 것: Cortes & Vapnik 1995, Glorot & Bengio 2010, Hinton et al. 2012, LeCun et al. 2015, Mikolov et al. 2013, Mikolov et al. 2013, Sutskever et al. 2014, Waibel et al. 1987
Performance evaluation over 1946 testing tokens from three speakers showed that the TDNN achieves a recognition rate of 98.5 percent correct while the rate obtained by the best of our HMM's was only 93.7 percent.328
세 화자의 시험 토큰 1946개로 성능을 평가한 결과 TDNN은 98.5%의 정확한 인식률을 얻은 반면, 우리의 최선의 HMM이 얻은 비율은 93.7%에 그쳤다.
무엇을 바꿨나. 시간 지연 배열로 시간상 위치와 무관한 음향·음소 특징을 학습하는 시간 지연 신경망(TDNN)을 음소 인식에 제시한다. B·D·G의 화자 종속 인식에서 같은 과제로 훈련한 이산 은닉 마르코프 모델과 비교한다.
이 목록의 논문 중 인용한 것: Rumelhart et al. 1986
이 목록의 논문 중 이 논문을 인용한 것: Collobert et al. 2011, Elman 1988, LeCun et al. 1998, LeCun et al. 2015, Schuster & Paliwal 1997
The current report develops a proposal along these lines first described by Jordan (1986) which involves the use of recurrent links in order to provide networks with a dynamic memory.p. 1 of the retyped copy (journal p. 179 assumed for the abstract, not seen)
이 보고는 Jordan(1986)이 처음 기술한 노선의 제안을 발전시킨 것으로, 망에 동적 기억을 주기 위해 순환 연결을 쓴다.
무엇을 바꿨나. 은닉 단위 패턴을 문맥으로 망에 되먹여 동적 기억을 주고, 시간을 처리에 미치는 효과로 암묵적으로 표현한다. 시간적 XOR에서 단어 열까지의 모의실험에서 학습된 내부 표현이 어휘 범주와 유형/사례 구분을 담고 있음을 보인다.
이 목록의 논문 중 인용한 것: Waibel et al. 1987
이 목록의 논문 중 이 논문을 인용한 것: Bengio et al. 2003, Hochreiter & Schmidhuber 1995, Mikolov et al. 2010, Mikolov et al. 2013, Schmidhuber 2014, Touvron et al. 2023
We show that multilayer feedforward networks with as few as one hidden layer are indeed capable of universal approximation in a very precise and satisfactory sense.p. 359
우리는 은닉층이 하나뿐인 다층 전방향망도 매우 정밀하고 만족스러운 뜻에서 보편 근사가 가능함을 보인다.
무엇을 바꿨나. 스톤–바이어슈트라스 정리와 갤런트–화이트의 코사인 스쿼셔를 써서, 은닉층 하나와 임의의 스쿼싱 함수를 가진 표준 다층 전방향망이 은닉 단위를 충분히 두면 유한 차원 공간 사이의 어떤 보렐 가측 함수도 원하는 정확도로 근사할 수 있음을 증명했다. 은닉 단위가 몇 개 필요한지는 다루지 않는다.
이 목록의 논문 중 인용한 것: Cybenko 1989, Minsky & Papert 1969
이 목록의 논문 중 이 논문을 인용한 것: Cybenko 1989, Schmidhuber 2014, Tesauro 1995
무엇을 바꿨나.
이 목록의 논문 중 인용한 것: Geman & Geman 1984, Hart et al. 1968, Kirkpatrick et al. 1983, McCarthy & Hayes 1969
이 목록의 논문 중 이 논문을 인용한 것: Collobert et al. 2011, Hinton et al. 2006, Hinton et al. 2012
Here we prove their convergence and optimality for special cases and relate them to supervised-learning methods.9
여기서 우리는 특수한 경우에 대한 그 수렴과 최적성을 증명하고, 그것을 지도학습 방법과 관련짓는다.
무엇을 바꿨나. 시간적으로 잇따르는 예측 사이의 차이로 공로를 배분하는 점진적 예측 학습 절차의 부류로 시간차 방법을 도입하고, 특수한 경우의 수렴과 최적성을 증명한다. 이 방법을 지도학습 절차와 형식적으로 관련짓는다.
이 목록의 논문 중 인용한 것: Ackley et al. 1985, Barto et al. 1983, Bellman 1957, Samuel 1959, Widrow & Hoff 1960
이 목록의 논문 중 이 논문을 인용한 것: Coulom 2006, Silver et al. 2016, Silver et al. 2017, Sutton & Barto 1998, Tesauro 1995, Watkins 1989, Watkins & Dayan 1992, Williams 1992
In this paper we attempt to carefully and methodically review the theoretical aspects of this type of statistical modeling and show how they have been applied to selected problems in machine recognition of speech.257
이 논문에서 우리는 이런 종류의 통계 모델링의 이론적 측면을 신중하고 체계적으로 검토하고, 그것이 기계의 음성 인식에서 선택된 문제들에 어떻게 적용되어 왔는지를 보이려 한다.
무엇을 바꿨나. 이산 마르코프 연쇄에서 가변 지속·연속 밀도 모델까지 은닉 마르코프 모델의 이론을 검토하고 음성 인식 문제에의 적용을 보인다. HMM 설계를 세 가지 기본 문제로 정리한다.
이 목록의 논문 중 인용한 것: Dempster et al. 1976
이 목록의 논문 중 이 논문을 인용한 것: Collobert et al. 2011, Kaelbling et al. 1998, LeCun et al. 1998
In particular, there is an incremental Monte-Carlo method that enables the optimal values ( or 'canonical costs') of actions to be learned directly, without any requirement for the animal to model its environment, or to remember situations and actions for more than a short period of time.page unknown (unnumbered Summary page; PDF p. 4)
특히 동물이 환경을 모델링하거나 상황과 행동을 짧은 기간 이상 기억할 필요 없이, 행동의 최적 가치(또는 「정준 비용」)를 직접 학습하게 하는 점진적 몬테카를로 방법이 있다.
무엇을 바꿨나. 마르코프 결정 과정을 동물의 행동 선택 모델로 다루고, 환경 모델 없이 행동의 최적 가치를 직접 학습하는 점진적 몬테카를로 방법을 기술한다. 이 학습법이 작동한다는 증명을 주고 계층적 정책도 다룬다.
이 목록의 논문 중 인용한 것: Barto et al. 1983, Samuel 1959, Sutton 1988
이 목록의 논문 중 이 논문을 인용한 것: Mnih et al. 2016, Schmidhuber 2014, Sutton & Barto 1998, Watkins & Dayan 1992, Williams 1992
In particular, we show that arbitrary decision regions can be arbitrarily well approximated by continuous feedforward neural networks with only a single internal, hidden layer and any continuous sigmoidal nonlinearity.303
특히 우리는 임의의 결정 영역이, 내부 은닉층 하나와 임의의 연속 시그모이드 비선형성만을 갖는 연속 전방향 신경망으로 임의로 잘 근사될 수 있음을 보인다.
무엇을 바꿨나. 고정된 일변수 시그모이드 함수와 아핀 함수의 합성을 유한하게 선형 결합한 것이 단위 초입방체 위의 연속 함수 공간에서 조밀함을 보인다. 은닉층 하나와 연속 시그모이드 비선형성을 가진 망이 그런 함수와 임의의 결정 영역을 근사할 수 있다는 뜻이다.
이 목록의 논문 중 인용한 것: Hornik et al. 1988, Minsky & Papert 1969, Valiant 1984
이 목록의 논문 중 이 논문을 인용한 것: Hornik et al. 1988, LeCun et al. 1998
This paper demonstrates how such constraints can be integrated into a backpropagation network through the architecture of the network.541
이 논문은 그런 제약을 망의 구조를 통해 역전파 망에 통합하는 방법을 보여 준다.
무엇을 바꿨나. 과제 영역의 제약을 역전파 망의 구조에 넣고, 미국 우정청의 손글씨 우편번호 숫자에 적용한다. 정규화된 문자 영상에서 최종 분류까지를 망 하나가 맡는다.
이 목록의 논문 중 인용한 것: Fukushima 1980
이 목록의 논문 중 이 논문을 인용한 것: Dosovitskiy et al. 2020, Girshick et al. 2013, He et al. 2015, LeCun et al. 1998, Schmidhuber 2014, Simonyan & Zisserman 2014, Srivastava et al. 2014, Szegedy et al. 2014