논문으로 읽는 인공지능의 역사
English

신경망 학습

형식 뉴런에서 퍼셉트론, 역전파, 합성곱·순환망, 정규화와 잔차 연결까지.

신경망 학습 1950 1960 1970 1980 1990 2000 2010
실선은 인용이 확인된 선(OpenAlex 또는 인용한 논문의 참고문헌 목록), 점선은 교과서가 말하는 영향이지만 인용이 확인되지 않은 선. 세로 위치는 주제 묶음.
연도첫 저자제목장
1943McCulloch & PittsA logical calculus of the ideas immanent in nervous activity1장 기원 1943–56
1949HebbThe Organization of Behavior1장 기원 1943–56
1958RosenblattThe perceptron: A probabilistic model for information storage and organization in the brain2장 기호와 퍼셉트론 1956–74
1960Widrow & HoffAdaptive switching circuits2장 기호와 퍼셉트론 1956–74
1969Minsky & PapertPerceptrons: An Introduction to Computational Geometry2장 기호와 퍼셉트론 1956–74
1974WerbosBeyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences2장 기호와 퍼셉트론 1956–74
1982HopfieldNeural networks and physical systems with emergent collective computational abilities3장 지식 시스템과 연결주의 1974–93
1982WerbosApplications of advances in nonlinear sensitivity analysis3장 지식 시스템과 연결주의 1974–93
1984ValiantA theory of the learnable3장 지식 시스템과 연결주의 1974–93
1985Ackley et al.A learning algorithm for Boltzmann machines3장 지식 시스템과 연결주의 1974–93
1986Rumelhart et al.Learning representations by back-propagating errors3장 지식 시스템과 연결주의 1974–93
1988ElmanFinding Structure in Time3장 지식 시스템과 연결주의 1974–93
1988Hornik et al.Multilayer feedforward networks are universal approximators3장 지식 시스템과 연결주의 1974–93
1989CybenkoApproximation by superpositions of a sigmoidal function3장 지식 시스템과 연결주의 1974–93
1991Jacobs et al.Adaptive Mixtures of Local Experts4장 통계 학습 1990–2011
1991HochreiterUntersuchungen zu dynamischen neuronalen Netzen4장 통계 학습 1990–2011
1994Bengio et al.Learning long-term dependencies with gradient descent is difficult4장 통계 학습 1990–2011
1995Hochreiter & SchmidhuberLong Short-Term Memory4장 통계 학습 1990–2011
1997Schuster & PaliwalBidirectional recurrent neural networks4장 통계 학습 1990–2011
2000HintonTraining Products of Experts by Minimizing Contrastive Divergence4장 통계 학습 1990–2011
2006Hinton et al.A Fast Learning Algorithm for Deep Belief Nets4장 통계 학습 1990–2011
2006Hinton & SalakhutdinovReducing the Dimensionality of Data with Neural Networks4장 통계 학습 1990–2011
2006Bengio et al.Greedy Layer-Wise Training of Deep Networks4장 통계 학습 1990–2011
2009Raina et al.Large-scale deep unsupervised learning using graphics processors4장 통계 학습 1990–2011
2010Glorot & BengioUnderstanding the difficulty of training deep feedforward neural networks4장 통계 학습 1990–2011
2010Nair & HintonRectified Linear Units Improve Restricted Boltzmann Machines4장 통계 학습 1990–2011
2011Le et al.Building high-level features using large scale unsupervised learning5장 딥러닝 2012–17
2014Srivastava et al.Dropout: A Simple Way to Prevent Neural Networks from Overfitting5장 딥러닝 2012–17
2014Graves et al.Neural Turing Machines5장 딥러닝 2012–17
2014Weston et al.Memory Networks5장 딥러닝 2012–17
2014Kingma & BaAdam: A Method for Stochastic Optimization5장 딥러닝 2012–17
2015Ioffe & SzegedyBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift5장 딥러닝 2012–17
2015Hinton et al.Distilling the Knowledge in a Neural Network5장 딥러닝 2012–17
2016Ba et al.Layer Normalization5장 딥러닝 2012–17
2017Shazeer et al.Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer5장 딥러닝 2012–17
2017Jouppi et al.In-Datacenter Performance Analysis of a Tensor Processing Unit5장 딥러닝 2012–17