[Deep Learning] 딥러닝 기초 지식 (활성화 함수(activation function), 옵티마이저(optimizer), 역전파(back propagation) 등)

이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다.

이번에는 딥러닝을 배우기 전 꼭 알아야 하는 기초 지식인 퍼셉트론(perceptron)부터 Fully-Connected layer, 활성화 함수(Activation function), 순전파(Forward propagation)와 역전파(Back propagation) 과정, 손실함수(Loss function)와 옵티마이저(Optimizer) 종류, epoch, batch size, iteration, 그리고 과적합을 막는 방법 등에 대해 정리해보았다.