이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다.
이번에는 기울기(Gradient)가 사라지거나 폭주할 때를 막아주는 방법인 Gradient Clipping, 가중치 초기화(Weight Initialization), 배치 정규화(Batch normalization), 층 정규화(Layer normalization) 등에 대해 알아보고자 한다.
반응형
'DATA SCIENCE > DEEP LEARNING' 카테고리의 다른 글
| [CS224W] 2-1. Node-level Prediction (0) | 2022.07.26 |
|---|---|
| [CS224W] 1-3. Choice of Graph Representation (0) | 2022.07.24 |
| [CS224W] 1-2. Applications of Graph ML (0) | 2022.07.24 |
| [CS224W] 1-1. Why Graphs (0) | 2022.07.24 |
| [Deep Learning] 딥러닝 기초 지식 (활성화 함수(activation function), 옵티마이저(optimizer), 역전파(back propagation) 등) (0) | 2020.03.28 |
