Batch Normalization1 Batch Normalization(2015) 논문 리뷰 Batch Normalization(2015) [3줄요약] 각 미니배치 학습마다 정규화를 진행함으로써, 내부 공변량 변화에 대응하고 학습시, 더 높은 학습률을 사용할 수 있다는 점과, 가중치 초기화에 덜 신경을 쓸 수 있고 BN을 사용하면 Dropout을 사용하지 않아도 되는 장점이 있다. 또한 아무 optimizer를 사용할 수 있다는 장점도 존재하여 이미지 관련 모델에서 상당히 큰 차이로 높은 성능을 나타낸다. 1. Introduction SGD 는 간단하고, 효과적이지만 학습률과 같은 하이퍼파라미터, 모델 파라미터의 초기값 튜닝에 신경을 많이 써야한다. 또한 이전 레이어가 다음 레이어에 영향을 많이 주기 때문에 학습이 어렵다. 그러므로 모델이 깊어질 수록 조그만한 변화가 큰 변화를 만들어낸다. 이를.. 2023. 8. 6. 이전 1 다음 728x90
