BN2 Lec 09-3,4: Dropout & Batch Normalization 딥러닝 공부 15일차 이전에 Overfitting(과적합)을 방지할 수 있는 방법을 소개했었습니다. 다시 몇가지 적어보면 More training data Reduce the number of features Regularization Dropout 과적합을 방지하는 방법 중 하나인 Dropout에 대해서 오늘 공부해보겠습니다. Dropout dropout은 쉽게말하면 매 층마다 어떠한 확률로 일부는 버리고 남은 나머지들로 학습해나가는 것을 말합니다. 즉, 신경망의 일부를 사용하지 않는 방법입니다. 드롭아웃은 신경망 학습시에만 사용하고, 예측시에는 사용하지 않습니다. 학습시에 인공 신경망이 특정 뉴런 또는 특정 조합에 너무 의존적이게 되는 것을 방지해주고, 매번 랜덤 선택으로 뉴런들을 사용하지 않으므로 .. 2023. 8. 27. Batch Normalization(2015) 논문 리뷰 Batch Normalization(2015) [3줄요약] 각 미니배치 학습마다 정규화를 진행함으로써, 내부 공변량 변화에 대응하고 학습시, 더 높은 학습률을 사용할 수 있다는 점과, 가중치 초기화에 덜 신경을 쓸 수 있고 BN을 사용하면 Dropout을 사용하지 않아도 되는 장점이 있다. 또한 아무 optimizer를 사용할 수 있다는 장점도 존재하여 이미지 관련 모델에서 상당히 큰 차이로 높은 성능을 나타낸다. 1. Introduction SGD 는 간단하고, 효과적이지만 학습률과 같은 하이퍼파라미터, 모델 파라미터의 초기값 튜닝에 신경을 많이 써야한다. 또한 이전 레이어가 다음 레이어에 영향을 많이 주기 때문에 학습이 어렵다. 그러므로 모델이 깊어질 수록 조그만한 변화가 큰 변화를 만들어낸다. 이를.. 2023. 8. 6. 이전 1 다음 728x90
