learning rate1 Lec 07-2: Learning Rate, Overfitting, Regularization 딥러닝 공부 9일차 Learning Rate 이전에 우리 딥러닝 공부 3일차 글에서 학습률에 대해서 다뤘습니다. 한번 보고 오시면 좋을 것 같습니다. 딥러닝 공부 3일차 👈 클릭! 손실함수의 작동원리 Learning Rate 에 대해서 조금 더 자세히 알아보겠습니다. $$ W := W - α\frac{∂}{∂W}cost(W) $$ 위 그림과 달리 여기 식에서는 $\alpha$가 학습률을 나타내고 있습니다. 공부했던 내용을 되짚어봅시다. 첫 가중치와 편향은 랜덤으로 설정 되었었다는 것을 기억하시나요? 우리의 목표는 Cost function의 최소값을 찾는 것입니다. 일단 2차원으로만 생각해봅시다. 손실 함수 상의 임의의 시작점에서의 미분 값을 구합니다. 그 지점에서의 미분계수가 음수라면 현위치가 최저점 기.. 2023. 8. 7. 이전 1 다음 728x90
