본문 바로가기

분류 전체보기69

Lec 07-2: Learning Rate, Overfitting, Regularization 딥러닝 공부 9일차 Learning Rate 이전에 우리 딥러닝 공부 3일차 글에서 학습률에 대해서 다뤘습니다. 한번 보고 오시면 좋을 것 같습니다. 딥러닝 공부 3일차 👈 클릭! 손실함수의 작동원리 Learning Rate 에 대해서 조금 더 자세히 알아보겠습니다. $$ W := W - α\frac{∂}{∂W}cost(W) $$ 위 그림과 달리 여기 식에서는 $\alpha$가 학습률을 나타내고 있습니다. 공부했던 내용을 되짚어봅시다. 첫 가중치와 편향은 랜덤으로 설정 되었었다는 것을 기억하시나요? 우리의 목표는 Cost function의 최소값을 찾는 것입니다. 일단 2차원으로만 생각해봅시다. 손실 함수 상의 임의의 시작점에서의 미분 값을 구합니다. 그 지점에서의 미분계수가 음수라면 현위치가 최저점 기.. 2023. 8. 7.
Batch Normalization(2015) 논문 리뷰 Batch Normalization(2015) [3줄요약] 각 미니배치 학습마다 정규화를 진행함으로써, 내부 공변량 변화에 대응하고 학습시, 더 높은 학습률을 사용할 수 있다는 점과, 가중치 초기화에 덜 신경을 쓸 수 있고 BN을 사용하면 Dropout을 사용하지 않아도 되는 장점이 있다. 또한 아무 optimizer를 사용할 수 있다는 장점도 존재하여 이미지 관련 모델에서 상당히 큰 차이로 높은 성능을 나타낸다. 1. Introduction SGD 는 간단하고, 효과적이지만 학습률과 같은 하이퍼파라미터, 모델 파라미터의 초기값 튜닝에 신경을 많이 써야한다. 또한 이전 레이어가 다음 레이어에 영향을 많이 주기 때문에 학습이 어렵다. 그러므로 모델이 깊어질 수록 조그만한 변화가 큰 변화를 만들어낸다. 이를.. 2023. 8. 6.
Lec 07-1: Maximum Liklihood Estimation(MLE) 딥러닝 공부 8일차 Maximum Liklihood Estimation(MLE) 최대 가능도 추정에 대해서 알아보겠습니다. 다음 그림과 같이 압정을 떨어뜨렸을 때, 똑바로 서거나 비스듬히 눕거나 두가지 종류만 있다고 가정해보겠습니다! (실제로는 바닥에 박히는 등 다른 경우의 수고 있겠지만요) 사진에서 처음보는 용어가 등장합니다. 베르누이? 유체역학에서 배웠던 그 베르누이인가... 네 개소리구요 베르누이 시행이란? 결과가 두 가지 중 하나로만 나오는 실험이나 시행을 베르누이 시행(Bernoulli trial)이라고 한다. 예를 들어 동전을 한 번 던져 앞면(H:Head)이 나오거나 뒷면(T:Tail)이 나오게 하는 것도 베르누이 시행이다. 그래서 위에서 압정이 떨어지는 경우의수를 두가지로만 제한한 이유입니.. 2023. 8. 6.
Lec 06: Softmax Classification 딥러닝 공부 7일차 Softmax Classification Multinomial classification 원활한 이해를 위한 사전 지식들 One-hot encoding(원-핫 인코딩) 이전 글 까지는 Binary classificaiton, 즉 이분법적으로만 분류하는 것에 대해서 배웠습니다. 하지만 항상 이분법적으로만 생각할 수는 없죠, 이제는 여러가지를 고려하는 Multinomial classification에 대해서 배워볼겁니다. 이제 선택해야하는 선택지의 개수가 늘어남에 따라 필요한 것이 바로 원-핫 인코딩입니다. 원-핫 인코딩은 각 선택지의 인덱스에 해당하는 원소에는 1을, 나머지에는 0의 값을 가지도록 하는 표현 방법입니다. 예를들어볼까요? 우리 광운대학교 로봇학부 학생을 분류하는 프로그램이.. 2023. 8. 6.
Lec 05: Logistic Regression 딥러닝 공부 6일차 Logistic Regression 일상속의 많은 문제들중에 두개의 선택지중에 정답을 고르는 문제들 같은 경우가 많습니다. 예를들어 계절학기의 Pass or Non_pass 라던지, 받은 메일이 스팸인지 아닌지 이런식으로 이분법적으로 나누는 경우를 Binary Classification(이진 분류) 라고 합니다. 그리고 이러한 이진 분류를 풀기 위한 대표적인 알고리즘이 Logistic Regression 입니다. 이 로지스틱 회귀는 이진 분류의 특성 때문에 Regression(회귀)로 사용하지만 Classification(분류)로도 사용이 가능합니다. Binary Classification 이번 여름방학 계절학기 학생들의 성적으로 패논패를 부여한다고 해봅시다. 50점 이상이면 패스, .. 2023. 7. 26.
Lec 04-2: Mini Batch and Data Load 딥러닝 공부 5일차 Mini Batch and Data Load 복습하고오세요~! 클릭! 이전 글에서 배치 애기를 하면서 미니배치의 필요성에 대해서 이야기한 바가 있습니다. 링크를 걸어두었으니 잠깐 보고 오면 좋을 것 같습니다. x_train = torch.FloatTensor([[x1, ~, ~], [x2, ~, ~], [x3, ~, ~], [x4, ~, ~], [x5, ~, ~]]) y_train = torch.FloatTensor([[~], [~], [~], [~], [~]]) 앞서 배웠던 다중 선형회귀의 예에서 숫자들을 지웠습니다. 위 데이터에서 샘플의 개수는 5개입니다. 하지만 현업에서는 수십만개 이상의 데이터를 다루는 경우가 많습니다. 데이터가 수십만개 정도의 사이즈가 된다면 일일히 경사하강법.. 2023. 7. 26.
Lec 04-1: Multivariabel Linear Regression 딥러닝 공부 4일차 Multivariable Linear Regression 앞서 배운 Linear Regresstion 은 x가 1개인 선형회귀였습니다. 하지만 현실은 어떠한 결과를 내는데 원인이 한가지만 있는경우는 드물죠 만약 x가 여러개면 어떻게될까요? x가 여러개인 선형회귀를 다항 선형회귀라고 합니다. 퍼셉트론 관점으로는 다중퍼셉트론이라고 할 수 있겠네요. 다항 선형 회귀(Multivariabel Linear Regression) 가설 함수(Hypothesis Function) 평균 제곱 오차(Mean Squared Error) 경사하강법(Gradient descent) Data Definition 다음과 같은 학슴데이터가 있다고 가정해보겠습니다. 앞서 배운 단순 선형회귀와는 달리 독립변수 x가 .. 2023. 7. 25.
Lec 02,03: Linear Regression 딥러닝 공부 3일차 Linear Regression Data definition, 데이터 수집 Hypothesis, 가설 수립 Compute Loss, 손실계산 Gradient Descent, 경사하강법 ## Data Definition 훈련 데이터셋과 테스트 데이터셋 공부한 시간에 비례해서 점수가 나온다고 했을 때 4시간 공부하면 몇점을 얻을 수 있는가? 에대한 데이터입니다. 훈련 데이터셋은 입력과 출력으로 나뉘는데 이는 파이토치의 텐서의 형태로 이루어져있어야합니다. 여기서 x_train은 공부한시간 y_train은 점수입니다. x_train = torch.FloatTensor([[1], [2], [3]]) y_train = torch.FloatTensor([[2], [5], [9]]) 저는 교재 예제.. 2023. 7. 25.
728x90

티스토리툴바