dl24 Lec 08-1: Perceptron 딥러닝 공부 11일차 Perceptron(퍼셉트론) 본격적으로 퍼셉트론에 대해서 공부하기 전에, 인공 신경망에 대해서 조금 알아보겠습니다. 신경세포 중 뉴런에서 일어나는 일을 살펴보겠습니다. 뉴런은 신호를 전달 받아서 전달해주는 역할을 합니다. 사진상의 왼쪽부분이 신호를 전달 받는 부분이고 오른쪽 부분이 신호를 전달 해주는 부분입니다. 뉴런은 어떠한 임계치 이하의 값은 전달하지 않고, 임계치 이상의 신호만 전달하는 특징이 있습니다. 이 특징이 이제 배울 퍼셉트론의 주요한 성질로 사용될 것입니다. 기억해주세요~ 결론적으로 퍼셉트론은 다수 입력으로 하나의 결과를 내보내는 알고리즘입니다. 가볍게 입력이 두개인 퍼셉트론입니다. 보통 x를 입력값, y를 출력값이라고 합니다. 그래서 $y=W_{1}x_{1}+W_{.. 2023. 8. 8. Lec 07-3: MNIST Introduction 딥러닝 공부 10일차 MNIST MNIST란? 숫자들에대한 손글씨 데이터셋이라고 보면 됩니다. MNIST 데이터는 아래의 링크에 공개되어져 있습니다. 데이터보러가기 MNIST는 숫자 0부터 9까지의 이미지로 구성된 손글씨 데이터셋입니다. 이 데이터는 과거에 우체국에서 편지의 우편 번호를 인식하기 위해서 만들어진 훈련 데이터입니다. 총 60,000개의 훈련 데이터와 레이블, 총 10,000개의 테스트 데이터와 레이블로 구성되어져 있습니다. 레이블은 0부터 9까지 총 10개입니다. 우선 MNIST 문제를 더 자세히 보겠습니다. 각각의 이미지는 아래와 같이 28 픽셀 × 28 픽셀의 이미지입니다. 28 x 28 = 784픽셀이기 때문에, 각 이미지를 총 784개의 원소를 가진 벡터로 만들어줄겁니다. 784차원.. 2023. 8. 7. Lec 07-2: Learning Rate, Overfitting, Regularization 딥러닝 공부 9일차 Learning Rate 이전에 우리 딥러닝 공부 3일차 글에서 학습률에 대해서 다뤘습니다. 한번 보고 오시면 좋을 것 같습니다. 딥러닝 공부 3일차 👈 클릭! 손실함수의 작동원리 Learning Rate 에 대해서 조금 더 자세히 알아보겠습니다. $$ W := W - α\frac{∂}{∂W}cost(W) $$ 위 그림과 달리 여기 식에서는 $\alpha$가 학습률을 나타내고 있습니다. 공부했던 내용을 되짚어봅시다. 첫 가중치와 편향은 랜덤으로 설정 되었었다는 것을 기억하시나요? 우리의 목표는 Cost function의 최소값을 찾는 것입니다. 일단 2차원으로만 생각해봅시다. 손실 함수 상의 임의의 시작점에서의 미분 값을 구합니다. 그 지점에서의 미분계수가 음수라면 현위치가 최저점 기.. 2023. 8. 7. Lec 07-1: Maximum Liklihood Estimation(MLE) 딥러닝 공부 8일차 Maximum Liklihood Estimation(MLE) 최대 가능도 추정에 대해서 알아보겠습니다. 다음 그림과 같이 압정을 떨어뜨렸을 때, 똑바로 서거나 비스듬히 눕거나 두가지 종류만 있다고 가정해보겠습니다! (실제로는 바닥에 박히는 등 다른 경우의 수고 있겠지만요) 사진에서 처음보는 용어가 등장합니다. 베르누이? 유체역학에서 배웠던 그 베르누이인가... 네 개소리구요 베르누이 시행이란? 결과가 두 가지 중 하나로만 나오는 실험이나 시행을 베르누이 시행(Bernoulli trial)이라고 한다. 예를 들어 동전을 한 번 던져 앞면(H:Head)이 나오거나 뒷면(T:Tail)이 나오게 하는 것도 베르누이 시행이다. 그래서 위에서 압정이 떨어지는 경우의수를 두가지로만 제한한 이유입니.. 2023. 8. 6. Lec 06: Softmax Classification 딥러닝 공부 7일차 Softmax Classification Multinomial classification 원활한 이해를 위한 사전 지식들 One-hot encoding(원-핫 인코딩) 이전 글 까지는 Binary classificaiton, 즉 이분법적으로만 분류하는 것에 대해서 배웠습니다. 하지만 항상 이분법적으로만 생각할 수는 없죠, 이제는 여러가지를 고려하는 Multinomial classification에 대해서 배워볼겁니다. 이제 선택해야하는 선택지의 개수가 늘어남에 따라 필요한 것이 바로 원-핫 인코딩입니다. 원-핫 인코딩은 각 선택지의 인덱스에 해당하는 원소에는 1을, 나머지에는 0의 값을 가지도록 하는 표현 방법입니다. 예를들어볼까요? 우리 광운대학교 로봇학부 학생을 분류하는 프로그램이.. 2023. 8. 6. Lec 05: Logistic Regression 딥러닝 공부 6일차 Logistic Regression 일상속의 많은 문제들중에 두개의 선택지중에 정답을 고르는 문제들 같은 경우가 많습니다. 예를들어 계절학기의 Pass or Non_pass 라던지, 받은 메일이 스팸인지 아닌지 이런식으로 이분법적으로 나누는 경우를 Binary Classification(이진 분류) 라고 합니다. 그리고 이러한 이진 분류를 풀기 위한 대표적인 알고리즘이 Logistic Regression 입니다. 이 로지스틱 회귀는 이진 분류의 특성 때문에 Regression(회귀)로 사용하지만 Classification(분류)로도 사용이 가능합니다. Binary Classification 이번 여름방학 계절학기 학생들의 성적으로 패논패를 부여한다고 해봅시다. 50점 이상이면 패스, .. 2023. 7. 26. Lec 04-1: Multivariabel Linear Regression 딥러닝 공부 4일차 Multivariable Linear Regression 앞서 배운 Linear Regresstion 은 x가 1개인 선형회귀였습니다. 하지만 현실은 어떠한 결과를 내는데 원인이 한가지만 있는경우는 드물죠 만약 x가 여러개면 어떻게될까요? x가 여러개인 선형회귀를 다항 선형회귀라고 합니다. 퍼셉트론 관점으로는 다중퍼셉트론이라고 할 수 있겠네요. 다항 선형 회귀(Multivariabel Linear Regression) 가설 함수(Hypothesis Function) 평균 제곱 오차(Mean Squared Error) 경사하강법(Gradient descent) Data Definition 다음과 같은 학슴데이터가 있다고 가정해보겠습니다. 앞서 배운 단순 선형회귀와는 달리 독립변수 x가 .. 2023. 7. 25. Lec 02,03: Linear Regression 딥러닝 공부 3일차 Linear Regression Data definition, 데이터 수집 Hypothesis, 가설 수립 Compute Loss, 손실계산 Gradient Descent, 경사하강법 ## Data Definition 훈련 데이터셋과 테스트 데이터셋 공부한 시간에 비례해서 점수가 나온다고 했을 때 4시간 공부하면 몇점을 얻을 수 있는가? 에대한 데이터입니다. 훈련 데이터셋은 입력과 출력으로 나뉘는데 이는 파이토치의 텐서의 형태로 이루어져있어야합니다. 여기서 x_train은 공부한시간 y_train은 점수입니다. x_train = torch.FloatTensor([[1], [2], [3]]) y_train = torch.FloatTensor([[2], [5], [9]]) 저는 교재 예제.. 2023. 7. 25. 이전 1 2 3 다음 728x90
