회귀 문제 여러 독립 변수와 종속 변수의 관계를 연속 함수 형태로 분석하는 문제이다. 데이터를 관측할 때 발생하는 관측 오차 또는 실험 오차는 가우시안 분포(Gaussian Distribution)로 정의되기 때문에 회귀 문제는 가우시안 분포를 예측하는 모델로 정의할 수 있음 가우시안 분포(Gaussian Distribution) $$ N = (x|\mu, \sigma^{2})=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}} $$ x: 확률 변수 \( \mu \): 평균 \( \sigma^{2} \): 분산 \( \sigma \): 표준 편차 가우시안 분포는 관측 데이터의 분포를 근사하는 데에 자주 쓰인다. 중심 극한 정리(central ..
다중 분류 모델 3개 이상의 Class를 분류하는 모델 이는 주사위를 굴렸을 때 각 면이 나올 확률을 예측하는 문제와 같다. 주사위 각 면이 나올 확률 분포는 카테고리 분포로 정의되므로, 다중 분류 모델을 카테고리 분포를 예측하는 모델로 정의할 수 있다. 카테고리 분포 $$ p(x|\mu) = \prod_{k=1}^{K}(\mu_{k})^{x_{k}} $$ $$ \mu = (\mu_{1},\mu_{2},\cdots,\mu_{K})^{T}, \sum_{k=1}^{K}\mu = 1 $$ $$ x = (x_{1},x_{2},\cdots,x_{K})^{T}, x_{k}= 1(k=i), 0(k\neq i), i\in \{1,2,\cdots,K\} $$ K = 사건 개수 \( \mu_{k} \) 사건 \( k \)..
이진 분류 모델 동전 던지기를 할 때 앞면과 뒷면이 나올 확률을 예측하는 문제와 같음 앞면, 뒷면이 나올 확률은 베르누이 분포(Bernoulli Distribution)로 정의 되기에, 이진 분류 모델은 베르누이 분포를 예측하는 모델로 정의할 수 있다. 베르누이 분포 Bernoulli Distribution 두 종류의 사건이 발생할 확률 $$ p(x; \mu ) = \mu^{x}(1-\mu)^{1-x}, x \in \{0,1\} $$ x는 확률 변수로 x = 1 이면 사건 1을 나태내고, x = 0 이면 사건 2를 나타낸다. \( \mu \)는 사건 1이 발생할 확률, \( 1-\mu \)는 사건 2가 발생할 확률이다. $$ p(x = 1; \mu ) = \mu = \frac{1}{2} $$ $$ p(x..
FeedForward Neural Network로 기본적인 모델을 설계하기 위해 지도 학습의 대표적인 문제인 분류와 회귀 문제를 정의해 보자 분류 문제 Classification 분류 문제는 데이터의 class 또는 category를 예측하는 문제이다. 종류 이진 분류 (Binary Classification) 2개의 클래스로 분류하는 문제 ( 1, 0로 분류할 수 있는 문제) 다중 분류 (Multiclass classification) 여러 클래스로 분류하는 문제 ( 1, 0 가지고는 분류할 수 없는 문제) 분류 모델을 판별 함수(discriminative function)로 정의하면 모델은 입력 데이터가 속한 클래스를 예측한다. -> 고양이 사진을 넣었을 때 '고양이'라는 클래스를 출력한다. 분류 모..
다층 퍼셉트론 = 순방향 신경망 (Feedforward Neural Network) 퍼셉트론 = 인공 뉴런 (Artificial neuron) CNN (Convolution neural network)는 공간 데이터(image), RNN(Recurrent Neural Network)는 순차 데이터(시계열 데이터)에 주로 사용됨 순방향 신경망의 구조 입력 계층 외부에서 데이터를 받아 전달하는 계층 은닉 계층 데이터의 특징을 추출하는 계층 출력 계층 추출된 특징을 기반으로 결과를 외부에 출력하는 계층 대부분의 모델에는 입력 계층과 출력 계층이 하나씩 있고 은닉계층만 가변적으로 구성된다. 모든 계층이 Fully connected layer로 구성됨 특징 추출 각 뉴런은 이전 계층에서 같은 입력을 받고 서로 다..
파일 구조 data └resourve └happy └emoji00000.png └emoji00001.png └emoji00002.png └ ... 구조 확인하기 import glob glob.glob('data/resource/happy/*')[:20] config.augmentation = transforms.Compose([ transforms.Resize((config.img_shape[1], config.img_shape[2])), #resize transforms.ToTensor(), transforms.Normalize(mean=[0.5], std=[0.5]) #normalization ]) elif config.dataset == 'emoji': train_dataset = datasets...
Stride filer의 이동 간격 (보폭)을 조절하는 것 Stride = 2 input : \( n \times n\) filter : \( f \times f \) padding : \( p \) stride : \(s\) output : \(\left \lfloor \frac{n+2p-f}{s}+1\right \rfloor\times \left \lfloor\frac{n+2p-f}{s}+1\right \rfloor \) -> 소수로 나올시 내림 filter가 딱맞지 않게 떨어지면 계산을 안하기 위해서 -> 보통은 딱 떨어지게 설정함 https://www.youtube.com/c/Deeplearningai DeepLearningAI Welcome to the official DeepLearning.A..
Padding convolution 연산 전에 input data 주변에 특정 값을 채우는 것 Padding 하는 이유 kernel을 이용하여 특징을 추출할 때 마다 이미지가 축소됨 가장자리 픽셀은 output에 한번만 영향을 미침 (정보를 버리는 것) 위의 문제를 해결하기 위해 사용하는 것이 Padding 기존의 크기를 위지하는 이미지를 얻게 됨 위의 사진의 p = 1 (1 pixel로 padding) 새로 생긴 pixel에는 default로 0이 들어간다 Valid and Same convolution valid Convolution No Padding \( (n\times n) * (f \times f) \to (n-f+1) \times (n-f+1) \) Same Convolution input ..
