김퉤퉤

[ 이론 ] 이전 장에서 배운 linear transformation은 linearity라는 매우 강한 가정이 필요하다. 즉, 이 가정이 성립하지 않는다면 사용할 수 없다는 것. 실제 linearity = weaker monotonicity로 linearity를 가지는 두 변수는 완전 동일하지는 않지만 한 변수의 증감과 다른 변수의 증감에 동일한 규칙성이 있어야 한다. 하지만 이 가정은 당연 성립되는 경우가 더 적다. 이런 경우에는 task를 어떻게 수행해야 할지 궁금한데 그것에 대한 방법이 multiayer perceptron layer(MLP)이라고 말하고 있다. 1. Incorporating Hidden layers 좀 더 구체적으로 말하자면 하나 이상의 hidden layer를 사용하는 것이다. ..

Linear Regression의 다음 장으로 Softmax Regression에 대해 다룬다. Linear regression은 그 값을 예측하는 문제에 사용되는 반면 softmax regression은 분류문제에 사용된다. 우선 classification에 대해 짚고 넘어가자 1. Classification 아래 사진의 예시로 이해하면 쉽다. 4가지 feature를 가지고 있는 이미지 사진을 3가지 카테고리로 분류하는 문제이다. network 구조로 표현하기 위한 방식이다. 도식화하면 다음과 같다. linear regression과 마찬가지로 softmax regression도 한 개의 layer를 가진다. 그럼 다시 본래의 목적으로 돌아와서 위 O 값인 logits 값을 각각의 클래스에 해당할 확률..

[ 이론 ] 1. Linear Regression 회귀 중에서 가장 기본적이면서도 대중적인 선형회귀 모델에 대해 리뷰한다. 선형회귀가 딥러닝의 하위 카테고리는 아니지만 딥러닝의 개념과 사용 기법들을 적용하며 D2L의 초반에 등장하기에 본 3장부터 리뷰를 하기로 하였다. 3장을 학습해야 이후 과정이 쉽기 때문. x(independent var), y(dependent var)의 관계를 규정하기 위한 모델이며 y = weighted sum of elements in x 로 다시 설명 가능하다. Linear Regression이 성립되기 위한 가정은 다음과 같이 두가지로 요약할 수 있다. 1. x와 y의 관계가 linear 해야한다. 2. x와 y의 관계의 noise가 well-behaved(=followin..