Deeper Learning

Support Vector Machine 빨간점, 녹색점이 각각 negative, positive class이며 feature의 dimension이 2인 데이터를 나타낸 그림이 있다. 성능이 좋은 분류모델의 Decision boundary를 그린다고 하면 보통 위의 실선을 그리게 될 것인데 이 때, 경계 주변의 점들이 주로 decision boundary의 개형을 결정하게 된다. 이를 모델링 한것이 Support vector machine이다 (이하 SVM) Separate Hyperplane Constraints 위의 예시는 2차원으로 class를 나누는 경계인 hyperplane이 line으로 표현되며, 3차원에서는 plane이 hyperplane이 될 것이다. SVM의 목표는 데이터를 잘 분류할 수..

(이전글에 이어서 작성) 여기에서 의문이 생기는데 동전을 5번 던져서 모두 앞면이 3번 나오면 MLE 관점으로는 60% 확률로 앞면이 나온다고 추정하고 동전을 100번 던져서 앞면이 60번 나올 때도 마찬가지로 60% 확률로 앞면이 나온다고 추정하는데 괜찮은가 동전은 보통 50% 확률로 앞면이 나온다는 사전지식이 있는데 $n$ 이 작을 때 이 결과를 신뢰해도 괜찮은가 위 의문은 모두 사전지식(prior knowledge)을 반영하지 않기 때문에 생기는 의문으로 사전지식을 반영하여 최적의 추정값을 고르는 다음 글에서는 이어서 MAP 관점으로 다시 문제를 해결해 보겠다. 사전지식을 포함하여 모델링할 때는 Bayes Rule을 사용한다 $$ P(\theta|D) = \frac{P(D|\theta)P(\thet..

동전을 5번 던져서 앞면, 앞면, 뒷면, 앞면, 뒷면이 나왔을 때, 동전을 한 번 던져서 앞면이 나올 확률을 추정하면 직관적으로 3/5라고 생각하는데 정말 그럴까? 위 질문에 대한 답을 MLE 관점으로 찾아보자. Binomal Distribution, Bernoulli experiment 한 번 동전을 던지면 앞면(H) 또는 뒷면(T)가 나오게 되는데, 이는 discrete하고 가능한 값이 2개(H,T)가 전부인 베르누이 분포를 따른다. 매 시행이 동일한 베르누이 분포를 따르며 독립적이기 때문에 동전을 5번 던질 때 1,2,3,4,5 번째 시행에서 동전이 앞면이 나오는 횟수를 나타내는 확률변수 $X_1,X_2,X_3,X_4,X_5$ 는 i.i.d이기 때문에 동전을 5번 던질 때 앞면이 나오는 횟수를 나타..

https://dlaiml.tistory.com/entry/Bayes-theorem Bayes' theorem 농어와 연어를 분류하는 문제 생선의 길이를 기준으로 농어, 연어를 분류 길이를 $x$, 물고기의 종류를 $w$ 라고 하자 물고기가 농어면 $w = w_1$, 연어면 $w = w_2$로 정의 Prior 사전확률인 Prior는 사전 dlaiml.tistory.com (Bayes theroem 포스팅에 이어서) Introduction 물고기의 길이 $x$, 물고기의 무게 $k$, 물고기의 길이로 물고기의 무게를 예측하는 회귀 문제를 예시로 들겠다. 필요로 하는것은 모든 $x$에 대해서 모든 $k$를 아는 함수 $k=g(x)$ (물고기의 길이에 따른 무게의 확률 밀도 함수) 이 함수를 parameter..

생성 모델링 생성모델은 deterministic이 아닌 probabilistic 모델로 학습 데이터를 나타내는 분포를 최대한 학습하여 그 분포내에서 샘플링하여 output으로 하는 모델. 판별모델링은 x가 주어졌을 때 레이블 y의 확률인 P(y|x)를 추정 생성모델링은 x의 관측확률 p(x)를 추정한다. label이 있다면 p(x|y)를 추정. 생성모델에 대한 연구는 앞으로 인공지능을 이해하는데 매우 큰 도움이 될 것. supervised 판별 모델은 데이터가 생성된 방식에 집중하고 있지 않다. 강화학습 분야에서 강점을 가진다. 사람은 코끼리 이미지를 상상할 수 있음. 지금까지 봐온 코끼리를 정확히 그대로 상상하는것이 아닌 코끼리의 특성을 토대로 분포내에서 상상. 생성 모델이 만족해야하는 조건 (절대적이..

Netflix Challenge Netflix에서 2006년~2009년에 진행된 RMSE 0.8563을 목표로 하는 추천 시스템 챌린지 협업 필터링 user-user 협업 필터링은 유사한 취향의 사용자를 찾는것이 핵심이다. 취향의 유사도는 Correlation Coefficient(상관 계수)를 통해 측정한다. 상관계수를 사용하여 상품 s를 구매한 사용자 중 x와 취향이 가장 유사한 k명의 사용자 N(x ;s)를 선정한다. 사용자 x가 구매하지 않은 상품 s에 매길 평점을 예측하는 식은 다음과 같다. 취향이 유사한 사용자와의 유사도를 가중치로 사용한 평점의 가중평균을 계산한다. 이렇게 추정한 평점이 가장 높은 상품을 대상 사용자에게 추천해준다. 협업 필터링은 상품에 대한 부가정보가 없이 사용이 가능하지만..

import numpy as np import pandas as pd from sklearn.datasets import fetch_california_housing x,y = fetch_california_housing(return_X_y=True) k=fetch_california_housing() k.feature_names print(x.shape) print(y.shape) np.random.seed(1127) shuffle_ind = np.random.permutation(x.shape[0]) x=x[shuffle_ind,:] y=y[shuffle_ind] x_train = x[:int(x.shape[0]*0.8),:] y_train = y[:int(x.shape[0]*0.8)] x_test ..