4주차-Linear Models

-Deterministic: 확정적인 관계, X variable만으로 Y variable을 전부 표현

-Stochastic: 확률적인 관계, X variable과 error로 Y variable을 표현

 

Linear Regression: 입력 변수 X와 출력 변수 Y의 평균 사이의 관계를 나타내는 직선을 찾는다.

-Assumption of error

1) 정규화 2) 비편향성 3) 등분산성 4) 독립성

-Parameter 찾기

Linear regression ＋ regularization

-Regularized regression

 

-> 만약 어떤 특정한 w의 값에 따라서 모델의 추론 값이 크게 달라진다면 variance가 높아진다.

 

1. Linear regression

2. Ridge regression (L2 regularization)

3. Lasso regression (L1 regularization)

4. Elastix Net regression (L2 + L1 regularization)

Rigdge regression

Lasso regression

-Penalty function og Ridge and Lasso

-> Lasso의 경우 예측에 중요하지 않은 변수는 0이 된다.

​

-Logistic regression