Regularization

<Regularization>

    1. Overfitting

    2. Regularization

---

Overfitting

 

From: Andrew Ng

 

Underfitting: High bias, Low variance

Overfitting: Low bias, High variance → 새로운 sample에 대한 일반화 ↓

 

overfitting 감소법

1. Feature 개수 감소

• 적절한 Feature들만 선택
• Model selection algorthm

2. Regularization

• 모든 Feature들 유지한 채, parameters θj의 value 감소
• Feature들 기여도 감소

 

Regularization Parameter λ↑	Regularization paramter λ↓	Feature 수↑	Feature 수↓
go Underfitting	go Overfitting	go Overfitting	go Underfitting

---

Regularization

 

 

Cost function with Regularization

 

• λ 값이 커질수록 go Underfitting
• j = 1부터 시작 → θ0(y절편) 제외하고 시작 → θ₁, θ₂, θ₃, ... regularization

 

From: Andrew Ng

→ Train Loss가 가장 낮더라도 Overfitting되어 Test Loss에서 높은 Loss 발생

 

 

L1 Regularization: θ의 가중치가 0에 접근하면서 결국 수렴

L1 Regularization Cost function

• 가중치의 크기값 포함
• 작은 가중치들은 거의 0에 수렴
• 중요한 가중치들만 남게 된다.
• sparse model에 효과적
• Lasso regression

 

 

L2 Regularization: θ의 가중치가 0에 접근하지만 수렴하지는 않음

 

L2 Regularization Cost function

• 가중치의 제곱 포함
• 가중치의 크기가 더 직접적인 영향
• Ridge regression

From: Andrew Ng