Dimension Reduction

<Dimension Reduction>

    1. Principal Component Analysis

    2. Multidimensional Scaling

---

Principal Component Analysis

 

 

Principal Component Analysis (PCA)

• variation(변동성)이 가장 큰 axis를 찾아 projection 하여 dimension reduction
• Reduced 된 dimension은 모두 orthogonal
• Eigen-decomposition Algorithm

 

Image source: http://en.wikipedia.org/wiki/Principal_component_analysis

 

---

Multidimensional Scaling

 

Multidimensional Scaling (MDS)

• dimension reduction 전·후 좌표값들의 pairwise distance를 최대한 보존하는 게 목적

Objective function

→ distanced value값을 측정하여 최소화

• Gradient-decent type algorithm

 

 

Sammon`s mapping

• MDS의 Local version
• large distance 한 값의 loss에 더 적은 가중치 부여

Objective function

• gradient-decent type algorithm

 

 

 

cf) distance가 가깝다. = 두 vector가 더 밀접한 관계에 있다.

 

 

 

vector 사이의 유사도 측정법

1. Euclidean distance

Image source:&nbsp;https://ko.wikipedia.org/wiki/%EC%9C%A0%ED%81%B4%EB%A6%AC%EB%93%9C_%EA%B1%B0%EB%A6%AC

• 유클리드 거리를 이용해 두 vector 사이의 거리 측정
• vector의 길이에 관여.

2. Cosine similarity

Image source:&nbsp;https://en.wikipedia.org/wiki/Cosine_similarity

• vector 사이의 cosine 값을 구하여 유사도 측정
• vector의 길이에는 관여하지 않는다.

Euclidean distance → vector C는 vector D와 더 유사하다.

Cosine similarity → vector C는 vector B와 더 유사하다.