Mathematics (11) 썸네일형 리스트형 Lp Norm of vector, matrix Vector, Matrix의 길이를 구하는 방법인 Lp Norm에 대한 내용 정리 필기. Lp Norm은 Machine Learning이나 Deep Learning의 Loss function을 계산할 때 자주 사용하므로 꼭 다시 확인 ! Linear Regression with multiple variables 1. Multiple features 2. Feature Scaling 3. Features and polynomial regression Multiple features Multiple features (variables) X₁ Size X₂ Number of bedrooms X₃ Number of floors X₄ Age of home y (target) Price 2104 5 1 45 460 1416 3 2 40 232 1534 3 2 30 315 852 2 1 36 178 ... ... ... ... ... n = feature 개수 X(i) = i번째 input feature의 training example Xj(i) = i번째 training example의 feature 값 Hypothesi.. Linear Regression with one variable 1. Model representation 2. Cost function 3. Cost function intuition 4. Gradient descent Model representation Supervised Learning: data에 right answer이 존재 Regression: output이 실수 형태 Classification: output이 discrete-value Unsupervised Learning: data에 right answer이 존재 x Cost function Hypothesis: H(x) = wx + b → H(x)와 y가 가까워지는 w와 b 값 탐색 (minimize (H(x) - y)) Cost function = Objective function Cost fun.. SVD 1. Singular Value Decomposition Singular Value Decomposition 이전에 배운 Eigendecomposition Sqaure Matrix에서만 적용 Matrix D, P, P^-1 등을 orthogonal atrix로 설정 시, 이를 rotation, reflection 등으로 해석 (항상 orthogonal matrix이지는 않다.) Singular Value Decomposition (SVD) dimensionaliy reduction, low-rank matrix approximation, recommendation system 등 다양한 분야에 사용 Rectangular Matrix A → Span (m x n) Matrix U → Span (m x m).. Advanced Eigendecomposition 2 1. Advanced Eigendecomposition 2 Advanced Eigendecomposition 2 orthogonally diagonalizable Symmetric Matrix A를 decomposition 했을 때, orthogonal 한 Matrix P와 (with P^{-1} = P^T) diagonal Matrix D를 가지면, A는 orthogonally diagonalizable 하다. Geometric Multiplicity Algebraic Multiplicity: Characteristic Equation에서 각 λ의 개수 Geometric Multiplicity: Characteristic Equation의 각 λ의 eigenspace의 dimension (= 각 λ의 .. Advanced Eigendecomposition 1. Advanced Eigendecomposition Advanced Eigendecomposition 1 SVD → rectangular matrix 사용 EVD → square + Symmetric Matrix 사용 Symmetric Matrix Matrix A는 반드시 square matrix diagonal entry들은 아무 값이나 올 수 있지만, 대각선 entry들을 기준으로 양 entry들은 쌍을 이룬 값들이 위치 Matrix A가 linearly independent 하다면 Av = λv에서, angle(vi, span {v1, v2, ...}) > 0˚ (angle = 0˚이면 각 vector가 포함관계가 되어버린다!) (v1, v2, v3, ...)가 orthogonal 하다면 (i... Eigendecomposition 1. Install Packages 2. Geometry of Eigendecomposition 3. Eigendecomposition Install Packages # visualization을 위한 helper code입니다. from urllib.request import urlretrieve URL = 'https://go.gwu.edu/engcomp4plot' urlretrieve(URL, 'plot_helper.py') import sys sys.path.append('../scripts/') # 다음 세 custom function (1)plot_vector, (2)plot_linear_transformation, (3) plot_linear_transformations # 을 사용할 것입니.. Gram-Schmidt orthonormalization & QR decomposition 1. Install Packages 2. Gram-Schmidt orthonormalization 3. QR decomposition Install Packages # visualization을 위한 helper code입니다. from urllib.request import urlretrieve URL = 'https://go.gwu.edu/engcomp4plot' urlretrieve(URL, 'plot_helper.py') import sys sys.path.append('../scripts/') # 다음 세 custom function (1)plot_vector, (2)plot_linear_transformation, (3) plot_linear_transformations # 을 사용할 것입니다.. 이전 1 2 다음
