Gram-Schmidt Process

source: https://en.wikipedia.org/wiki/Gram%E2%80%93Schmidt_process

Gram–Schmidt process - Wikipedia

https://en.wikipedia.org/wiki/Orthonormal_basis

Orthonormal basis - Wikipedia

https://en.wikipedia.org/wiki/Orthogonality

Orthogonality - Wikipedia

 

그람-슈미트 과정은 내적 공간inner product space에서 벡터들의 집합을 Orthonormal하게 만드는 방법이다.

 

표준 내적이Standard Inner Product 갖춰진 R^n의 유클리디안 공간Euclidean Space에서 흔하게 쓰인다.

 

그람-슈미트를 사용하기 위해서는

1. 벡터들의 집합이 유한finite 해야 한다.

2. 벡터들이 서로 선형 독립linearly independent이어야 한다.

 

그리고 그람-슈미트를 적용했을 때 만들어지는 집합은 orthogonal 해야 하며,

이 집합이 R^n의 k-dimension subspace 여야 한다. (이 때 k는 조건 1,2의 집합의 원소의 갯수)

 

 

 

Orthonormal

= 모든 벡터가 단위 벡터이다. + 벡터들이 서로 모두 Orthogonal하다. 

 

Orthogonal

=> Inner product space에서 두 벡터 x,y의 inner product <x,y>가 0이다.

=> Geometry에서 두 유클리디안Euclidean 벡터가 직교perpendicular한다.

=> 행렬이 Orthogonal하면, 그 행렬의 column vector들은 서로 orthonomal하다.

 

 

 

그람-슈미트 과정을 쉽게 표현하면 아래와 같다.

(수학적으로 엄밀히 맞는 표현이 아닐 수도 있지만 내가 이해한 바에 따르면..)

 

두 개의 벡터 A,B가 존재 할 때,

벡터A를 다른 벡터B에 정사영projection시킨다.

그리고 이 정사영을 Proj_a(B)라고 하자.

 

벡터A를 벡터 B에 정사영 시킨 성분은 쉽게 말해서, 벡터B 위에서 벡터A의 길이와 같다.

 

벡터 A를 정사영 성분 Proj_a(B)과 또 다른 하나로 표현할 수 있다.

 

벡터 하나를 두 개의 성분으로 나누면

그 중 하나는 위에서 언급한 정사영 성분이고, 나머지 성분은 벡터B와 직교하는 또 다른 벡터이다.

 

 

즉 서로 다른 벡터가 두 개 있을 때,

하나의 벡터를 두 가지 성분으로 나누는 행위인데,

이 때 두 가지 성분 중 하나는 다른 벡터에 대한 정사영이고, 나머지 하나는 다른 벡터와 직교한다.

 

직교성orthogonality을 이용하기 위해서 Gram-Schmidt를 사용하는 경우가 많다.