31강 다변량 정규분포

 

 

하나의 전형에는 여러가지 시험이 있을 때, 

 

1차 필기시험점수 , 2차 필기시험점수  , 면접 점수 ..

 

각각의 점수마다 정규분포를 이룬다고 할 때, 다변량 정규분포를 생각할 수 있다. 

 

 

여러개의 확률변수를 하나의 열 벡터로 생각하려고 한다. 

 

각 벡터의 원소들(요소 또는 성분 그냥 각각 확률변수를 말함 )  사이에 연관성이 존재하는데 

 

연관성은 공분산으로 생각하기로 한다. 

 

벡터와 행렬의 개념을 통해 

 

(1) 확률변수들의 묶음 

 

(2) 평균들의 묶음 

 

(3) 공분산들의 묶음  을 정의해보기로 한다. 

 

정의하고 나면, 다변량 정규분포의 식을 정리할 수 있다. 

 

 

 

(1) p 개의 확률변수 X1 , X2 , ... , Xp 에 대해서 

 

이 확률변수들을 세로로 늘여뜨려놓은 열벡터를 다변량 확률변수(또는 확률벡터) 라고 한다. 

 

t는 전치(transpose)를 뜻하고 , 다변량 확률변수 X는 특히 굵게 표시한다. 다변량 확률변수는 보통 행벡터보단 열벡터로 생각한다.

 

 

(2) 다변량 확률변수 X의 요소 들 즉, 개별 확률변수 들의 평균이 정의되어 있고 , 

 

개별 확률변수들의 분산이 정의되어 있으며 , 서로간의 분산 즉 공분산도 정의되어 있다고 하자. 

 

자기자신과의 공분산은 정의에 의해서 그냥 분산이 된다.

 

 

 

이때 각각 확률변수들의 평균들을 세로로 늘여뜨려 놓은 열벡터를 

 

X의 평균 벡터라고 한다. 

 

t는 전치(transpose)를 뜻하고 X의 평균 벡터 역시 굵게 표시하고 행벡터보단 열벡터로 생각한다.

 

 

 

 

 

(3) 1부터 p까지 확률변수들 끼리의 공분산의 조합을 X의 공분산행렬(분산행렬) 이라고 하고 , 

 

표준편차 σ 를 대문자로   Σ (시그마) 로 표현하기 때문에 

 

 X의 공분산행렬을 Σ로 표현한다. 

 

 

i 번째 행에 있으면서 , j번째 열에 있는 성분은 Xi , Xj의 공분산으로 주어진 성분이고 X의 공분산 행렬은 이런 성분들로 이루어진 행렬이다.

 

 

두가지 특징을 살펴보자 

 

 

* [Wij] 가 확률변수의 행렬 ( k x k ) 일때 E [Wij]  = [E(Wij) ] 이 성립한다. 

 

무슨 뜻이냐면, 

 

k x k 개의 확률변수가 있다. 

 

i(행) 가 1부터 k 까지 있고 

j(열) 도 1부터 k까지 있는 상태에서 

 

가로 세로로 k , k 늘여뜨려놓은 행렬 W 

 

즉 확률변수의 행렬을 생각해본다고 했을 때 ( = [Wij] ) 

 

이 행렬의 평균은 각각 확률변수들이 위치한 자리와 동일한 자리에 

 

확률변수와 대응되는 평균들이 위치했을 때의 평균들의 행렬로 나타낼 수 있다. 

 

말로 한 걸 식으로 나타내면, 

 

X의 평균벡터는 각각의 평균들의 열벡터이듯이, 행렬의 평균은 각각 위치해둔 평균들의 행렬로 나타낼 수 있다.

 

 

이때, 행렬 V = [Vij] , 행렬 W = [Wij]  가 확률변수행렬이고 , C, D가 k x k 상수 행렬일때 ,

 

다음 식이 성립한다.  

 

행렬에서 교환법칙은 성립되지 않으므로 E(WD)를 처리할 때 신경써서 E(W)D로 적어줘야한다. 그외에 나머지는 기댓값에서 상수는밖으로 나오고 ,서로 다른 확률변수의 합은 따로 나눠서 생각할 수 있다는 점에서 그냥 기댓값의 성질을 적용한 식이다.

 

 

한편 , X의 공분산 행렬 을 다변량 확률변수 X 와 X의 평균벡터 μ  로 표현할 수 있다. 

 

 ( X - μ )  ( X - μ )^t 를 이용해서 X의 공분산 행렬을 다르게 표현할 수 있다. 

 

그전에  ( X - μ )  ( X - μ )^t   가 무슨 뜻이냐면, 밑의 그림과 같이 

 

편차들의 제곱을 p x p 크기로 늘여놓은 행렬을 뜻한다. 

 

 

따라서 

 

X의 공분산 행렬은 공분산의 정의에 의해 다음처럼 표현되고 

 

[E((Xi - μi)(Xj - μj))]  은 편차들의 각각의 평균들의 행렬을 의미하는데 

 

앞에서 행렬의 평균은, 행렬안에 있는 요소의 평균들을 늘여놓은 행렬과 같다고 배웠다. (이부분은 조금 확실하진않음) 

X의 평균벡터는 각각의 평균들의 열벡터이듯이, 행렬의 평균은 각각 위치해둔 평균들의 행렬로 나타낼 수 있다.

 

따라서 [E((Xi - μi)(Xj - μj))] 을 다르게 표현하면,  E ( ( X - μ )  ( X - μ )^t ) 이렇게 행렬의 평균으로 나타낼 수 있다. 

 

 

 

 

벡터와 행렬의 개념을 통해 

 

(1) 확률변수들의 묶음을 다변량 확률변수 X로,

 

(2) 평균들의 묶음을 X의 평균벡터 μ   로, 

 

(3) 공분산들의 묶음  을 X의 공분산행렬 Σ 로 정의하였다. 

 

 

이제 벡터와 행렬을 이용해서

 

확률변수가 X1, X2, ... , Xp   즉 p개 일때 다변량 정규분포의 밀도함수를 표현할 수 있다. 

 

 

 

여기서 e의 지수부분 exp 을 자세히 보면 

 

 

 

다변량 정규분포 식에, p = 2 를 넣어서 , 

 

이전에 구했던 이변량 정규분포 식과 동일한지 비교해보자 

 

p = 2 일 경우 , 

 

 

 

 

한편, 

 

 

벡터의 곱셈을 차례대로 연산하면, 

 

 

 

 

이 식을 다변량 정규분포 식에 대입하면, 

 

익숙한 이변량 정규분포 식을 보게된다.