datavwy 님의 블로그

Granger Causality(그레인저 인과성 검정)

datavwy — Sun, 7 Dec 2025 21:53:45 +0900

아래 url에 기재된 유튜브를 바탕으로 그레인저 인과성 검정을 공부를 위해 학습한 내용을 필사하였습니다.

https://youtu.be/b8hzDzGWyGM?si=m8EoMTUsA1ZIehlh

Granger Causality , 파이썬 코드를 통한 그레인저 인과성 검정을 하기 위해 해당 강의를 참고하였습니다.

https://youtu.be/4TkNZviNJC0?si=ljNENO-CgCmGwQGT

그레인저 인과성 검정에 대해서 간단하게 배워보려고 한다.

그레인저 인과성 검정을 알기전에 VAR모형에 대해서 알아본다.

앞에서 계속 배워웠던 시계열 모형 중에서 AR(p) 모형은

Yt 를 종속변수로 두고, 독립변수는 t시점 이전의 Yt-1, .. Yt-p 자신의 과거로 사용하며

이 해당 모형에서 {Yt}라는 확률과정이 생긴다.

그런데 사실 이 경우는 '하나의 시계열 (one time series)' 을 보는것이다.

이제부터 하나의 시계열에서 확장해서 여러개의 시계열을 확장하자

만일 데이터가 여러개의 시계열이 있고 이 시계열들의 상호작용을 고려한 모형에

해당 데이터를 적합하고자할때 쓰이는 모형이 벡터자기회귀모형이다.

벡터자기회귀모형(vector Auto regression)은 하나의 시계열(one time series)에만

초점을 두지않고, 여러개의 시계열 즉 여러개의 확률과정 (multiple time series) 와

더불어 이 확률과정 간의 상호작용(interaction)을 고려한다.

그리고 이 상호작용은 구체적으로 '하나의 시계열(time series)가

또다른 시계열(time series)의 원인(cause)인가 아닌가에 대한 내용이다.

예를들어

내가 어떤 동네에 살고 있고 이 동네의 집값이 오르게 되었다고 가정해보자.

그렇다면 자연스럽게 이 동네의 주변 동네의 집값도 오를것이라고 생각해볼 수 있다.

이렇게 자연스럽게 생각해볼수 있는 이유는 지역적으로 가까이 묶여있기 때문이다.

이 상황에서 두개의 시계열(two time series)를 생각해 볼 수 있는데

하나는 {Yr} : 우리 동네의 집값 이고

또 다른 하나는 {Xt} : 우리 동네 옆의 집값 으로 생각해 볼 수 있다.

근데 이 두 개의 시계열이 연관되어 있을 수 있다는 것이다.

어쩌면 우리 동네의 집값상승이 원인이 되어

우리 동네 옆의 집값 상승의 결과를 일으킨것이 아닐까 ? 라고 생각해 볼 수 있다.

데이터를 통해 연관관계가 있는지 혹은 심화적으로

인과관계가 있는지 파악하는 것은 해당 예시의 경우 미래의 집값을 예측(predict) 할때 도움을 준다.

따라서 이제부터 이러한 인과관계가 있는지 단순히 추측하기 보다

수학적으로 어떻게 파악할수 있는지 살펴보고자 한다.

여기 왼쪽은 부자 도시이고

오른쪽은 가난한 도시가 있다.

두 동네는 공통점이 있는데 그건 두 도시 모두 매년 특정한 양의 재화를 수출하려고 한다는 것이다.

그래서 위의 그림에서

rt : 1년에 부자도시에서 수출된 재화의 양

Pt : 1년에 가난한 도시에서 수출된 재화의 양이다.

예를들어 r1과 P1은 각각의 도시에서 첫해( year 1 ) 에 수출된 재화의 양이 된다 .

이때,

가난한 도시는 재정 적자나 부채 상태에서 벗어나려고 한다는 점을 주목하자 (가정)

가난한 도시는 재정적으로 더 건전해지고 싶어해서

부자 도시를 일종의 기준으로 삼는다.

즉 가난한 도시는 부자 도시의 수출량을 보고 이 값을 기준으로

이 전년도의 부자 도시의 수출량과 동일한 값으로

자기 도시(가난한 도시)의 올해 수출량을 정하기로 한다.

(영상에서 이 말에 대한 또 하나의 언급으로는

금융, 경제에서 꽤 흔하다고 한다.

심지어 정부나 국가 단위에서도 가난에서 벗어나려는 한 나라가

더 부유한 나라의 통화에 자기 나라의 통화를 연동(link) 시키는 경우가 있다고 한다.

(ex). 인플레이션 목표를 다른 나라에 맞춰 따라가는 정책

이렇게 하는 이유는 이러한 단순한 조치만으로도

가난한 나라가 빈곤 상태에서 벗어나기를 기대하기 때문이다. )

아무튼 가난한 도시가 이전년도의 부자도시의 수출량와 똑같은 수출량을 올해

수출하기로 하는 전략을 선택하겠다고 결정했다면

다음과 같은 그래프가 나타날 것이라고 생각해 볼 수 있다.

위의 그래프는 시간에 따라서 가난한 도시와 부자도시의 수출량을 나타낸 그래프이다.

가난한 도시가 부자 도시의 전략을 그대로 따라 했다고 생각할 수 있으므로

부자 도시의 직전 과거값이 동일하게 가난한 도시의 당해 년도의 수출량이 되므로

부자 도시의 수출량 그래프를 이동(shift) 한 그래프가

정확하게 가난한 도시의 수출량 그래프가 된다.

이는 하나의 시계열이 또 다른 하나의 시계열과 어떻게 연관(link) 되어 있는지

기하적으로(그래프로) 설명한 내용이다.

이제 수학적으로 설명하는데 하기전에 인과성(Causality)가 무엇인지 명확히 하고자 한다.

두개의 시계열이 어떤 방식으로 연결되어 있어서

한 시계열을 다른 시계열의 시차(lagged values)를 보고 아주 잘 예측할 수 있는 상황이면

(위의 예시의 경우

부자 도시의 과거 수출 값을 하면 가난한 도시의 수출전략을 잘 예측할 수 있었다.)

이를 one time series Granger causes the other 이라고 한다.

이 부분에 중요한 점은 꼭 Granger causality 라고 이름을 붙여야한다는 것이다.

그냥 causality라고 하면 안되는 이유가

인과관계라고 말하기 위해선 훨씬 더 까다로운 조건과 증명이 필요하기 때문이다.

실제로 진짜 원인이 무엇인지는 알수 없고

단순히 하나의 시계열이 다른 시계열을 예측하는데 매우 도움이 된다 정도 만 알고 있기 떄문에

causality 라고 표현하지 않고 다소 완화된 개념으로

Granger causality라고 표현한다.

위의 예제의 경우

"부자 도시의 수출전략 Rt가 가난한 도시의 수출 전략 Pt를

Granger cause 하고 있다(Granger causing)" 라고 표현한다.

도식화 하면 다음과 같다.

그럼 이제 이걸 그래프로 판단하지말고 수학적으로 확인하는 공식을 살펴보기로 한다.

단계별로 진행된다.

첫번째 단계는 Pt 를 종속변수로 두고

이와 잘 맞는 AR모형을 찾는다.

(이를 위해서 PACF(부분 자기상관함수)를 사용할 수 있는데

PACF는 ACF와 마찬가지로 시계열 자료의 종속성을 파악할 수 있으며

또한 AR 모형에 어떤 시차(lag)까지 포함해야하는지 파악할 수 있다.)

(PACF는 추후 포스팅할 계획입니다! ) )

예를들어 다음과 같은 결과를 얻었다고 하자.

첫번째 단계에서는 Pt에 대한 BEST AR Model를 찾는 것이다. 다음과 같이 찾았다고 가정해보자

{Pt} 은 해당 모형에서 얻어진 시계열이라고 하면,

Pt의 다음 미래값을 예측하기 위해선, 직전값과 시차가 3떨어진 과거값을 사용하면 된다는 것을 알게된다.

이를 base model (기본 모형) 이라고 한다.

해당 모형에는 부자 도시의 대한 정보가 있지 않다.

그 이유는 추가 정보를 넣지 않았을 때 가난한 도시의 수출량을 어느 정도까지 예측가능한지 먼저 확인하는 단계이기 때문이다.

만일 가난한 도시의 수출 전략의 과거값들만 사용해서 만든 모형(base model) 에서

만든 예측이 부자 도시의 정보를 추가해서 만든 모형에서 만든 예측과 비교했을때

예측력에서 거의 차이가 없다면

부자 도시 정보는 굳이 필요하지 않고

부자 도시의 수출전략은 가난한 도시의 전략을 Granger cause 하지 않는다 라고 말할 수 있다.

두번째 단계는

이제 해당 base model에 부자 도시의 수출 에 관한 항인 rt 을 추가한다.

두번째 단계는 rt와 관련된 항을 추가한다. 이제 이 모형을 base model의 예측력과 비교해본다.

그러나 base model 모형의 예측력을 비교하기전에

'rt와 관련된 항'을 추가한다고 했는데

지금 이 경우 rt-3와 rt-5을 골랐다.

여기서 하필 무수히 많은 부자 도시의 t 시점 이전 과거값들중 이 값들을 어떻게 골라내었는지 생각해봐야한다.

이 과정은 다시 세부적으로 두 단계로 이루어진다.

먼저 여러가지 다른 시차를 고려해본다

예를들어 rt-1, rt-2 를 모형에 넣어보고

(사실 어떤 시차를 고려할지 도와주는 여러가지 방법이 있지만 지금은 여러 시차들 중 몇개를 후보로 선택하는 방법을 생각해본다.)

다음에는 각 시차마다 t-test를 수행한다.

해당 t-test는

"특정 시차 하나가 가난한 도시의 수출 전략을 예측하는데 의미있는가(meaningful)를 알려준다"

데이터를 모형에 적합한 후 t-test 검정을 통해서

귀무가설을 특정 시차의 계수가 0 이다.

대립가설을 특정 시차의 계수가 0이 아니다. 를 통해서

만일 유의하다면 해당 시차는 남기고 유의하지 않다면 해당 시차는 버린다.

t-test를 하게된 결과

가난한 도시의 수출량을 예측하는데 도움이 되는 부자 도시의 과거 t시점의 몇개의 시차들만 남게된다.

그 다음으로는

이렇게 골라낸 시차들을 한꺼번에 모아서 F-test를 수행하는 것이다.

F-검정은 이 여러개의 시차들을 함께넣었을떄

이들이 집합적으로 가난한 도시의 수출 전략을 예측하는데 의미있는가

즉 모형의 유의미성을 test한다.

구체적으로 만일 t-test의 경우 선별된 모든 시차들이 유의미했지만

F-test 결과 모형이 유의미하지않다고 하면

해당 시차들을 모두 버린다.

두단계를 거치고 나서

최종적으로 rt-3와 rt-5가 t-test와 F-test를 통과했다고 가정하자.

즉 두 시차는

가난한 도시의 수출량을 예측하는 데 유의미하게 도움이 된다는 뜻이고,
그래서 이 두 시차를 최종 모형에 포함해서 유지한다는 결론이 된다.

이제 세번째 단계는 결론을 내는 것이다.

만약 최종 모형에 부자 도시 수출량의 시차가

적어도 하나이상 포함되어 있다면

" 부자 도시의 수출량이 가난한 도시의 수출량을 Granger cause 한다 " 라고 말할 수 있다.

최종 모형에 부자 도시 수출량에 대한 시차(ex.rt-3 , rt-5) 가

하나라도 포함되어 있다면 이는

부자 도시 수출량의 시차에 대한 정보를 알고나면

가난한 도시 수출량에 대한 예측력이 유의미하게 좋아진다는 것을 확인했다는 뜻이다.

이 관계가 바로 Granger causality 이다.

반대로 t-test와 F-test 를 모두 거쳤는데

부자 도시 수출량의 어떠한 시차도 통계적으로 유의하지 않다는 결과가 나오면

이 말은 곧

1단계에서 만들었던 가난한 도시의 AR모형에

부자 도시 수출 전략의 시차 정보를 아무리 넣어도 모형이 더 좋아지지 않는다는 것을 의미한다.

이 경우

"부자 도시의 수출량은 가난한 도시의 수출량을 Granger cause 하지 않는다" 라고 한다.

<요약>

Granger casuality의 직관적인 개념
- 한 시계열의 과거 값이 다른 시계열의 미래를 예측하는 데 도움이 되면,
  그때 우리는 Granger causality라는 개념을 쓴다.
- 즉, “한 시계열이 다른 시계열을 예측적으로 이끈다”는 아이디어다.
Granger causality ≠ 진짜 인과관계
- Granger causality는 진짜 인과관계(causality) 자체는 아니다.
- 다만, “A가 B를 예측하는 데 유용하다”는 의미에서
  조금 완화된 인과 개념이라고 볼 수 있다.
- (그래도 여전히 매우 유용하다고 합니다.)
수학(통계)적으로 판단하는 3단계 절차
- (1) 원래 하나의 변수에 대한 BEST AR(p) 모형 적합 (= base model 만들기)
- (2) 다른 시계열의 시차들을 넣고 t-검정, F-검정 (= 세부적인 두단계) 으로 유의한지 확인
- (3) 유의한 시차가 적어도 하나 이상 최종 모형에 남아 있으면 “Granger cause 한다”고 결론

파이썬을 통해 간단하게 granger casuality 를 검정해본다.

데이터는 AR모형에서 시뮬레이션을 통해 생성하기로 한다.

grangercausality 검정을 하기 위해 쓰는 파이썬 라이브러리는 grangercausalitytests 이다.

t1과 t2 라는 두개의 시계열을 만들것이고

t1과 t2 는 직전 시차의 계수가 0.5 인 AR(1) 모형을 따른다고 가정한다.

(주어진 데이터가 아닌 모형에서 생성된 데이터(simulated)를 사용하였습니다)

단 t2의 경우 t1과 달리 각 시점마다 random noise를 추가한다.

그다음 t2라는 시계열은 t1 시계열의 3개월 뒤로 밀려난 데이터로 임의로 설정한다.

그래프를 통해 t1을 오른쪽으로 이동시킨 데이터가 t2임을 알 수 있다. 단 이동시켜도 완벽하게 두그래프가 겹치지 않는데 그이유는 t2에 random noise을 추가하였기 때문에 t2는 t1의 완벽한 복제본이 아닌 대략적으로 t1을 3개월 이동시킨 복제본이다. (<--> 위의 예제인 가난한 도시와 부자도시의 경우 부자도시를 다음 년도 이동시키면 정확히 가난한 도시의 수출량이 되었다.)

모의로 어떻게 생성되었는지 모른다고 가정했을땐

그래프로 판단하기에 t1을 이동시킨 데이터가 t2와 비슷하다는 점을 파악할 수 있었는데

이러한 관계를 통계적으로 즉 코드로 어떻게 포착하는지 파악해보기로 한다.

grangercasuality test를 하기전에 test에 넣어줄 옵션중 하나인 데이터를 다듬어야하는데

이 경우 매우 중요한점은 첫번 째 열에는 'Granger 인과성을 받는 시계열(위의 예제의 경우: 가난한 도시가 된다.) '

, 두번째 열에는 'Granger 인과성을 주는 시계열, 즉 원인이 될 수도 있는 후보(위의 예제의 경우: 부자 도시가 된다.)'

을 무조건 지켜서 넣어야 한다.

지금 해당 예제의 경우 , t1에 의해 t2가 Granger cause가 되는지? 확인하는 것이 목적이므로

t2를 첫번째 열에, t1을 두번째 열에 넣는다.

데이터를 다듬었다면 이제 grangercausalitytests라는 함수에

데이터와 그다음 최대 시차개수(maxlag)을 넣으면된다.

예를들어 밑의 그림의 경우 3을 넣었는데 이 말은

'1시차, 2시차 , 3시차에서 Granger 인과성이 있는지 차례대로 검사한다' 라는 뜻이다.

원하는 만큼 시차의 개수를 줄 수 있다.

test 하기전에 유의수준을 0.05 라고 하자.

결과를 본다면,

먼저 1시차만 고려했을때,

grangercausalitytests라는 함수는 4가지 검정을 수행하고 있다.

각 검정에 대한 p_value을 알 수 있고

해당 p_value는 유의수준 0.05 보다 모두 크기 때문에

1시차만 보았을때는 t1이 t2를 Granger cause 한다고 보기 어렵다고 말할 수 있다.

그 다음, 2시차까지 보는 경우를 살펴보면,

p-value들이 모두 0.001 전후로 매우 작다.

즉 2차시까지 고려했을 때, t2라는 시계열은 t1이라는 시계열을 Granger cause한다고 말할 수 있다.

3시차까지 포함해서 보면, 네 가지 검정에 대한 p-value가 모두 0 또는 거의 0에 가깝게 떨어진다.

이는 “3시차까지 고려했을 때, t1이 t2를 Granger cause 한다는 매우 강한 증거가 있다”는 뜻이다.

해당 결과를 통해

위에서 t2라는 시계열은 t1 시계열의 3개월 뒤로 밀려난 데이터로 임의로 설계해둔 바가

검정결과에 그대로 드러났다고 생각할 수 있다.

행렬과 벡터 기초

datavwy — Sun, 30 Nov 2025 22:42:43 +0900

행렬과 벡터 기초를 따로 포스팅하는 이유는

현재 다변량 정규분포를 공부를 하고 있는 상황인데 내용 중에서 블록행렬이 나와서

갑자기 행렬곱을 못하게된 경험을 하게 되었기 때문이다.

(행렬과 벡터 기초를 공부한 다음 추후 블록행렬에 대해서 포스팅을 할 계획입니다!)

(Khan Academy 라는 사이트가 있는데 인터넷으로 기초 미적분학이나 벡터 연산 등을 공부할 수 있다. )

우선 행렬의 가장 간단한 형태인 벡터에 대하여 살펴보자

벡터는 요소( 수 또는 변수를 뜻함 예를 들어 1 , x ) 들의 1차원적인 배열이다.

주의!: 여기서 말하는 '1차원적'이라는 말은 요소들이 일렬로 나열되어 있는것을 의미한다.

n차원 벡터할때 'n차원'이라는 말과 구분해야함

※ 요소는 단순히 벡터나 행렬 안에 있는 수를 말함

나중에 행렬 언급하면 얘기하겠지만 , 행렬안에 있는 각 요소는 그 요소가

위치한 행과 열로 이름을 짓는다.

요소는 성분 또는 entry 라고도 부른다.

예를 들어서

왼쪽의 경우 , 세로로 배열된 벡터를 열벡터라고 하고

가로로 배열된 벡터를 행벡터라고 한다.

벡터를 구성하는 요소가 n개 이면, 그 벡터를 n차원 벡터라고 한다.

위에서 [ 1, 2, 3 ] 은 요소가 3개이므로 3차원 벡터라고 하고 , 3차원 공간에서의 벡터를 의미한다.

하나의 열벡터는 행벡터로 , 행벡터는 다시 열벡터로 변형할 수 있는데

이렇게 변형하는 것을 전치(transpose)라고 한다.

예를 들어서

전치는 상첨자 T로 표기한다.

열벡터 v에 상첨자인 T를 표기하면,

열벡터v를 전치했다는 뜻이다.

즉 열벡터를 행벡터로 변형하겠다는 표시 이므로 변형할 시 , [ 1, x ] 로 표기된다.

벡터의 덧셈과 뺄셈

벡터의 덧셈과 뺄셈을 할 때 밑의 두가지를 지키면 된다.

· 두 벡터의 합과 차 역시 벡터가 된다.

· 각 요소는 두 벡터의 동일 위치에 있는 요소들 간의 합 또는 차와 같다.

예를 들어서

이렇게 벡터간의 덧셈과 뺄셈이 가능하려면,

벡터들의 차원이 같아야한다.

차원이 다른 벡터 간의 덧셈과 뺄섬은 정의하지 않는다.

벡터간의 곱셈

두 벡터의 곱은 내적이라고 부르는데, 내적 결과는 스칼라(scalar)임을 잊지 말자.

(사실 이전까지 알고 있었던 '내적'이라는 말은 dot product 를 의미했고,

이 dot product가 확장된 연산이 inner product이다. (선형대수학)

이 inner product은 결과를 scalar 값으로 내놓은 함수라고 정의된다.

지금은 Euclidean n space 상 (ex: R^n) 에서 연산을 논하고 있으므로

여기서 진행되는 내적은 dot product를 의미한다.

∵ Euclidean n space 에선 inner product가 dot product로 정의(defined) 됩니다. )

만일 두 벡터 x = ( x1, x2, x3, ... , xn) , y = (y1, y2, y2, .... , yn) 의 내적은 다음과 같다.

즉 두 벡터의 곱셈은 두 벡터의 동일 위치에 있는 요소들 간의 곱을 합한 것 과 같다.

(요소들 간의 곱을 합한 것을 잊지말자 , 행렬의 곱셈 나올때 똑같이 적용할건데 조금 헷갈림)

벡터는 이정도면 충분히 살펴본 것 같고

이번에는 행렬에 대해서 잠깐 배우고 31강으로 넘어가자

일단 역행렬까지 적어두자

일단 행렬의 예를 보면,

B와 같이 요소들이 2차원적으로 배열된 것을 행렬(matrix)라고 한다.

행렬은 영어 대문자를 사용해서 간단히 표현하기도 한다.

1, 2, 3, x , y, z 처럼 행렬 안에 나타난 수들은 벡터와 동일하게 각각 요소 또는 성분이라고 부른다.

추가적으로 행렬에선 각각의 요소들을 영어 소문자를 이용해서 간단하게 표현하기도 한다.

예를 들어서 B 행렬의 요소 3은

첫번째 행에서 세번째 열에 위치하고 있으므로 ,

이를 표현하기 위해서

이렇게 표현을 한다.

이런 식으로 행렬을 일반적으로 기술하면 다음과 같다.

그리고 A라는 행렬은 맨 오른쪽 아래의 amn 요소를 통해서

행의 갯수가 m 개 , 열의 갯수가 n개임을 알수있다.

행렬은 행의 수와 열의 수로서 크기가 정의된다. 그래서 앞서 언급한 A 행렬의 크기를 다음과 같이 표현한다.

오른쪽 표기를 잘 봐두자 증명할때 많이 보임, i가 행과 관련되어 있고 j가 열과 관련되어 있다.

행렬의 연산방법에 대해 알아조자

행렬 연산은 벡터연산과 마찬가지로 덧셈, 뺄셈, 곱셈만 가능하고 나눗셈은 정의하지 않는다.

행렬의 덧셈과 뺄셈

두 행렬의 합 또는 차 역시 행렬이 되는데, 각 요소는 두 행렬의 동일 위치에 있는 요소들 간의 합 또는 차와 같다.

즉 두 행렬의 상응하는 요소(성분)을 더하거나 빼야한다.

덧셈과 뺄셈이 가능하려면 행렬들의 차원이 같아야 함

차원이 다른 행렬 간에는 덧셈과 뺄셈이 정의되지 않는다.

예를 들어 두 행렬 A ,B 가 있다면

덧셈을 할 경우

각 요소에 상응하는 요소와 덧셈을 해야한다.

행렬 간의 곱셈

행렬간의 곱셈은 벡터간의 곱셈보다 약간 다르다.

왼쪽, 오른쪽 구분이 명확해야하는데,

두개의 행렬을 곱한다고 하면,

반드시

왼쪽에 있는 행렬의 행 과 오른쪽에 있는 행렬의 열이 만나서,

이 요소들의 곱의 합을 통해 (m, n )을 이루는 성분을 만드는 걸

반복해줘야한다.

예를 들어서

행렬간의 곱셈을 할땐 먼저

왼쪽의 여러개의 행 중에서 특정한 m행을 가져오고 ,

오른쪽의 여러개의 열 중에서 특정한 n열을 선택하면,

노란색 형광펜으로 그어져 있는 것처럼

이전에 우리가 알고있는 벡터간의 곱셈 형태가 나온다.

벡터간의 곱셈은 각 요소간의 곱을 하면 그 값은

두개의 행렬이 곱해져 나온 새로운 행렬의 전체 행 중 m 번째 위치하고

전체 열 중 n번째 위치한 성분의 값이 된다.

이런 식으로 새로운 행렬의 성분 값들을 다 채워주면 된다.

계산 방법을 식으로 표현하면 다음과 같다.

만일 행렬 C가 행렬 A 와 B의 곱인 경우 , 즉 C = AB 인 경우 ,

C의 여러 요소중 Cij 요소의 값은 다음과 같다.

C의 전체 성분들 중 하나의 성분, 여기선 Cij 성분을 어떻게 구하는지 살펴보았다. 이 계산방법을 통해 C의 전체 성분들을 하나씩 다 계산하면 된다.

행렬의 곱셈을 할때 주의해야할 점이 있다.

1. 행렬의 곱셈이 정의되기 위해서는 , 첫번째 행렬의 열의 개수가 , 두번째 행렬의 행의 개수와 동일해야한다.

위의 그림을 보고 눈치를 어느정도 챌 수 있다.

첫번째 행렬의 열의 개수가 두번째 행렬의 행의 개수보다 크거나 작으면, 계산 자체가 이루어질 수 없다.

예를 들어서 ,

두행렬의 곱을 통해 새로운 행렬의 첫번째 행과 첫번째 열에 위치한 요소를 구할려고

요소들간의 곱을 해서 합을 할려고 했더니 왼쪽의 요소 3과 대응하는 오른쪽 요소가 없는걸 볼수 있다.

왼쪽의 행렬의 크기는 2(행) X 3( 열) 이고

오른쪽의 행렬의 크기는 2(행렬) X 3(열) 이므로

왼쪽의 행렬의 열의 갯수가 오른쪽의 행렬의 행의 갯수보다 크므로 동일하지 않기 때문에

행렬의 곱셈이 정의되지 않는다.

차원의 성질을 통해서 , 행렬간의 곱셈이 정의되는지 여부를 빠르게 판단할 수있다.

만일 m x n 행렬( = 행을 m개 , 열을 n개 가지고 있는 행렬) 과

n x k 행렬( = 행을 n개 , 열을 k개 가지고 있는 행렬) 의 곱을 식으로 나타내면 다음과 같다.

따라서

두 행렬을 곱했을 때 새로운 행렬은

m개의 행과 k개의 열을 가지고 있다.

2. 행렬의 곱은 그 순서를 바꾸면 원래의 것과 반드시 같지 않다.

스칼라의 경우에는 xy = yx 가 항상 성립한다. 그러나 행렬의 경우에는

AB = BA 가 성립되지 않는 경우가 있다.

그래서 두 행렬이 AB 이렇게 표기가 되어있다고 해서 함부로 BA로 바꾸면 안된다!

단위 행렬에 대해서 알아보자

단위 행렬 또는 항등행렬 ( identity matrix) 는 정방행렬 중

대각선상에 있는 요소들이 모두 1이고 , 나머지 요소들은 모두 0 인 행렬이다.

보통 대문자 I로 표시한다.

정방행렬에 항등행렬을 앞 또는 뒤에서 곱하면 결과는 원래의 정방행렬과 같다.

즉 A · I = I · A = A 가 된다.

단위행렬은 실수연산에서의 1의 역할과 비슷하다고 생각하면 된다.

공분산 식 다르게 표현하기

datavwy — Sun, 23 Nov 2025 21:19:56 +0900

2025년 8월 9일 에 시행된 adsp 시험에서 공분산을 계산하는 문제가 출제되었다.

공분산의 정의식에 의해서 계산할 수도 있지만

정의식을 다르게 표현해서 계산할 수도 있다.

데이터가 주어졌을때 표본 공분산 식을 나타낸다.

정확히 말하면 위의 그림에서

위의 식은 표본 공분산의 정의를 나타내고

(두개의 확률변수 X, Y에대한 데이터가 인덱스 i에 따라

xi , yi 컬럼(컬럼벡터를 의미하는게 아니라 엑셀에서 컬럼으로 표현된 표)

로 주어져 있을 때 표본 공분산 공식을 나타낸다. )

아래식은 위의 식을 변형한 식을 나타낸다.

궁금한 점은 위의 식을 어떻게 아래의 식으로 변형할 수 있는가? 이다.

Sxy 는 영어로 covariance , 한글로 공분산 인데 표본으로부터 계산된 공분산이다.

아래 식을 통해 표본 공분산을 조금 더 쉽게 계산할 수 있다.

다변량 자료분석 中 공분산

datavwy — Sun, 16 Nov 2025 19:41:00 +0900

다변량 자료분석은 따로 시계열 자료분석 처럼 포스팅을 만들 계획은 없지만

다변량 차원에서 공분산 개념을 위주로 헷갈리는 점이 있어서 해당 부분만 블로그에 저장하듯이 공부하기로 한다.

확률변수 X와 Y가 있을때, X와 Y의 공분산은 정의에 의해서

Cov(X, Y) = E(X - E(X)*(Y - E(Y)) 로 표현된다.

그렇다면 만일, 여러개의 확률변수가 담겨있는 random vector의 공분산은 어떻게 표현되는지 살펴본다.

X, Y가 각각 그저 확률변수인 경우

Cov(X, Y = E(XY) - E(X)E(Y) 임을 배웠다.

그러나 위의 결과처럼 X, Y가 확률변수가 아니라 m차원의 random vector인 경우

Cov( X + Y) = Cov(X) + Cov(Y) 이다.

시계열_ch4 The General Linear Process Version of the AR(1) model

datavwy — Sun, 9 Nov 2025 21:57:19 +0900

복습)

지난 시간에 배운 Auto regressive processes 에 대해서 다시 복습해보자

AR(p) 모형으로부터 정의된 정상 확률과정(stationary processes)의

(AR(p)모형에서 만들어진 확률과정은 자연스럽게 정상과정이 되지않는다.

정상성을 만족하는 조건을 만족하는 경우 정상 확률과정이라고 붙인다. )

이론적인 자기상관계수함수(=ACF)는 시간이 흐를수록 상관관계가 상당히 약해지며

그래프는 다음과 같이 그려진다.

빠른 정도를 말로 표현하면 '지수적으로 빠르게 감소한다'라고 할 수 있다.

( 여러번 반복했지만 시계열 모형의 가장 중요한 특징은 ACF임을 꼭 기억하자!)

( 이론적인 ACF를 소개한 것에 주목하자.

시계열 모형을 배우는 목적은 나중에 데이터가 주어진다면, 데이터의 특징을 보고 어떤 모델을 선택해야하는지 배우는 것이다.

이때 시계열 데이터의 특징 중 주목해서 봐야할 것이 데이터로부터 계산된 ACF(=Sample ACF(SACF), SACF는 통계량이된다.)

이고

이 SACF를 여러 모형의 이론적인 ACF들과 비교해서 최대한 비슷하게 보이는 이론적인 ACF가 있다면

이에 대응되는 시계열 모델을 선택한다. )

한편 또 지난 시간에 배운 Moving Average processes 에 대해서 다시 복습해보자

MA(q) 모형으로부터 정의된 확률과정의

(MA(q) 모형에서 만들어진 확률과정은 자연스럽게 정상성을 띤다. 그래서 정상이란 말을 생략함( 앞 부분 복습) )

이론적인 자기상관계수함수(=ACF)는 q시차 이후로 모두 상관관계가 0이 됨을 알 수 있다.

q시차 이후로는 상관관계가 0 이다. AR(p)모형의 상관계수는 시차가 증가하여도 상관관계가 0에 가까워지지만 0이 되지않음을 알 수 있다.

간단하게 복습했다

이제 다음의 모형을 따르는 확률과정 {Yt}에 대해서 생각해보자

이 모형은 무슨 모형일까?

Yt - μ을 Zt, Yt-1 - μ 를 Zt-1, ..., Yt-p - μ 를 Zt-p로 바꿔보자

그렇게되면 {Zt} 는 AR(p) 모형에서 나온 확률과정이라고 생각할 수 있다.

( ∵ AR모형은 자기자신의 과거값들의 선형결합으로 표현할수 있다)

그다음 Yt와 Zt간의 관계에 대해 배워보자

우선 Zt는 stationary라고 가정하자.

일단 Yt를 μ 만큼 평행이동한것이 Zt이다.

그럼 직관적으로 그래프를 그려보면

평행이동하여도 종속관계가 변하지않음을 알 수 있다.

따라서 직접 계산하지않아도 다음과 같은 결론을 내릴수 있다.

직관적으로 종속관계가 변하지않음을 알았으니깐, Zt의 공분산, 분산 자기상관계수함수를 계산하지않아도 Yt의 것들과 같음을 알 수 있다.

그리고 앞서 AR(p) 모형을 배울때, 정상성을 가진 AR(p) 를 따르는 확률변수의

기댓값은 0 임을 배웠다.

여기서 Yt의 기댓값은 얼마일까? Yt는 Zt를 μ 만큼 평행이동시킨것이므로

계산하지않더라도 직관적으로 E(Yt) = μ 임을 알게된다!

여기까지 생각했으면 결국 {Yt}도 정상시계열임을 알 수 있게된다.

정상성은 평균,분산이 시간에따라 변하지말아야하고 자기상관관계는 시차에만 의존해야한다.

위의 식들을 살펴볼때 모두 만족함을 알 수 있게된다!

하고싶은 이야기는

앞서 AR(p) 는 평균이 0 이었다. 그러나 만일 데이터를 받았을때 평균이 0이 아닌 어떤 갓을 중심으로 나타난다고 생각이 들면서 데이터의 ACF가 '지수적으로 빠르게 감소'하는것 같다고 판단된다면 단순히 AR(p) 모형이 아닌 위의 모형을 잠정적인 모형으로 선택할 수 있을 것이다.

한편 위의 모형을 다음처럼 2가지 형태로 쓸 수 있다.

R에서는 두모형을 각각 지원하고 1번 모형을 선택했다고하면, R에선 μ 를 추정해주고

2번모형을 선택했다면, c를 추정해준다.

마지막으로 반복하면 둘중 어느모형을 쓰든 해당 모형으로부터 나온 {Yt}의

ACF의 그림은 다음과 같다.

상관계수가 지수적으로 감소하는 형태가 나온다.

다음 그래프를 살펴보자

해당 데이터는 정상성을 가질까?

이 그래프를 보았을때 데이터는 평균이 일정해보이지 않는것 같다.

분산도 일정해 보이지않아서 이 데이터는 비정상과정인가? 생각해볼수 있지만

그러나 사실 이 그래프는 Φ = 0.9인 AR(1)에서 데이터를 얻어와서(시뮬레이션) 그 데이터를 시각화한 것이다.

즉 데이터가 정상과정을 따른다.

앞선 내용에서 AR모형은 | Φ | < 1 이면 {Yt}가 정상과정이 된다고 배웠다.

| Φ| < 1이긴한데 Φ 가 1 에 가까운 상황이면,

정상시계열이긴하지만 위의 그래프처럼 비정상과정(non-stationary)처럼 보이는 path를 가질 수 있다.

다음 산점도 그래프를 살펴보자

초반에는 직선의 형태가 보이다가 마지막 그래프의 경우 직선의 형태가 희미해진것을 보아 (선형)상관관계가 시차(lag = 1, 2, 3, ...) 에 따라서 점차 사라지고 있는 것 같다.

이제 AR(1) 모형에서 시뮬레이션을통해 생성한 {Yt} 라는 데이터를 가지고

(Yt, Yt-1) 순서쌍을 표현한게 첫번째그림

(Yt, Yt-2) 순서쌍을 표현한게 두번째그림

(Yt, Yt-3) 순서쌍을 표현하게 세번째그림이다.

결론부터 말하면 산점도는 시차(rag)에 따라 , ACF 가 어떻게 되는지 Hint를 알려준다.

주어진 상황은

이런 상황인데,

앱실론t는 0을 중심으로 나타나니깐 Yt-1에 0.9를곱하면 Yt와 비슷할 것 같다.

비슷한 이유로 Yt-2에 (0.9)^2 = 대략 0.8 을 곱하게 된다면 Yt와 비슷해질것 같다.

이렇게 꼭 계산아니더라도 직관을 통해서 시차간 확률변수의 상관관계를 대략 파악해볼수 있다.

이경우 시차가 1, 2, 3, .. 커짐에 따라서 과거값의 계수가 되는 Φ값이 지수적으로 감소(ex. 0.9 -> (0.9)^2 -> ... ) 하므로,

상관관계가 지수적으로 감소할 것이다라고 생각해 볼 수 있다.

다만 해당 예제에선 Φ 값이 0.9로 1에 가깝기 때문에 Φ 값이 0 에 가까운 경우보다 상대적으로 상관관계가 느리게 감소함을 산점도 그래프를 통해서도 확인해볼 수 있다.

<The General Linear Process Version of the AR(1) model>

AR(1) model을 Linear Process 로 나타낼 수 있다.

Linear Process는 백색잡음의 선형결합의 무한합으로 표현된다

MA모형도 백색잡음의 선형결합으로 표현된다. 따라서 linear process 과정을 MA( ∞ ) 과정 이라고 이야기한다.

즉 AR(1) 이 MA( ∞ ) 으로 바꿀 수 있다.

AR(1) 모형에서 출발한 Yt가 마지막에 백색잡음들의 선형결합의 무한합으로 표현됨을 알 수 있다.

무한합의 경우 , 값이 존재하기 위해선, Φ^i의 절댓값의 합이 유한(수렴) 해야한다.

AR(1)이 정상성을 가지기 위해선, 특성방정식의 근이 단위원밖에 존재하고

이를 수학적으로 풀면, 한시차이전 확률변수의 계수의 절댓값이 1보다 작아야 한다.

AR(1)-->MA( ∞ ) 변환을 생각해보면, |Φ^i|의 무한합이 유한해야한다.

<The Second-Order Autoregressive Process>

AR(2) 모형을 언급하고 , AR(2)모형의 특성방정식을 소개한뒤

AR(2) 모형에서 만들어진 확률변수의 기대값, 분산, 공분산을 구해보기로 한다.

AR(2) 의 {Yt} 가 정상성을 만족하려면 특성방정식의 두 근이 모두 단위원밖에 존재해야하는데 이걸 수학적으로 풀어보면(생략) 다음과같은 3개의 부등식을 얻을 수 있다.

Yt의 분산이 t에 무관함을 알 수 있다!

그다음 상관계수를 구해보자

마지막 식에서 수열의 점화식이 다음과 같은 근의 역수 합의 형태로 나오는 이유는 생략하였다.(수학)

stationary AR(2) 라고 가정했으므로 G1, G2의 역수는 단위원 바깥에 존재해야한다.

따라서 |G1| <1 , |G2| < 1 이다.

상관계수식을 구했다! 그러면 AR(2) 모형의 ACF를 그려보자

상관계수는 G1에 k제곱, G2에 k제곱하여 합한 형태이므로

해당 항들이 지수적으로 감소하면 상관계수도 '지수적으로 감소'하는 형태를 취하게 된다.

그럼 위와같이 AR(2) 모형의 ACF를 나타낼수 있다.

이전장에서

AR(1) 의 ACF

AR(p) 의 ACF

그리고 지금 장에서

AR(2) 의 ACF의 형태가 모두 지수적으로 빠르게 감소함을 깨달았다.

그렇다면 만일 데이터가 주어졌고 그 데이터의 SACF가 지수적으로 빠르게 감소함을 알게되었다면

AR(?) 어느 모형을 쓸지 궁금해진다. 이부분은 추후에 따로 배우기로 한다.

추가적으로 AR(2) 모형의 상관계수의 식에 c1, c2, G1, G2 부분이 있는데 이부분을 구체적으로 어떻게 구할 수 있는지 배워본다.

결국 상관계수를 수열의 점화식으로 표현한 식과 이를 수학적으로 특성방정식의 해로 풀어낸 식이 서로 같음을 이용해서 ① 과 ② 와 같은 연립방정식을 얻어낼수 있다.

시계열_ch4_4.3 Autoregressive Processes

datavwy — Sat, 11 Oct 2025 00:12:55 +0900

chapter4는 반복적으로 말하면

정상성 특징을 가진 데이터에 상대적으로 잘 적합한 모델들을 소개한다.

4.1절에 General Linear model은 이론적인 모델이고

4.2절에 Moving Average model은 실제 데이터분석에 사용되는 모델이다.

4.3절에서도 실제 데이터분석에 사용되는 모델 중 하나를 소개하고 있다.

4.3 Autoregressive Processes

(복습) Processes : 앞에 Probability가 생략되어 확률과정이라고 불리며, 확률과정이란 확률변수들의 집합을 뜻한다.

그리고 더 앞에 수식어인 Autoregressive가 붙는데 한국말로 자기회귀라고 불리며

Autoregressive Processes(자기회귀과정)은 확률과정 중 하나이다.

자기회귀과정이 만들어내는 확률변수 Yt가 어떻게 만들어내는지 서술된 식은 Autoregressive model (자기회귀모델)

즉 모형이 되고 , 자기회귀모형은 다음과 같다.

확률변수 Yt는 t시점의 전값, 즉 과거값 p개들의 선형결합으로 만들어진다.

모형에서, Yt-1 , ... , Yt-p 과거 시점들의 선형결합부분이 모델의 핵심부분이고 모델링한다는 뜻은 해당 f가 어떻게 구성되었는지 만들어내는 작업을 의미한다.

이때 et부분이 없으면서 p = 1인 상황을 가정해보자.

et가 없어지고 p=1인 상황을 생각해보면 위와 같은 수학적인 모형이 나타난다.

그럼 등비수열의 점화식 형태로 보인다.

만일 초기값 Y0 가 주어지면 t시점에서의 Yt값도 그냥 결정될 것이다(확률적x)

현재 t시점에 있는 상황이라면

t-1, t-2, --- | t시점 이전의 값들은 '과거값'이므로 이미 알고있는 값들이 될것이고

t+1, t+2, ... t시점 이후의 값들은 등비수열식에 따라서 현재값에 공비만 곱해주는 형식으로 값을 알게될것이다.

즉 et가 없어진 상황에선 해당 확률모형은 수학적인 모형이 되버린다.

그러나 우리는 다음과 같은 f(Yt-1, ..., Yt-p)이라는 모형을 만들어도 이 모형(f)만으로 Yt을 설명할 수 없는 부분이

반드시 존재한다. f가 설명할 수 없는 부분을 다 몰아서 설명하고자 et를 Yt를 설명하는 모형안에 넣기로 한다.

그리고 et는 white noise를 따르고, 어떠한 값이 나올지 모르는, 즉 random한 값이므로

Yt 역시 값을 모르게되는 random한 현상이 나타난다.

Yt의 random한 점이 et로 인하여 나타났다고 생각할 수 있다.

위의 모형으로 정의된 확률변수(Yt)들의 집합, 확률과정을 차수가 p인 autoregressive process라고 한다.

표기는 다음과 같이 쓴다.

추가적으로, 모든 t에 대해서 et는 Yt-1, Yt-2, Yt-3 , ... 즉 t시점 이전의 확률변수값과 독립이다라고 가정한다.

직관적으로 왜그럴까 생각을 해보면 et는 t시점에 튀어나온 값이므로 t시점 이전의 확률변수들 Yt-1, Yt-2, ..은 et와 관련이 없다.

반면 t시점에 보게될 값은 Yt는 et로 만들어졌으므로 (∵ Yt <-- f(Yt-1, ..., Yt-p) + et )

자연스럽게 Yt와 et는 독립이 아님을 알 수 있다.

이러한 사실로부터 AR(q) 모형에서 수학적으로 이론을 풀어나갈때 쓰이는 테크닉을 다음과 같이 배울 수 있다.

(나중에 기대값, 공분산, 등 구할때 쓰일 예정)

테크닉이용해서, 이번에도 AR모형에서 만들어진 확률변수 Yt의 기대값, 공분산, 상관계수를 구하기전에

생각해봐야할 것이 있다.

AR모형은 계수에 따라 정상성이 결정된다는 사실이다.

(비교 : 앞서 {Yt} ~ MA(q) , 이동평균모형을 따르는 확률과정은 항상 정상성을 가짐을 수학적으로 보인적이 있다. )

즉 모형식에서 Φ 에 따라서 내가 관찰하려고하는 AR 과정의 성질이 달라진다.

예제) Φ = 1 인경우와 Φ = 0.5 인경우에서 AR(1) 을 따르는 확률과정이 정상성을 가지는지 한번 살펴보자.

먼저 Φ = 1인 경우,

마지막 식을 잘 보면, 결국 해당 식은 white noise들의 계수가 1인 선형결합 식으로 나타낼 수 있다.

이 말은 즉 해당 확률과정은 Linear process 임을 뜻한다.

그리고 계수들의 절댓값의 합이 발산하므로, 해당 확률과정 {Yt}는 비정상성을 갖는다.

해당 확률과정을 path 1개로 시각화해보면 다음과 같다.

path 2개를 각각 하나씩 시각화해본 그래프이다.

각 path에서 {Yt}는 모두 정상 시계열인 것같아 보이지 않는다.

추세가 있는것 같은데 그 다음값을 설명하기 어려워보인다.

이런 추세를 확률적 추세라고하고 , 확률적 추세가 나타난다면 예측할 수가 없다.

Φ = 0.5 인경우,

해당 모형의 점화식을 풀어서 마지막식을 보면, 계수가 (1/2)^k 으로 표현된 선형모형임을 알수 있고,

계수들의 절댓값의 합은 무한합이지만,

무한등비수열의 합공식을 이용한다면, 유한한 값을 얻게된다.( 왜냐면 현재 공비가 |1/2| < 1 이므로, 해당 무한등비수열의 합은 수렴한다) 즉 계수들의 절댓값의 합이 유한한 값을 가지므로, 해당 확률과정 {Yt}는 정상성을 갖는다.

정리하면 다음 그림과 같다.

실제로 해당모형에서 나온 확률과정을 path 1개로 시각화해보면

다음 그래프처럼 정상성을 가지는 것 같아보인다.( ACF가 나타나있지않으므로 종속관계는 잘 모를 수 있다.)

이렇게 AR(p) 모형은 모형의 계수 ( Φ1, ..., Φp)에 따라 정상 확률과정이 되기도 하고 비정상 확률과정이 되기도 한다.

그런데 여기서 정상 시계열을 만족하기 위한 조건

(ex. 정상성의 정의, 계수들의 절댓값의 합의 유한한 값을 가져야함) 을 앞서 배웠는데

하나 더 배워야한다.

그전에 특성함수의 정의를 배워야한다.

이 상황에서 AR(p) 모형의 특성방정식은 다음과 같이 정의된다.

보통 이차함수의 경우에서, 허근을 포함하면 근이 총 2개이다. 그럼 p차함수의 경우 허근을 포함하면 총 p개의 근이 존재한다. 해당 특성방정식의 차수는 p임을 생각하면 허근까지 포함했을때, 총 근의 갯수는 p개임을 알 수 있다.

그다음 복소평면에 대해서 배워야한다.

복소수는 어떻게 표현할 수 있을까?

a+ bi 로 표현할 수 있다. (i = √(-1) 이다.) 이때 a, b는 실수이고

a+bi라는 복소수는 결국 실수 a, b에 의해서 결정이 된다.

따라서 a+bi는 순서쌍 (a,b )라는 하나의 순서쌍을 생각해볼 수 있고,

순서쌍을 좌표평면에 나타낼 수 있다.

a+bi에서 a가 실수부분 , b가 허수부분을 나타낸다.

좌표평면의 점 (1,1)을 생각해보자

그럼 "해당 점의 위치는 (1,1)이다" 라고 생각할 수 있지만

복소수와 연결시키면 해당 점은 1+1i 와도 연결이 된다고 생각해볼 수 있다.

따라서 순서쌍을 복소수 평면 위로 올릴 수 있고, 이 옮겨진 평면을 복소평면이라고 한다.

그렇다면 해당 점은 복소수 하나인 1+1i를 가리킨다.

복소평면에서 a+bi의 절댓값 |a+bi|는 원점으로부터 (a,b) 좌표의 거리이다.

복소평면에서 단위원이란, 원점을 중심으로, 반지름이 1인 원을 뜻한다.

복소평면 관하여 여러가지 개념을 배웠는데 배운 이유가 다음을 설명하기 위함이다.

{Yt} ~ AR(p) 일때 {Yt}가 stationary process의 동치조건(if and only if) 은

"특성 방정식의 p개의 근이 모두 단위원 밖에 존재한다" 이다. (증명은 하지않고 우선 받아드린다.)

이전 모형에선 모형으로부터 만든 확률과정이 정상성을 가지는가 판단하기 위해선

① 기대값이 일정하다.

② 분산이 일정하다.

③ 상관계수의 식이 시차(h 혹은 k로 표현한다.)의 함수로 표현된다.

를 판단했어야 했는데

이번에는 특성 방정식의 p개의 근이 모두 단위원 밖에 존재함을 보였다면

AR(p) 모형에서 만든 확률과정이 정상성 조건을 만족한다.

예제를 통해 정상성을 만족한 {Yt} ~ AR(1) 의 기대값, 공분산, 상관계수를 구하고, ACF는 어떻게 되는지 구해보자.

정상성을 만족했다는 뜻은 이제 특성방정식의 근의 해가 복소평면의 단위원 밖에 있다고 생각할 수 있다.

단위원을 통한 방식으로 정상성 조건이 만족함을 보일 수 있다. 시계열 데이터가 정상성을 가진다면 정상성 조건을 이용해서 기대값, 공분산을 구할 수 있다.

바로 기대값, 공분산을 구하면 다음과 같다.

AR(1) process에서 기대값은 0임을 알 수 있다. (증명과정에서 정상성을 만족했으므로 ,E(Yt) = E(Ys) 등식이 성립한다.

마지막 식에서 정상성 조건 ②을 이용한다.

상관계수를 구하기전에 상관계수를 다음과 같이 표현하자.

상관계수를 구하는 논리는 나중에 AR(q)의 상관계수를 구하는 방식과 거의 비슷하므로 어떻게 구하는지 테크닉들을 여기서 익혀두면 좋은것 같다

㉠ 식은 등비수열의 점화식이다.

이때 정의된 상관계수에서, ρ0 = 1임을 잊지말자( 자기자신과의 상관계수는 계산하기전에 그냥 1이다.)

그렇다면 해당 점화식을 풀면 상관계수식을 구할 수 있다.

{Yt} ~ AR(1) 모형의 상관계수는 계수의 k제곱과 같다.

시계열데이터가 정상성을 만족하기 위해선 | Φ | < 1 이어야하는 상황에서

상관계수식이 저렇게 주어졌으므로 해석을 하면 ,

AR(1) 모형에선 두 확률변수의 시차가 클수록, 두 확률변수의 선형 상관관계는 지수적으로 감소함을 알 수 있다.

ACF를 그려보면 다음과 같다.

만일 Φ 가 음수라면, ACF는 k가 홀수일때마다, 상관계수가 음의 값이 나오고, k가 짝수일땐 양의 값이 나오기 때문에 상관계수 부호가 교대로 나타나는 진동(oscillating) 형태를 보인다.

이렇게 ACF 그래프를 구해보았는데 계수 Φ 의 값에 따라 ACF가 천천히 감소하거나 빠르게 감소하는 형태를 볼 수 있다.

이런 점도 고려해서 적절한 모델을 선택해야할 것이다.

이제 일반적으로 확장하여

{Yt} ~ stationary AR(p)의 특징을 살펴본다.

(= {Yt}가 정상 시계열 조건을 만족한다고 가정하고 정상 AR(p) 모형의 특징을 알아본다.)

Φ (1) 이 0이 아닌 이유는 정상성에 의해서, 특성방정식의 근이 단위원(반지름이 1인 원) 바깥에 있어야 하므로 x= 1는 절대로 특성방정식의 근이 될 수 없다.

마지막 식은 점화식을 풀면 다음과 같이 상관계수식을 나타낼 수 있다.

접하지 못한 점화식인데 점화식을 푸는 방법은 우선 받아드리고 핵심은 상관계수식의 지수 G의 k제곱은 특성방정식의 근의 역수라는 점이다.

따라서 이 상황에서 모든 1/Gi는 단위원 밖에 있다.

그러므로 다음과 같은 식이 나온다.

이상황에서 점화식이 풀어진 상관계수식을 다시보자,

이 식에서 k가 커진다고 상상해보자 그럼 ❘Gi❘는 1보다 작으므로, k가 커질수록 상관계수, 즉 두 확률변수간의 선형상관관계는 지수적으로 감소하면서 점차 "0으로 수렴"함을 알 수 있다. (중요!)

ACF of stationary AR(p)는 k가 커짐에 따라 ρk가 지수적으로 감소하는 형태를 가짐을 알 수 있다.

따라서 ACF를 그려보면 다음과 같다.

시계열_ch4_4.2 Moving Average Processes

datavwy — Thu, 9 Oct 2025 21:08:36 +0900

ch4_4.1에서 배운 선형모형(Linear model)은 실제로 쓰이는 모형이라기보단

이론적으로 쓰이는 모형이다. (실제로는 확률변수가 무한합으로 정의되지 않으므로)

그렇지만 선형모형을 배우고, 선형모형에서 나온 확률변수의 기대값, 분산, 공분산, 상관계수를 알게되면

이후에 배우는 시계열 모형들을 쉽게 배울 수 있다.

4.3절에서는 이동평균모형을 배우고 영어로 Moving Average Processes라고 한다.

이동평균모형을 줄여서 MA 모형이라고 한다.

이동평균모형으로부터 만들어진 확률변수들이 있을텐데 이 확률변수들의 집합 {Yt}를 이동평균 과정(Moving Average Processes)라고 한다.

다른 책에선 -θ 대신 θ라고 쓰기도 한다. 그냥 부호 상관없이 백색잡음에 상수라는 계수가 붙어진 모형이라고 생각하면 된다

모형을 잘보면, 선형과정과 달리 무한합으로 정의되지않음을 알 수 있다.

그러나 해당 모형은 주황색 박스에 해당하는 상수가 곱해져서 더해진 형태인점

t-q번째 백색잡음 이후의 백색잡음의 계수들을 다 0으로 생각해볼수 있다는점을 생각해보면,

해당 모형에서 선형모형을 엿볼 수 있음을 알 수 있다.

즉 이동평균과정은 선형과정의 일부이다.

위와 같이 정의된 확률과정을 차수가 q인 moving average process라고 하고 다음과 같이 표현된다

앞서 선형과정이 정의되기 위해서 그리고 선형과정이 정상성을 가지기 위해선

선형모형에서 계수들의 절댓값의 합이 유한해야한다고 배웠다.

이동평균과정도 선형과정의 일부이므로 이를 확인해봐야한다.

이미 계수들의 합이 유한합으로 표현되기 때문에 자연스럽게 유한함이 성립됨을 알 수 있다.

계수들의 절댓값의 합이 유한하고 이동평균과정은 선형과정의 일부이므로

이동평균과정은 당연히 정상과정이다!

이제 이동평균과정의 평균, 공분산, 상관계수를 구하면 다음과 같다.

따라서 MA(q) 모형의 특징은 시차가 0부터 q까지는 확률변수들 즉 값들간의 상관계수의 값이 나타나지만

시차가 q+1이후를 넘어가는 순간 상관계수가 0이 되버림을 알 수 있다.

즉 q+1 이후 시차에선 두 확률변수간 선형상관관계가 나타나지 않음을 알 수 있다.

이제 기대값, 공분산, 상관계수를 구해보았으니

MA(q) 모형의 ACF를 그려볼 수 있다.

q까지만 상관계수의 값을 가지며 그 이후는 0임을 확인해 볼 수 있다.

이때 잠깐 ch4, 4.1의 예제 문제인 계수가 Φ^i인 선형모형과 비교해보자

두 모형에서 만들어진 Yt 는 모두 평균이 0이고, 분산이 일정하다.

여기까지만 보았을땐 두 모형이 같아보이는데, 핵심은 '종속성을 나타내는 지표인 ACF'는 다르다는 점이다.

각 모형이 만들어낸 Yt의 상관계수를 시차에 따라 그려낸 ACF를 나타내면 다음과 같다.

각 모형이 만들어내는 Yt의 E(Yt) = 0 , Var(Yt)는 t에 상관없이 일정하지만 ACF는 다르다는 점을 알 수 있다.

따라서 데이터분석을 하게 될때, Sample ACF를 만들수 있는데

Sample ACF와 , 우리가 맞추고싶은 모델의 이론적인 ACF(ex. 위의 두 그림) 을 비교해보고

무엇과 유사한지 확인해보고, 특정 모델의 ACF와 Sample ACF가 유사하다면 그 모형을 잠정적인 모형으로 선택할 수 있다.

이런 방식으로 데이터의 종속관계를 반영하는 모델을 선택할 수 있다.

그다음으로 ACF의 의미를 다시 생각해보자.

ACF의 의미를 생각해보기 위해 예제로 MA(2) 모형을 생각해보기로 한다.

MA(q) 의 이론적으로 도출된 기대값, 상관계수식에 따라서 {Yt} ~MA(2)에서 Yt의 기대값, 분산, 상관계수를 다음과 같이 쓸수 있다.

이 상황에서 θ1 = 1, θ2 = -0.6이라고 하자 .

그런경우,

MA(2)모형의 ACF를 다음과 같이 표현할 수 있다. ACF는 데이터로부터 계산하지 않고, 이론적으로 구한 함수임을 상기하자 (<---> Sample ACF는 데이터로부터 계산되었다.)

그리고, 만일 어떤 데이터가 주어진 상황이라고 가정해보자.

그리고 그 데이터의 시차간의 산점도를 다음과 같이 그렸다.

이 그림을 보고 시차가 1인경우 음의 선형관계가 있음을 유추해볼수 있고,

시차가 2인경우 양의 선형관계가 있음을 유추할수 있지만 시차가 1인경우보다 선형관계의 세기가 조금

덜하다는 것을 생각해볼 수 있다.

그리고 시차가 3이상인 경우 선형관계가 나타나고 있는것 같지 않음을 유추해볼수 있다.

이를 통해서 앞서 이론적으로 구한 MA(2) 모형의 ACF와 유사한것 같다는 생각이 들면

ma(2) 모형을 잠정적으로 선택해 볼 수 있다.

시계열_ch4_4.1 General Linear Processes

datavwy — Thu, 9 Oct 2025 03:25:36 +0900

chapter 4장에선 정상성을 가진 시계열 자료에 적합한 모형들을 소개한다.

앞서 모형들이 만들어내는 확률과정이 정상성을 가진다면

그 모형을 stationary model이라고 불렀는다.

소개될 시계열 모형들이 과연 staionary model인지 확인해가면서 모형을 소개해보기로 한다.

우선 첫번째 모델은 선형 모형이다.

4.1 General Linear Processes

선형모형은 다음과 같이 표현한다.

위와 같이 white noise의 선형결합으로 정의되는 확률과정을 선형과정(Linear process)라고 한다.

t시점의 확률변수 Yt는 t시점의 white noise, t시점 이전의 white noise 값들을 선형결합하여 만들어졌다.

Yt는 random한데 , 그이유는 white noise가 random하기 때문이다.

white noise가 어떠한 값을 가지는지 모르는 상황이지만 white noise의 정의에 따라

각시점의 확률변수 et, et-1, et-2, 의 평균은 0이며 각 시점의 확률변수의 분산도 일정하다.

(보통 기호로 확률변수를 ε 로 표현하는데 이경우는 e로 적게 되었다.)

그리고 위의 식을 보면 Yt가 무한합으로 정의되었다.

그렇기 때문에 Yt의 값이 무한히 커질수도 있는 상황이 생겨버리면 Yt가 정의되지 않을 수 있다.

Yt가 정의되는가의 여부는 계수 Ψ 가 결정한다.

Ψ는 실수(real number)이다.

따라서 실수를 나열한 { Ψt}는 실'수열'이 된다. ({Xt}는 확률변수열을 나타내고 집합으로 표현하면 확률과정이된다.)

해당 모형에서 Yt가 값이 정의되려면 계수 Ψ의 절댓값의 합이 수렴해야(발산x)한다.

구체적으로 말하면 다음과 같다.

해당 모형에서 Yt가 정의되기 위해선 계수들의 절댓값의 합이 발산하지않고 수렴해야한다. 혹은 더 강한 조건으로 계수들의 제곱의 합이 발산하지 않고 수렴해야한다.

계수들의 절댓값의 합이 수렴한다면 Yt가 정의될뿐만아니라, Yt의 기대값도 정의된다.

더 강한 조건인 계수들의 제곱의 합이 수렴하는 조건일 경우 ,

Yt, Yt의 기대값, Yt의 제곱의 기대값도 정의가된다.

Yt^2의 기대값이 정의가 된다는 점은 Yt의 분산을 다루는데 있어서 중요하다.

그 이유는 분산의 식을 통해 알 수 있다.

분산의 식을 위와 같이 다시 표현할 수 있다. 즉 분산이 정의되기 위해선 확률변수제곱의 기대값 역시 정의되어야 한다.

(참고로 확률변수의 기대값은 정의되었지만 분산의 기대값은 정의되지않은

확률변수의 분포가 존재한다.)

그리고 계수의 절대값의 합이 유한하다면, 계수의 제곱의 합도 유한하므로

이번 수업에선 계수들의 절대값의 합이 유한하다고 가정한다.

<계수의 절대값의 합이 유한하다면, 계수의 제곱의 합도 유한한 이유>

이 상황에서 선형과정(linear process) {Yt}가 정상성을 가지는 지 확인하자 .

정상성의 조건 3가지를 다시 떠올리자

①. 확률변수의 기댓값이 일정하다

②. 확률변수의 분포가 일정하다

③. 두 확률변수간의 선형 상관관계는 h에만 의존하는 함수로 표현되어야한다

먼저 조건 ①부터 확인하자.

중간의 등식을 보면 원래 E(X+ Y + Z) = E(X) + E(Y) + E(Z) 처럼 각 확률변수의 기대값으로 확률변수의 합의 기대값을 표현할 수 있지만, 만일 확률변수의 합이 무한합이라면 당연하게 성립하지 않는다. 이경우는 Monotone Convergence Theorem에 의해서 등호가 성립하게 된다.

조건 ②를 확인하기전에 정상성의 조건과 제시된 모형으로부터 세울수 있는 등식들을 정리해보자.

조건 ②를 쉽게 증명하기 위해서 우선 도움되는 등식들을 다시 정리해보자.

(백색잡음의 정의와 공분산의 정의 식을 다시 생각해보고 , 해당 모형의 상황을 생각하면 아래와 같은 식을 도출할 수 있습니다.)

ε을 확률변수로, 결정(관측)된 값을 e로 표기하는데 책과 혼동이 있을까봐 e대신 ε로 표기하였습니다. 핵심은 각 시점의 εt는 확률변수이고 값을 모르기에 분포를 가지고 있습니다.

공분산을 기대값으로 표현할 수 있고 이제 기대값 안쪽의 식을 전개하고 위에서 언급한 식들을 활용해서 간단하게 표현하면 되는데

전개항들을 표로 표현해보기로 한다.

즉 공분산의 식을 빨간색 항들의 무한합으로 표현할 수 있으므로 다음과 같이 표현할 수 있다.

h= 0 을 대입하면, Yt의 분산 (Var(Yt)) 이 나오고 값은 시간에 따라서 일정함을 알 수 있다(정상성조건 ② 만족)

t에 대한 함수가 아니므로, t와 상관없이 분산이 일정함을 알 수 있다.

이렇게 구한 공분산, 분산 식을 통해서 상관계수 식을 구하면 다음과 같다.

h만의 함수로 표현되므로 정상성 조건 ③을 만족함을 알 수 있다.

이렇게 해당 모형에서 만들어진 확률변수들의 분산, 공분산, 상관계수, 기대값을 구해보았는데

쓰면서 느꼈지만 계수들의 합이 유한해야 Yt가 정의될수 있으며,

정의된 Yt가 정상시계열을 가질 수 있음을 알 수 있다.

초록색으로 표시된 부분의 뜻은 계수들의 절댓값의 합이 유한하다고 했기 때문에 해당 위치에서 등식이 성립됨을 나타낸다. 즉 계수들의 절댓값의 합이 유한하다는 것은 {Yt}가 stationary process 가 되는데 아주 큰 역할을 하고 있음을 알려준다.

예제를 풀어보자

해당예시는 계수가 Φ^i 이 된 모형으로 General Linear model 의 일부이다. 따라서 이 모형도 Linear model이므로 Linear model의 특징중 하나인 확률변수의 기대값이 0 ( E(Yt) = 0)임을 계산해보지않아도 만족하지만 한번 계산해보았다.

앞서 시차를 h대신 k로 표현하였고 상관계수의 식이 k만의 함수로 나타났으므로 정상성 조건 ③을 만족한다.

해당 예제에서 기대값, 분산, 상관계수의 식을 계산해보았더니

해당 모형이 만들어낸 {Yt}가 정상성 조건을 가지기 위해서는 Φ의 절댓값이 1보다 작아야함을 알 수 있다.

이제 상관계수를 구했다면, 자기상관함수 (ACF)를 그려볼 수 있다.

시차에 따라서 상관계수값을 그려주면 된다.

상관계수가 지수적으로 감소함을 알 수 있다.

시계열_ch2_2.3(Stationarity)

datavwy — Wed, 8 Oct 2025 16:18:47 +0900

2.3 Stationarity (정상성)

모형화를 할때, 데이터의 특성을 잘 파악하고

파악했다면 해당 특성을 잘 적용시키는 모형을 골라야한다고 배웠다.

데이터의 특성 중에 '정상성'이 있는데

정상성의 특징을 가지는 데이터들에 적용할 만한 모형들을 시계열 모형에서 배우게 된다.

그래서 먼저 정상성이 무엇인지 파악해본다.

정상성은 시간이 흘러도 어떠한 성질이 변하지 않는 특성을 가진다.

정확히 말하면 확률과정이 다음과 같은 3가지 조건을 만족한다면 그 확률과정을 정상확률과정(stationary process)라고 한다.

①과 ②는 개별 시점에 대해서만 얘기하는 특성이다.

①은 다른 시점간 확률변수의 기댓값이 일정하다는 내용이고

②는 다른 시점간 확률변수의 분포가 일정하다(폭이 일정)는 내용이다.

③은 두변수간의 선형관계에 대해서 얘기하고 있는데,

정상 확률과정의 경우, 두 확률변수간의 선형 상관관계는 h에만 의존하는 함수로 표현되어야한다는 점이다.

즉 시차에만 의존하고, 시간이 흘러도 시차가 동일하다면 두 확률변수간의 선형관계는 변하지 않는다는 뜻이다.

예를 들어서 과거에는 그 전의 값이 다음값에 약하게 영향을 주었지만 시간이 흘러서 그 전의 값이 다음값에 강하게 영향을 주었다면 이때의 {Xt} 확률변수들의 집합은 정상 확률과정을 따르지 않게된다.

그러나 정상 확률과정의 경우

X1 과 X2간의 상관계수의 값과 시간이 흘러서 X100 X101 간의 상관계수의 값과 같게 된다.

ch2_2.2절와 2.3절에서 배웠던 예제 2번 문제를 다시 보자

예제 2번 문제에서 언급한 {Xt}라는 확률과정을 path를 500개 만들어서 시각화 해보면 다음과 같다.

예제 2번의 문제에서 세운 모형으로부터 생성한 확률변수들의 집합 {Xt}의

평균은 모든 시점에서 0으로 정상성 조건 ①을 만족한다.

분산은 모든 시점에서 σ^2/2 로 정상성 조건 ②를 만족한다.

그리고 이 두가지 조건은 path를 시각화 한 위의 그래프에서도 충분히 엿볼 수 있다.

확률변수의 각 시점마다 0을 중심으로 값이 안정적으로 나타나고 있으며 폭도 각 시점마다 일정함을 볼 수 있다.

정상성 조건 ③은 시계열 자료를 시각화해도 잘 알기 어려울 수 있다

일단 예제2의 경우 상관계수가 h에 따라서 값이 바뀌고 t에 따라서는 값이 변하지 않으므로 정상성 조건 ③을 만족함을 알 수 있다.

즉 예제의 확률과정은 정상 확률과정이라고 말할 수 있다.

예제2를 통해서 정상성인지 아닌지 여부를 파악을 해보았는데 정리해보면

정상성 조건 1의 경우 path가 어떤값을 중심으로 나타났는지 확인해보면 되고 정상성 조건 2를 만족하는지 여부를 파악하기 위해선 path가 일정한 범위에서 나타났는지 확인해보면 된다. 그러나 corrleation의 경우, path를 통하여 살펴보기는 쉽지 않다. 그렇다면 두변수간의 관계를 어떻게 파악하면 좋을까?

앞서 chapter1에서 ACF 자기상관함수를 언급한적이 있다.

ACF를 통해서 정상성 조건 3을 만족하였는지 파악한다.

우선 정상확률과정의 ACF를 고려해보자

ACF = auto correlation function를 뜻하고

Auto는 집합에서 두개의 변수를 꺼내온다는 의미를 가지고 있고

C는 상관계수를 의미한다.

정상성 조건 3에 의해서 두변수간 상관계수는 h만의 함수로 쓸 수 있어서

ACF는 h에 따라 상관계수를 출력해주는 함수로 생각할 수 있다.

정상확률과정의 경우 ACF를 나타낸 예시이다.

그래서 모형의 ACF를 보고 모형화를 할때 모형을 선택하게 된다.

그런데 정상확률과정의 경우에서, 상관계수의 식을 다시한번 보면,

상관계수의 분자를 계산하기 위해선, (Xt, Xt+h)의 결합분포가 필요하다.

이를 알아야 상관계수를 구할 수 있는데, 분포를 알기에는 어렵다고 배웠다.

따라서 주어진 데이터를 이용해서 ACF를 계산하는데 이를 sample ACF라고 하며, 이를 구체적으로 구하는 방법은

추후의 장에서 배우게 된다.

결론적으로,

모형을 찾기전

데이터간의 종속성이란 데이터 특징을 발견했다면,

ACF를 통해 해당 특성을 잘 반영해주는 모형을 찾아, 조금 더 정확하게 다음 값을 추론할 수 있을 것이다.

그래서 앞서 말했던 의사결정 방식을 도식화해보면 다음과 같다.

이전까지 stationary process의 정의를 배웠다.

그러나 위의 도식화에선 staionary model이라는 용어가 나오는데 둘의 개념이 조금 다르다.

stationary model은

예를 들어 model로부터 확률과정들이 만들어지는데

그 확률과정이 정상성 특징을 가진다면 이때 model을 stationary model 이라고 한다.

앞으로 4장에서 점화식 형태로 서술된 시계열 모형들이 등장하게 되는데

이때 시계열 모형들이 만들어내는 확률과정이 정상성을 띠는지 확인해보고

과연 해당 시계열 모형이 stationary model인지 아닌지 여부를 확인해 볼 수 있을 것이다.

다음으로 백색잡음(White noise)의 정의를 살펴본다.

백색잡음도 확률과정으로 {Xt} 확률변수들의 집합으로 표시될 수 있다

확률과정이 다음과 같은 조건을 만족한다면 백색잡음이라고 정의한다.

② 조건의 경우, 분산이 일정하다는 점이 핵심이고 일정하다만 만족하면 어떤 값이든 상관없다(해당 그림에서 σ^2으로 표기

③ 번 조건의 경우 두 시점 사이에 선형관계가 없다는 뜻이다

그러나 3번조건을 만족한다고 해서 두 확률변수간 독립이다라고 말할 수 없다.

(독립은 아무런 관계가 없음을 의미하기때문)

그런의미에서 만일 iid 특징을 가진 확률변수들의 나열을 생각해보자

이 나열 또한 {Xt}로 표현할 수 있고

iid 특징에 따라서

백색잡음의

①번 조건을 만족한다.(각 확률변수들의 평균은 0이다.)

②번 조건을 만족한다.(각 확률변수들의 분산은 σ^2으로 일정하다.)

③ 번 조건을 만족한다.(각 확률변수들은 독립이므로 따라서 선형관계도 가지고 있지않는다.)

iid sequence인 경우 백색잡음이 된다.

그러나 백색잡음가 iid sequence가 되려면

독립임을 만족해야하는데

③ 번 조건 만으로 충분하지 않아서 백색잡음은 iid sequence라고 말할 수 없다.

시계열_ch2_2.1 , 2.2

datavwy — Tue, 7 Oct 2025 22:04:46 +0900

회귀분석 수업에서 모형진단이라는 내용을 배웠는데

모형진단은 잔차분석을 통해 이루어진다.

잔차란 오차항에 대한 추정량(치)이다.

통계량 중 추정할 때 사용되는 통계량을 추정량이라고 하기 때문에

잔차는 오차를 추정하기 위해 사용되는 통계량이다.

오차를 추정하는 이유는 오차를 눈으로 볼 수 없기 때문이다.

Y = f(X) + ε 에서 X가 설명할 수 없는 부분을 ε에 넣어주는 상황에서,

Y, X는 관찰되는 반면,

아직 X와 Y의 관계를 파악하지 못한 상황에서 X의 함수값을 모르기 떄문에

ε는 관측할 수 없다.

X와 Y의 관계를 파악하고자 하기로 생각했다고 가정하면,

회귀분석을 시행할텐데 회귀분석은 오차항( ε ~ iid N(0, σ^2) ) 에 대해서 가정을 둔다.

그런데 앞서 말했듯이 오차를 볼 수 없는 상황이라 대체재가 필요하다.

그래서 X축에 따라 첫번째 오차항을 얼마로 추정할지 데이터로부터 계산하고,

두번째 오차항을 얼마로 추정할지 데이터로부터 계산하여

이 과정을 반복하는데,

이렇게 계산된 값들을 가지고 오차항을 추정하는데 이때 계산된 값들을 잔차라고 한다.

그래서 만일 회귀분석의 가정을 두고 있다면,

오차 대신 잔차들이 ε ~ iid N(0, σ^2) 라는 가정 , 즉

잔차들이 세개의 가정을 만족하고 있는지 판단하고 이 과정을 '잔차 분석' 이라고 한다.

잔차들의 세가지 가정

1) 잔차들이 0을 중심으로 퍼져있는가? -> 오차항의 가정 중 오차항의 평균이 0 인지 판단하기 위함

2) 잔차들의 폭이 일정한 범위안에 나타나는가? -> 오차들의 분산이 일정한지 판단하기 위함

3) 잔차들이 특정한 패턴없이 무작위로 퍼져있는가? -> 오차들이 서로 독립인지 판단하기 위함

위의 내용은 회귀분석의 경우, 어떻게 잔차분석을 시행하는지에 대한 내용이었지만

시계열 모형에서도 오차항이 들어있다.

따라서 회귀모형처럼 오차항에 대한 어떠한 가정을 내린뒤,

모형진단 단계에서 해당 가정을 체크하는 잔차분석을 진행한다.

<ch2>

2.1 Time Series and Stochastic Processes

2장에선 시계열에 대한 기본 개념들(시계열, 확률과정, 평균,분산, 공분산, 정상성)에 대해 배운다.

먼저 확률과정이란

영어로 stochastic process라고 하고 random process라고도 한다.

확률과정을 표현할때

sequence of random variables 라고도 표현할 수 있고

조금더 포괄적인 개념으로 set of random variables로 표현할 수 있다.

sequence는 한국어로 '열'을 뜻한다. 순서대로 "나열"할 수 있다면 모두 sequence에 해당된다.

만약에 실수들을 나열한다면 실수열이 되고

확률변수들을 나열한다면 '확률과정'이 된다.

이산형확률변수를 나열했다고 생각해보면,

각각의 확률변수에대가 자연수 번호를 매길 수 있지만

연속형 확률변수일 경우 각각의 확률변수에다가 자연수 번호를 매기기 힘들다.

따라서 같은 표현이지만 조금더 포괄적인 개념인 set of random variables로 확률과정을 표현한다.

앞으로

확률변수들의 집합을 확률과정이라고 하고

집합의 원소는 확률변수가 된다.

확률과정 표현 예시

① 의 예시에서 만일 t = 1, 2, 3 가 시간의 개념이라면,

①은 시계열 자료가 된다.

즉 시계열자료는 확률과정의 부분집합이다.

①과 ②을 A라는 집합을 이용해서 다르게 표현할 수도 있다.

확률과정을 A라는 집합을 이용해서 다르게 표현할 수 있고, 만일 A가 시간일 경우

{Xt | t ∈ A } 라는 집합은 시계열자료가 된다.

앞서 시계열자료와 iid자료를 비교해본것처럼

확률과정과 확률표본을 비교해보자.

확률표본은 영어로 random sample 이라고 하고

random sample의 동의어가 iid이다.

표현은 다음과 같이 표현한다.

n개의 값이 관찰될 것이고, 서로 같은 분포에서 나왔으며 독립이다. 확률과정과 다르게 집합표현을 쓰지 않는다.

ch1에서도 언급하였지만

확률표본은 모분포에 의해서 결정된다.

그래서 확률표본의 경우 관심있는 대상은 모분포를 통계량 추정을 통해 파악하는 것이다.

반면

확률과정은 데이터간 종속성을 가지고 있기 때문에

관계(종속성)와 각 지점에서의 분포 즉 marginal distribution에 의해서 결정된다.

( marginal distribution 은 하나의 변수에 대한 확률분포를 뜻하고

뒤에서 배울 joint distribution은 둘 이상의 변수에 대한 확률분포를 뜻한다. )

즉 위의 인덱스 표현을 빌리면

확률표본에서 Xi, Xj는 서로 연관되어 있지않아서 문제가 되지 않았지만

확률과정의 경우, Xi, Xj의 관계가 대부분 존재하기 때문에, 변수간의 관계를 파악하는 것이 관심이고,

확률표본과 마찬가지로 Xi자체의 확률분포, Xj자체의 확률분포를 가지고 있다.

확률과정에 대해 알기쉽게 설명한 그림

t시점에 따라 확률변수가 X1, X2, X3, ... 있을텐데

t=1 시점에서 X1 값이 관찰될것이고,

t= 2 시점에서 X2 값이 관찰될것이다. ...

X1, X2, X3, ..는 random variable이므로 ,

어떠한 값이 나올지 모르지만 그 값을 만들어내는 확률분포가 있을것이다.

근데 확률표본이 아니라 확률과정이므로 똑같은 분포(identical distribution)에서 나온다는 보장이 없으므로,

각 확률변수 X1, X2, X3마다의 확률분포를 위의 그림처럼 표현할 수 있다.

게다가 확률과정의 경우 X1의 분포 와 X2의 분포 , X3의 분포.. 는 서로

연관, 관계가 있기 때문에

확률표본과 다르게 모델을 만들기 위해서 이러한 관계(종속성)을 반영하여 모델을 만들어야한다.

이 관계를 joint probability distribution(결합확률분포)로 나타낼 수 있다.

왜냐하면 결합확률분포는 각 확률변수 자체의 분포도 가지고 있지만,

변수들간의 관계에 대한 정보도 알 수 있기 때문이다.

예를들어 하나의 변수에 대한 정규분포 대신 다변량 정규분포 중 3변량 정규분포의 표현을 살펴보자.

그림에서 분산-공분산 행렬이 각 변수간의 관계에 대한 정보를 알려준다.

2.2 Means, Variances, and Covariances

평균(mean)과 분산(Variance)는 확률분포의 특징을 표현한다.

X와 Y , 두 확률변수의 확률분포가 같다고 가정해보자

두 확률변수의 확률분포가 같음을 이렇게 표현할 수 있다.

확률분포가 같다면, X와 Y의 기댓값도 서로 같으며, X의 분산, Y의 분산도 서로 같다.

즉 확률분포가 확률분포로 구할 수 있는 특징들을 결정한다.

평균, 분산 외에도 확률분포로부터 나올 수 있는 특징(ex.왜도)들을 확률분포가 결정한다.

기대값을 수식으로 표현해서, 확률분포가 같으면 기대값이 같은 이유를 살펴보자.

Y의 기댓값을 적분성질에의해서 위와 같이 표현할 수 있는데

이때 두 확률변수의 확률분포가 같다는 뜻은 X의 확률밀도함수와 Y의 확률밀도함수가 같다는 뜻이므로

E[Y]를 다음과 같이 쓸 수 있다.

결국 분포가 E[X]와 Var[X]을 결정한다.

시계열분석의 경우,

시계열자료는 t 시점마다 확률변수 값이 관찰될건데

이경우 t 시점에서의 확률분포의 특징을 E[Xt]와 Var[Xt]가 표현해준다고 생각할 수 있다.

그런데 시계열 데이터의 특징은 한 시점 t = k 에서 값이 하나만 얻어진다.

분포를 알기위해선 t= k 시점에 여러개의 값을 얻고 싶은데, 과거 데이터였기때문에

다시 과거로 돌아가서 관찰하기는 불가능하다.

즉 동일시점(예를들어 t = k) 에서 반복 측정이 불가능하기 때문에 그 시점의 확률분포를 직접적으로 관찰하는 것은 불가능하다.

그러나 나중에 가정을 세워, 데이터 하나를 통해 분포를 추정하는 활동을 해보기로 한다.

(ex. 시계열이 정상적이라는 가정을 세웠다면,

시간 전체에 걸친 여러 시점의 관측값들이 있는 상황에서, 이 값들이 동일한 확률분포에서 추출된 표본으로 보고 분포를 추정해볼 수 있을 것이다.)

다음으로 공분산 Covariance는 두변수간의 결합확률분포에 관계에 대한 정보를 표현한다.

다음에는 시계열 수업에서 다루는 2개의 개념에 대한 정의를 살펴본다.

The autocovariance function 은 자기공분산함수로,

시계열 데이터에서 공분산을 자기공분산이라고 한다.

The autocorrelation function은 자기상관계수함수로

시계열데이터에서 상관계수를 자기상관계수라고 한다.

자기공분산함수를 감마로 표현한다.

ρt,s = 0 이라면, 선형관계가 없다는 뜻이고 Yt, Ys are uncorrleated 라고 말한다.

(주의! : independent는 아무런 관계가 없다는 뜻이므로, 선형관계가 없어도 관계가 있을수있으므로

Yt, Ys are uncorrelated라고 말할 수 없다.)

평균,분산, 공분산에 대해서 배웠다.

이제 시계열 모형이 주어질텐데,

이 모형에 의해서 만들어지는 확률과정의

각 시점에서의 기대값, 분산, 자기상관계수을 구해보자.

(지금부터 시작! 예제끝나고 앞으로 여러 시계열 모형의 기대값, 분산, 자기상관계수를 구해야하는데

그러기 위해선 앞에 iid자료와 시계열데이터자료가 무슨의미인지, 대문자,소문자의미를 이해해야 안헷갈림)

예제)

주어진 시계열 모형은 다음과 같고 이때 한가지 가정을 한다.

모형과 가정을 잘 생각해보자

우선 모형을 보면,

Yt가 어떻게 만들어지는지 설명하고 있다.

Yt는 t시점 이전값인 Yt-1와 t시점에서의 오차항인 εt가 더해져서 만들어진다.

그리고 t=0시점에서의 Y값은 0이라고 하기로 한다.

Yt는 확률변수인데, 그 이유는 εt가 확률변수이기 때문이다.

가정을 보면,

ε1, ε2, ..., ~ iid(0, σ^2) 에서

ε1은 1번째로 관찰될 확률변수,

ε2는 2번쨰로 관찰된 확률변수이다.

ε1, ε2, ..., 변수는 관찰하기 전까지 값을 정확히 모르고, 값이 흔들리면서 나타나는데

어떤 값은 덜나오고, 더나오고 할 수 있다 즉 가중치가 입혀져서 값이 관측될 것인데

그 가중치를 결정하는 것이 ε의 분포이고, ε1, ε2 ,..., 확률변수는 모두 다 평균이 0이고 분산이 σ^2인 같은 분포에서

값들이 관측될 것이다.

분포의 모양은 모르지만, 확률변수들이 모두 다 *같은* 분포에서 나온다는 정보를 확인하자

t시점에서의 오차항은 확률변수인데,

만일 오차항이 상수라고 생각해보면, 모형식은 등차수열의 점화식 형태가 된다.

그러나 지금은 오차항은 확률변수이므로 Yt 역시 확률변수가 된다.

그래도 여전히 모형식은 점화식임을 알 수 있으므로, 해당식을 풀어서 쓰면 다음과 같이 Yt를 표현할 수 있다.

즉 Yt는 ε이 t개 합해진것으로 표현할 수 있다.

이 상황에서 Yt의 기대값과, Yt의 분산을 구해본다.

여러개의 확률변수의 분산을 구하는 경우, 각 분산의 합에 더불어서, 위와같은 공분산 텀이 생긴다.(수통)

분산 식에서 공분산 텀에 주목하자,

앱실론에 대한 가정에 따르면 각 확률변수 ε1, ε2, .. , εt는 서로 독립(independent가정)이다.

이를 이용해서 공분산 텀을 다음과 같이 풀어갈수 있다.

따라서 해당 시계열 모형에서 Yt의 분산을 t에 관한 식으로 표현할 수 있고

즉 시간이 흐를수록 (t가 커질수록) Yt라는 확률변수가 나올 수 있는 값의 범위가 넓어진다고 해석할 수 있다.

다음으로, 두 시점에서의 확률변수간의 관계를 설명해주는 공분산은

해당 시계열 모형에서 어떠한 식으로 표현할 수 있는지 구해본다.

오차항간의 공분산에 대하여 두 시차간 겹치지 않는다면, 오차항의 가정에 의해서 값이 0이 나옴을 통해 쉽게 두시차간 확률변수Y의 공분산을 구할 수 있다.

공분산을 구했으므로 상관계수도 구할 수 있다.

평균, 분산, 공분산까지 구해보았는데

사실 해당 예제의 모형을 random walk 라고 한다.

random walk를 시계열 plot으로 그려보자

random walk 모형일 경우, 앞서서 이론적으로 Yt의 평균을 계산했더니 0임을 밝혔지만

해당 그래프에선 E(Yt) = 0 임을 보여주지 않는것 같다.

그 이유는 해당 시각화는 수많은 path 들중 하나만을 보여주었기 때문이다.

모형 Yt = Yt-1 + εt에서 각 시점의 εt는 확률변수라고 알고 있다.

즉 시점마다 무작위로 εt값이 발생할 텐데 , 해당 path는 우연히 양수인 값이 여러번 연속적으로 나온 경우이다.

εt가 확률변수이므로 여러개의 경로가 생기게 된다.

(따라서 어떠한 경로는 εt가 우연히 양수가 나오다가 음수가 나오는 형태일수있고

또 어떤 경로는 εt가 우연히 음수인 값이 여러번 연속적으로 나오는 형태일 수 있다.)

이 경우, εt이 매시점마다 어떠한 값으로 실현되는가에 따라 만들어지는 경로를 path라고 한다.

그럼 path 를 여러개를 발생시킨 후, 겹쳐서 그려보자.

위는 path를 500개 그려본 시각화자료이다.

t = 80 시점에서 확률변수 Y80의 기대값이 0일것이라고 생각해 볼수 있다.

또한 random walk의 분산 Var(Yt) = t* σ^2 임을 이론적으로 계산해보았는데

t가 증가할수록 점차 Var(Yt)도 t에 따라서 커지고 있음을 확인해 볼 수 있다.

그리고 앞서 그려본 하나의 path가 500개의 path중 하나임을 알 수 있다.

즉 우리가 분석하고자 하는 시계열 데이터는 무수한 path들중 하나만을 보게 된다.

예제2

모형과 가정은 다음과 같을 때 기대값과 분산, 공분산을 구해보자

따라서 해당 모형의 경우, Yt의 기대값은 0이다.

random walk 모형일 경우 Var(Yt) 는 t * σ^2 이라서 t에 값에 의존되었지만

해당 모형의 경우 Var(Yt)가 t에 관하여 표현되지 않음을 확인해볼 수 있다.

다음으로 공분산을 계산해보자

계산에 실수가 있어서 수정하였습니다!

공분산의 값이 h에 따라서 달라짐을 주목하자

h는 t+h - t = h 즉 시차를 의미한다.

시차가 1 차이나는 경우 공분산은 σ ^2/4 이었지만

시차가 2를 초과하는 경우 공분산은 0이 나오게 된다.