다차원시계열 자료분석을 위한 신경망 모형구조의 재구성과 접근

목차

1. 서 론
1) 신경망의 구조와 개념 - MLP 신경망
2) MLP(Multilayer Perceptron)의 구조

2. 신경망구조의 설정

3. 주성분분석방법에 의한 신경망구조의 재구성

4. 실증분석
4.1 물가지수 전년동월비 증감율 자료
(1) 20시점 예측
(2) 축소된 모형과 동일한 구조로 재학습된 신경망과의 비교
4.2 산업지수 전년동월비 증감율 자료
(1) 20시점 예측
(2) 3변량 시계열 자료분석 결과와의 비교
(3) 축소된 모형과 동일한 구조로 재학습된 신경망과의 비교

5. 결론

본문내용

036168
3000
6(3)
0.026539
0.017554
0.184618
<표 4.3>을 <표 4.2>와 비교해 보면 학습 MSE와 20시점 예측 MSE가 모두 5변량 시계열 자료분석에서보다 3변량 시계열 자료분석에서 더 작은 값을 나타내고 있다. 따라서 3변량의 시계열 자료분석의 경우가 5변량으로 나타났다. 그러나 은닉노드를 제거하여 신경망을 재구성한 경우의 예측력과 원래의 신경망의 예측력에는 3변량과 5변량 시계열 자료분석에서 모두 차이가 없는 것으로 나타났다. 그림으로 비교해 보기 위해 학습 MSE가 0.031401인 3변량 시계열 자료분석에서의 20시점 예측결과를 <그림 4.6>, <그림 4.7>, <그림4.8>에 나타내었다. 5변량의 시계열 자료의 경우는 앞의 <그림4.3>, <그림4.4>, <그림 4.5>과 같다.
(3) 축소된 모형과 동일한 구조로 재학습된 신경망과의 비교
5변량 시계열 자료분석에 사용된 산업지수 전년동월비 증감율의 신경망 구조는 10-6-5이었고, sekita방법에 의해 선택된 은닉노드 수는 3개였다. 따라서 재학습된 신경망의 구조를 10-3-5로 설정하여 학습을 시키고 20시점 예측을 행하였다. 이 경우 재학습된 신경망의 20시점 예측결과는 재구성된 신경망의 예측결과와 별로 차이가 없었다. 물론 학습결과도 별로 차이가 없었다. 학습 MSE가 비슷한 경우의 20시점 예측을 그림으로 나타내면 <그림 4.9>와 <그림 4.10>과 같다.
5. 결론
본 논문에서는 다차원 시계열 자료분석에 신경망을 이용할 경우 일반화 능력이 높은 신경망의 적절한 구조를 찾기 위한 방법으로 통계적 접근에 의한 Pruning방법을 사용하여 실제자료에 적용시켜 보았다.
적용된 방법은 주성분분석을 이용하여 신경망의 불필요한 은닉노드를 제거하는 방법으로 신경망의 크기를 축소하고 재구성하는 방법이다. 신경망의 은닉노드 수는 계산시간과 신경망의 일반화 능력에 많은 영향을 미친다. 은닉노드 수의 결정은 정해져 있는 방법이 없다. 은닉노드 수에 따라 여러 가지 다양한 신경망의 모형을 설정해 놓은 후 학습결과로 적절한 신경망의 구조를 선택하게 된다. 그러나 통계적 접근방법을 응용한다면 적절한 은닉노드 수를 가진 신경망의 모형을 선택할 수가 있다.
물가지수와 생산지수 자료에 대하여 실증분석한 결과 3변량의 시계열 자료 분석에는 은닉노드 수가 2개, 5변량의 시계열 분석에는 3개가 선택되는 등 적은 수의 은닉노드가 사용되며 예측력도 대체로 우수함을 알 수 있었다. 또한 은닉노드를 제거하지 않은 경우와 불필요한 은닉노드를 제거한 후 신경망을 재구성한 경우의 예측능력을 비교해본 결과는 은닉노드 수가 많다고 해서 반드시 예측능력도 좋은 것은 아니라는 것을 알 수 있었다. MSE를 기준으로 하였을 때 오히려 은닉노드의 수를 제거한 경우가 예측력이 높게 나타나는 경우가 많았다. 한편 생산지수 자료를 사용한 경우에는 3변량 자료를 이용한 것이 5변량 자료를 이용한 것보다 신경망의 학습이 잘 진행되고 있음을 알 수 있었다. 그리고 실증분석으로 비교한 결과 주성분분석 방법에 의해 축소된 신경망의 예측결과와 같은 구조를 가진 재학습된 신경망의 예측결과는 비슷하게 나타났다.
향후에는 은닉노드를 제거하기 위한 통계적 방법으로 주성분분석 방법외에 회귀분석에서의 변수선택법 등을 적용하여 적절한 크기의 신경망 모형을 설정하여 비교하는 연구가 필요하다.
<참 고 문 헌>
(1) Amari,S. (1994), Commant on "Neural networks : a review from a statistical perspective" by Cheng and Titterington, Statistical Science, 9, .31-32.
(2) Chakraborty, K., Mehrotra,K., Mohan,C.K., Ranka,S. (1992), "Forecasting the behavior multivariate time series using neural networks", Neural Networks, 5, 961-970.
(3) Hornik, H., Stinchombe,M., White,H. (1989), "Multilayer feedforward networks are universal approximators", Neural Networks, 2, 359-366.
(4) Rumelhart,D.E., Hinton,G.E., Williams,R.J. (1986), "Learning repre-sentations by back-propagating errors", Nature, 323, 533-536.
(5) Sekita, I., Kurita, T., Asoh. H. and Chiu, D. (1993), "Reconfigurating feedforward networks with fewer hidden nodes", {Proc. of SPIE conf. on Adaptive and Learning System Ⅱ}
(6) Sekita, I., Kurita, T., Asoh. H. and Chiu, D. (1994), "A Method to Reduce Redundant Hidden Nodes", {IEICE TRANS. INF. & SYST.,} VOL. E77-D, NO. 4 April 1994
(7) Smith, M. (1993), Neural networks for statistical modeling, Van Nostrand Reinhold.
(8) Tang,Z., Almeida, C., Fishwick,P.A. (1991), "Time series forecasting using neural networks vs. Box-Jenkins methodology", Simulation, 57,303-310.
(9) Tiao, G.C.,Tasy,R.S. (1989), "Model specification in multivariate time series"(with discussion), Journal of the Royal Statistical Society, B, 51, 157-213.

키워드

다차원시계열자료분석,   신경망의구조와개념,   신경망구조의설정,   신경망구조의재구성,   물가지수전년동월비증감율자료,   신경망또는인공신경망,   축소된모형과동일한구조,   3변량시계열자료분석결과