데이터마이닝기법과 신경망 모형

목차

1. 데이터마이닝 개념

2. 기 법
신경망 모형(Neural networks)
(1) 신경망 계층구조
(2) 신경망의 구성요소
(3) 신경망 용도(분류, 군집, 예측)
(4) 신경망 학습유형
(5) 신경망 모형

본문내용

디들이 존재한다.
※ 병렬처리
신경망 모형은 여러 뉴런이 모여서 동시에 서로 다른 처리를 수행한다.
이 때, 여러 뉴런에 의한 병렬적 분산 처리를 수행해서 직렬처리보다 더 빠른 정보처리를 수행할 수 있다.
① MLP의 구조
② 결합함수(Combination Function)
입력층 또는 은닉층의 마디들을 결합하는 함수.
대부분의 신경망에서는 이와 같은 선형함수(linear function)를 사용
RBF 신경망은 결합함수로 원형기준함수(radial basis function)를 사용.
E-Miner 에서는 이들을 포함하는 다양한 결합함수 사용.
연결강도(synaptic weights) : 선형결합에 사용되는 계수.
③ 활성함수(Activation Function)
입력변수 또는 은닉마디의 결합을 변환하는 함수.
( f1 , f2 : 활성함수, g : 출력활성함수)
보통 S-자형의 비선형곡선의 형태를 가지게 되어 스쿼싱 함수라고 불린다.
Ex) 로지스틱(logistic) 함수
쌍곡탄젠트(Hyperbolic tangent) 함수
항등함수(identity function)
∴ E-Miner에서는 목적함수에 따라 다양한 활성함수를 사용.
④ MLP에서의 활성함수의 예
⑤ 신경망의 특징 및 문제점
■ 범용근사자(universal approximator)
적절한 활성함수와 적당한 은닉마디를 가지는 MLP는 모든 비선형곡선을 매우 정확하게 근사 시킬 수 있음을 의미.
비선형 회귀모형으로 적합하는 경우.
변수가 가지는 대략적인 형태를 파악해야 한다.
여러 개의 입력변수를 가지는 경우 - 함수 형태를 미리 파악 대부분 불가능.
신경망이 유용한 경우
: 많은 입력변수, 입력변수와 목표변수간에 복잡한 비선형 형태
( 즉, 은닉층을 파악하기 어려운 다차항 or 복잡한 비선형성을 근사 시키는 역할을 수행.)
■ 목적함수(Object Function)
주어진 데이터를 가장 잘 반영하는 연결강도(계수)을 추정하는 것
목적함수(object function)를 최소로 하는 문제
일반적으로 주로 사용되는 목적함수 : 오차제곱합이라 불리는 아래와 같은 함수
E-Miner : 목표변수의 형태에 따라서 다양한 목적함수 사용
■ 최적화
신경망에서 목적함수를 최적화하는 계수 찾는 것은 매우 어려운 작업.
신경망과 같은 비선형 모형에는 이에 대한 분석적인 해가 존재하지 않기때문에, 일반적으로 수치해석적인 반복적 최적화방법을 사용
1. 각 계수에 대해서 임의의 초기값 부여
2. "새로운 값 = 이전 값 + 수정값"과 같이 계수값을 개선
3. 수렴할 때까지 (즉, 이전 값과 새로운 값의 차이가 거의 없을 때까지) 반복적으로 수행
알고리즘 (비선형 목적함수를 최적화하기 위해서)
① 역전파 (backpropagation)
- 신경망의 계수추정을 위해 개발된 기울기 하강(gradient descent) 알고리즘 중의 하나.
- 비교적 간단한 계산과정을 사용하지만 종종 매우 비효율적.
② Lebenberg-Marquardt, quasi-Newton, conjugate-gradient
: E-miner에서 이용하는 다양한 알고리즘.
■ 비수렴성
전체 최소값(global minimum)이 아닌 국부 최소값(local minimum) 으로 수렴
국부 최소값에서의 모수 추정치는 실제 데이터를 정확하게 추정하지 못할 가능성이 많음
해결방법 : 1) 여러 개의 초기값으로 해를 구하고 이를 비교하여 사용.
2) 입력변수와 출력변수에 대해 적절한 변환 or 표준화 수행.
■ 은닉층과 은닉마디의 개수
은닉층과 은닉마디가 많으면 많을수록
→ 신경망은 더욱 복잡
→ 추정해야 할 계수의 수가 급격히 증가
→ 최적화가 훨씬 어렵다.
적절한 은닉층과 은닉마디의 수를 결정하기 위해서 시행착오(trial-and- error)적인 방법이외의 별 다른 대안이 없는 경우가 많음
■ 해석의 어려움
계수들에 대한 간편한 해석이 불가능하여, 어떤 입력변수가 중요한지 또는 그것들이 어떻게 상호 작용하는지를 결정하기가 어렵다.
2) RBF (Radial Basis Function, 원형기준함수) 신경망
은닉층이 한 개
수학적 형태는 MLP 신경망과 유사하나, 은닉층에서의 결합함수로 원형기준함수(RBF)를 사용한다는 점이 다름
추정해야할 모수의 수 - MLP와 동일
RBF : (2단계 추정방법) 혼합형 추정방법(hybrid method)
- 은닉층의 모수를 먼저 추정, 그 다음 출력층에서의 모수 추정
MLP : 모든 모수를 동시에 추정
전체 최소값(global minimum)에 수렴하지 않을 가능성이 많음.
장점 - 모든 모수를 동시에 추정하는 방법보다 계산과정이 간단하고 시간이 적게 걸림.
단점 - 수렴성의 측면에서 볼 때 MLP 신경망에 비해서 효율적인 것은 아님.
다수의 은닉마디를 요구할 때가 많음.
(필요한 은닉마디 수는 입력변수의 수가 많아질수록 급속하게 증가)
불필요하거나 중복된 입력자료에 대하여 민감
3) EBF (Elliptical Basis Function. 타원형기준함수) 신경망
: RBF 신경망의 보완
2개의 은닉층이 있다.
1) 첫번째 은닉층
: 입력변수의 단순선형결합(항등함수)사용
2) RBF로 구성
첫번째 은닉층에서 입력층의 차원을 축소시킴으로써, RBF 신경망이 가지는 적용상의 문제점 어느 정도 보완 가능.
데이터마이닝에서의 신경망모형
(1) 신경망에 적합한 모형
성향분석 (discrete behaviors)
… 응답자 ↔ 무응답자
… 구매자 ↔ 비구매자
… 일회성 고객 ↔ 지속적인 고객
… 대량구매고객 ↔ 소량구매 고객
… 고정고객 ↔ 이탈고객
성과모형 (performance model)
… 예상 구매액
… 구매 예상 제품의 수
… 홍보자료 발송빈도
… 연체대금 지불요청 시점
(2) 데이터마이닝과 신경망
데이터마이닝의 기능
… 분류 (classification) … 군집화 (clustering)
… 연관성분석 (association) … 모형화 (modeling, regression)
… 예측 (time-series forecasting/prediction)

키워드

신경망모형,   데이터마이닝,   MLP 신경망,   RBF 신경망,   EBF 신경망