Support Vector Machine에 대한 조사보고서

소개글

Support Vector Machine에 대한 조사보고서에 대한 보고서 자료입니다.

목차

1. SVM(Support Vector Machine) 개념
1.1 SVM 정의
1.2 역사

2. 발상
2.1 분류능력
2.2 분류기의 일반화 능력
2.3 SVM의 우수성

3. 선형SVM
3.1 이진분류를 위한 결정 초평면의 특성
3.2 서포트 벡터

4. 선형분리 가능한 SVM문제해결
4.1 개요
4.2 조건부 최대화 문제 정의
4.3 조건부 최소화 문제로 변환
4.4 라그랑제 함수 도입
4.5 Wolfe의 듀얼문제 변환
4.6 라그랑제 함수 정리

5. 선형분리 불가능한 SVM문제해결
5.1 선형 분리 불가능한 상황
5.2 슬랙 변수(ξ)의 도입
5.3 문제 공식화
5.4 라그랑제 승수 전개
5.5 Wolfe Dual변형
5.6 최종정리

6. 비선형 SVM
6.1 개요
6.2 커널대치
6.2 커널대치를 이용한 비선형 SVM

7. SVM장단점
7.1 장점
7.2 단점

본문내용

1. SVM(Support Vector Machine) 개념
1.1 SVM 정의
Support Vector Machine (SVM)은 Vapnik에 의해 제안된 통계적학습이론(SLT : Statistical Learning Theory) 에 근거한 universal approximator이다. SVM은 기존의 통계적학습방법(Statistical Learning Method)에서 이용되는 Empirical Risk Minimization (ERM) 과는 다른 Structural Risk Minimization (SRM) 을 이용하여 일반화 오류(Generalization Error)를 저감하는 방법을 취하고 있다. 또한, Multilayer Perceptron (MLP) 이나 Radial Basis Function (RBF) Network과 같은 기존의 다른 universal approximator 들처럼 Support Vector Machine 역시 패턴인식(pattern recognition) 이나 비선형예측/추정(Nonlinear Regression, Function Estimation) 등의 다양한 일을 효과적으로 수행할 수 있는 능력을 가지고 있다.
1.2 역사
패턴인식분야는 통계적 분류방법에서 출발하여 신경망이 개발되었고, 최근에 등장한 것이 SVM(Support Vector Machine)이다. 러시아 과학자 Vapnik이 1970년대 후분에 제안하였으나 당시에는 크게 주목받지 못하였다.
1990년대 들어서서 필기숫자 인식과 같은 실용적인 응용에서 우수한 일반화 능력이 입증되었고 이후 패턴인식과 기계학습 분야의 연구자들에 의해 주목을 받게 된 방법이다.
2. 발상
2.1 분류능력
서로 다른 패턴을 인식하여 분류하는 능력은 패턴인식 알고리즘의 성능을 판단하는 가장 중요한 기준이다. 그림1과 같이 샘플데이터를 분류하는 직선 3개가 있다고 할 때, 가장 우수한 패턴분류 능력을 보유하고 있는 직선은 무엇인가? 그림상으로 판단하여 볼 때 직선1은 샘플데이터에 대해 분류오류를 범하고 있고, 직선 2와 3은 샘플데이터를 정확히 분류하고 있기 때문에 직선2와 3가 모두 우수한 분류능력을 보유하고 있다고 답할 수 있다.
2.2 분류기의 일반화 능력
현 샘플외에 미지의 샘플에 대한 분류 정확성을 분류기의 일반화 능력이라고 정의한다. 앞에서 선정한 최적분류 직선에 대해 이 값을 추가로 고려한다면 직선3이 보다 더 우수한 분류능력을 가졌다고 판단할 수 있다.
분류기의 일반화 능력은 여백(Margin)으로 측정할 수 있으며, 분류직선과 각 패턴내의 샘플과의 거리 중 최소값의 2배를 의미한다. 그림1에서 볼 수 있듯이 직선2는 직선3에 비하여 여백이 작기 때문에 기존의 샘플에서 약간의 변형이 가해진 변형샘플이 추가될 경우 이에 대한 오분류의 가능성이 상대적으로 높게 된다.
2.3 SVM의 우수성
신경망의 경우에는 분류성능에 대해 현 샘플에 대한 분류오류값을 기준으로 판단하기 때문에 직선3을 최적분류기로 선정하기 어렵다. 따라서 여백을 고려한 최적분류기 선정 알고리즘이 필요한데 이것이 바로 SVM인 것이다.

키워드

SVM(Support Vector Machine),   데이터마이닝,   패턴인식,   인공지능,   신경망,   RBFN,   기계학습,   datamining