모수추정과 비모수추정의 비교, 분석

목차

1. 개요 (Introduction)

Ⅱ. 모수추정 (Parametric Estimation)
(1) 모수추정의 개념
(2) Maximum Likelihood Estimation (MLE)
(3) Bayesian Estimation
(4) Bayesian Parameter Estimation : Gaussian Case
(5) Bayesian Parameter Estimation : General Theory

Ⅲ. 비모수추정 (Non-parametric Estimation)
(1) 비모수추정의 개념
(2) Density Estimation
(3) Parzen Windows

Ⅳ. 비교 및 분석 (Analysis)

Ⅴ. 결론 및 반성(Conclusion)

본문내용

the expected value of the estimate is an averaged value of the unknown density a convolution of the unknown density and the window function. Thus
p_{ n } (x)
is a blurred version of
p(x)
as seen through the averaging window. But as
V_{ n }
approaches zero,
delta _{ n } (x-v)
approaches a delta function centered at
x
. Thus, if
p
is continuous at
x
,
p_{ n } (x)
will approach
p(x)
as
n
approaches infinity.
Convergence of Variance
Because
p_{ n } (x)
is the sum of functions of statistically independent random variables, its variance is the sum of the variances of the separate terms,
sigma _{ n } ^{ 2 } (x) <= { sup( phi ( CDOT ))p_{ n } (x) } over { nV_{ n } } .
so if we increase
n
to
INF
,
sigma _{ n } (x)`
approach zero.
Ⅳ. 비교 및 분석 (Analysis)
모수추정와 비모수추정의 가장 큰 차이점은 자료에 대한 정보의 차이이다.
모수추정은 집단을 구성하는 자료들의 parametric form of class-conditional probability densities를 알 때, 그 분포 자체를 찾는 작업에서 parameter들(각 class
w_{ i }
에 대하여 보통
theta _{ i }
로 나타낸다)을 찾는 작업으로 축소될 수 있고, 이 작업의 결과물로 얻게 된 distribution으로부터 classification을 하게 되는 추정이다.
비모수추정은 자료의 정보를 parametric form으로 알 수 없고 또한 distribution에 대한 정보가 없다고 가정했을 시에, density function
p(x vert w_{ j } )
에 대한 추정 혹은 posteriori probilities
P(w_{ j } vert x)
에 대한 추정을 통하여, 자료를 분석하고 classification 하는 추정 방법이다.
Ⅴ. 결론 및 반성(Conclusion)
Pattern Classification 의 과정으로서 모수추정(Parametric Estimation)과 비모수추정(Nonparametric Estimation)에 대하여 알아보았고, 두 가지 방법은 자료들에 대한 정보의 차이 즉. density function이 parametric form으로 주어져 있는가의 유무에 따라 그 전개과정과 목적 등이 구분된다.

키워드

모수추정,   비모수추정,   비교,   분석,   Maximum Likelihood Estimation,   모수,   추정,   Bayesian Parameter Estimation