준실험과 진실험의 비교 & 내적타당성

소개글

준실험과 진실험의 비교 & 내적타당성에 대한 보고서 자료입니다.

본문내용

실험 전 측정치의 차이에 포함된 성숙효과를 정책효과로부터 분리할 수 있다. 그러나 양 집단의 성숙효과가 동일하지 않거나, 또는 어떤 한 집단에만 특유의 사건이 발생할 경우 타당성상에 문제가 발생한다.
< 내적타당도의 저해요인 >
I . 내적 타당성과 외적 타당성의 개념
정책평가의 연구목적은 정책의 효과에 대한 정확하고도 타당성이 높은 정보를 산출하여 다음에 입안되는 정책에 반영되는 것이다. 타당성은 경험적 연구를 통하여 추정된 원인변수(정책수단 또는 프로그램)와 추정된 결과변수(정책효과) 간의 인과관계에 대하여 얼마나 정확한 정보를 창출하였는가를 말한다. 즉, 독립변수와 결과변수 간에 존재할 것으로 가정되는 인과관계를 진실에 가깝게 추론해 낸 경우에 그 정책평가는 타당성이 높고, 그 반대의 경우에는 타당성이 낮다.
1 . 내적 타당성
내적 타당성이란 추정된 원인(정책 또는 프로그램)과 그 결과 정책효과 사이에 존재하는 인과적 추론의 정확성을 의미하는 개념이다. 즉, 어떤 정책이 특정 효과를 가져온 경우에, 그 정책이 원인이 되어 특정 효과가 발생했다고 판단하면 평가는 내적 타당성이 있다고 하겠다. 따라서 정책수단의 실현과 정책효과 사이의 인과관계가 있으며 내적 타당성이 있는 것이다. 총괄평가의 주된 초점은 정책이 집행된 이후에 정책의 효과가 있었는지 여부를 판단하는 것인데, 이를 위해서는 정책평가의 내적 타당성을 살펴보면 된다.
2 . 외적 타당성
외적 타당성이란 정책평가의 결과를 밝혀진 정책효과에 대한 결론을 다른 상황에서도 작용할 수 있는가 하는 일반화대표성의 문제를 말한다. 다시 말하면, 어떤 특정한 상황에서 효과가 있는 것으로 나타난 정책, 즉 내적 타당성이 확보된 정책이 다른 상황에서도 효과를 나타낼 수 있는가 하는 가능성의 정도를 의미한다.
II . 내적 타당성의 저해요인
1 . 진실험에서 제기되는 내적 타당성의 문제
1) 모방효과(Imitation Effect)
통제집단 구성원이 의식적으로나 무의식적으로 실험집단 구성원의 의견생각행동이나, 태도를 모방함으로서 실험집단에 나타난 정책효과가 통제집단에도 나타나는 현상을 말하며, 확산효과 또는 오염 등으로도 불린다.
가령, 청소년 선도를 위한 상담의 효과를 측정하기 위해 실험을 하는 경우, 같이 어울려 노는 동네아이들을 대상으로 실험집단과 통제집단을 구성하였다고 가정하자. 상담으로 인해 실험집단의 태도가 변화했다고 가정하였을 경우 통제집단의 소년들도 이를 모방할 가능성이 있다. 모방효과로 인한 오차를 좌우하는 요인에는 실험집단과 통제집단 구성원들의 상호작용의 강도, 정책이 성취하고자 하는 효과 자체의 성질 등이 있다.
2) 정책내용의 누출(Leakage)
진실험에서는 정책내용이 실험집단에만 공급되고 통제집단에 제공되어서는 안 된다. 그런데 정책내용이 통제집단에도 공급되는 현상을 누출이라고 한다. 정책내용을 성질에 따라 구분하면, 재화(극빈자에 대한 구호사업의 효과를 알기 위한 실험에서 재화되는 구호물), 서비스(청소년 선도를 위한 상담이나 자녀를 위한 특수교육의 제공), 아이디어(실험집단에 제공되는 효과적인 치료약에 대한 아이디어가 통제집단에도 쉽게 전달 될 수 있음), 공공재(공공재는 국민에게 한 번 공급되면 일정 범위의 잠재적 소비자를 제외시키지 못하는 특성이 있음)등으로 구분 할 수 있는데, 이들은 통제집단에게도 영향을 미칠 가능성이 높다.
3) 체제의 변화
체제요소에는 한 체제 내에 존재하는 대상들이 공유하고 있는 것으로서 결과변수에 영향을 미치는 요소를 말한다. 예를 들면, 경찰의 순찰이 범죄예방에 어떤 영향을 주는가를 알기 위해 일정 구역을 집중순찰하고 일정 구역을 방치했다고 가정하자. 이 경우에는 잠재적인 범죄자가 한정적인 체제요소가 된다. 또한 자원배분자는 통제집단에 속하는 사람들이 일정 정책내용을 요구할 경우 혜택을 주어야만 하는 정치적윤리적 압력을 받는다. 이러한 보상적 균등화가 일어나면 실험 후 측정장치가 달라지게 된다.
4) 부자연스러운 반응(Unnatural Reaction)
정책의 실시로 실험집단과 통제집단의 자연적 관계가 파괴되고 부자연스러운 반응이 생기는 것이다. 그 외 실험을 통해 불이익과 손실이 발생하는 경우에 실험집단과 통제집단 간의 동질성이 깨지고 일종의 준실험으로 전락할 위험이 생긴다.
2 . 내적 타당성의 저해요인
1) 외재적인 요소
처치집단과 비교집단을 구성할 때 두 집단에 서로 다른 개인들을 선발하여 할당함으로써 오게 될지도 모르는 가능한 편견이다. 이것을 선발요소라고 부르기도 한다.
2) 내재적인 요소
오재적인 요소들과는 반대로 처치를 하는 동안에 일어나는 변화이다.
① 역사적 요소 (history)
역사적 요소란 연구기간 동안에 일어나는 사건이 개인이나 집단에 영향을 미쳐 대상변수에 중요한 영향을 미치는 경우를 말한다.
② 성숙효과 (maturation)
이는 평가에 동원된 집단 구성원들이 정책의 효과와는 관계없이 스스로 성장함으로써 나타날 수 있는 효과를 말한다.
③ 상실요소 (experimental mortality)
연구대상들이 연구기간 동안에 이사, 전보 등으로 변화를 보였을 때 나타난다.
④ 측정요소 (testing)
측정 그 자체가 연구되고 있는 현상에 영향을 준다.
⑤ 회귀인공요소 (regression artifact)
실험 직전의 측정 결과를 토대로 집단을 구성할 때, 평소와는 달리 유리하거나 나쁜 결과를 얻은 사람들이 선발되는 수가 있다. 이런 사람들은 실험이 진행되는 동안에 자신의 원래 위치로 돌아가게 되는데 그렇게 되면 측정 결과에 대한 해석이 제대로 될 수 없다.
⑥ 측정도구의 변화 (instrumentation)
정책이나 프로그램의 집행 전과 집행 후에 측정하는 절차나 측정도구가 변화하는 것이다.
⑦ 선발과 성숙의 상호작용
실험집단과 비교집단에 선발된 개인들이 최초에도 다를 뿐만 아니라 그들 두 집단의 성장 또는 성숙의 비율이 다르다.
⑧ 처치와 상실의 상호작용
실험집단과 비교집단에 무작위 배정이 이루어진 경우라 할지라도 이들 집단들에 다른 처치로 인하여 두 집단으로부터 처치기간 동안에 서로 다른 성질의 구성원들이 상실 될 수 있다.

키워드

준실험,   진실험,   내적타당성,   준실험과 진실험의 비교,   진실험과 준실험의 비교,   내적타당성의 저해요인