유사실험설계(준실험)

목차

** 유사실험에 의한 정책영향의 평가
* 유사실험설계에 의한 정책평가의 성격과 접근방법
1. 유사실험에 의한 평가의 성격
2. 유사실험적 방법에 의한 평가의 접근방법
3. 타당성과 실행가능성

* 축조된 통제에 의한 평가설계의 접근방법
1. 원시실험설계(pre-experimental designs)
1) The One-shot Case Study(단일집단 사후측정 설계)
2) The One-group Pretest-posttest Design(단일집단 사전 사후 측정 설계)
3) Static-group Comparison(집단비교설계)
2. 유사실험설계
1) The pretest-posttest comparison group design
2) The postest comparison group design(사후 테스트 비교집단설계)
3) 회귀불연속설계

* 재귀적 통제에 의한 평가설계의 접근방법
1. The Interrupted Time-series Comparison Group Design
2. interrupted time-series with noncomparable groups
3. The single interrupted time-series design

본문내용

란 및 허위변수에 있어 동일집단이어야 하며, 사전 테스트와 사후 테스트의 점수가 극단치 값을 가지지 않아야 하고, 이전의 종속변수의 trends가 양 집단에서 비슷해야 한다. <--- 그러나, 이것을 만족시킬 수 없다. 그 이유는 시계열 자료분석이 아니기 때 문이다.
(5)
가) impact= Y1-Y2=2-1=1 --> posttest 후에 점수 차가 있으면 그 효과가 있는 것으로 해석, So 오류 가능성 많음.
나) impact= (Y3-Y3)-(Y1-Y2)=0 --> 효과 없음.
다) 왼쪽 그림에 의해 프로그램 효과가 있다고 결론지으려 한다면, 실험집단과 통제집단의 사전 테스트 평균값이 동일하다고 가정해야 한다.
(6)
시계열 정보가 없는 경우 시계열 정보가 있는 경우
가) 시계열 정보가 없는 경우: 왼쪽 그림에서 프로그램 효과 없다.
나) 시계열 정보가 있는 경우: 오른쪽 그림에서 프로그램 효과 있다. 만약 효과가 없을 때에는 실험집단은 점선으로 표시된 양태를 보여야 한다.
3) 회귀불연속설계
(1) 사용의 기본조건과 평가의 논리
가) 이 설계는 처리를 받는 대상자와 처리를 받지 않는 대상자에 대한 배정 기준이 명확하다.
나) 배정 기준이나 종속변수 모두 등간 또는 비율척도여야 한다.
다) 예) 학생들이 대학교에 재학하는 동안에 장학금을 수여한 것이 학생들이 대학교를 졸업하여 사회에 진출한 다음에 사회에서 이룬 성취도(사회적인 성공 내지 수입 등)에 미친 영향에 대해 평가
(i) 이 경우, 평가에는 3개의 변수들이 개입: 배정변수(평균성적); 처리변수(장학금 주는 내용); 산출변수(종속변수).
처리되지 않음 구분점 처리됨
(ii) 가장 핵심적인 가정의 하나는 구분점을 중심으로 전·후의 좁은 폭에 속하는 대상자들은 실제로는 장학금을 받았거나 또는 그렇지 않았거나간에 그 능력상에는 거의 차이가 없을 것이라는 것이다.
(iii)
위의 그림은 처리가 없었다고 할지라도 높은 사전 테스트 점수를 얻은 대상자들은 일정한 기간이 지난 후에 더 높은 Y값을 갖게 되고, 여기에 실질적인 처리효과가 추가된 것을 나타낸다.
(2) 다양한 예시: 노화준 p. 315.
(3) Y=a+b1X1+b2X2 +e : X1=구분점; X2=처리변수(가변수);
* 재귀적 통제에 의한 평가설계의 접근방법
1. The Interrupted Time-series Comparison Group Design
t1 t2 t3 . . . . t4 t5 tn
treated O O O X O O O
untreated O O O O O O
(a) (b)
(c) (d)
(e) (f)
1) a, b: program 효과가 급격하고 영원함. 프로그램 변화가 점진적이거나 슬로템포이면 이와 같은 패턴을 기대해서는 안된다.
2) c, d: 결과가 한참 후에 나타남(a delayed result)
3) e: 점진적 효과, 그러나 프로그램 변화가 급격하면 이러한 결과 기대 말아야 함.
4) f: 프로그램 실시 후 그 효과(또는 산출결과)의 비안정성
---> 따라서 이 모형결과 해석은 intervention type에 따라 다르다.
5) 이러한 설계는 정책이 universal impact를 갖는 효과를 지닌 것을 평가하는 데에는 적절치 않음. 그 이유는 정책이 보편적으로 적용되면 독립변수가 가해지지 않는 집단은 존재하지 않기 때문이다. 예) medicaid --> universal, but only within a single class of eligibles.
▼
가난한 사람들 대상(보건문제에 상당한 영향 끼침)
평가문제: 비교집단이 없음.
2. interrupted time-series with noncomparable groups
1) 위의 1-5)의 문제점을 극복하기 위해 이 설계모형을 적용함.
2) 내적 타당성에 문제 있음.
3)
(1) income: confounding variable.
3. The single interrupted time-series design
t1 t2 t3 . . . . t4 t5 tn
O O O . . X . O O O
1) 비교집단이 불명확함 --> 정책변화 이전의 same group이다.
2) 정책효과가 universal일때 특히 적절한 기법
3) 혼란 및 허위변수의 측정이 어려우나, 이들 효과를 어느 정도 볼 수 이Tdma.
4) 장점: long period 관찰할 수 있음. 따라서 extreme scores의 short-term response, growth rate에서 인식되지 않는 변화와 진짜 프로그램 효과를 구분할 수 있게 해 준다(혼동할 기회를 줄여준다).
(a) (b)
(1) a: extreme score: a true but short-lived impact; results from a temporary program change
(2) b: permanant program change
5) 문제점
(1) 수많은 정책들이 평가받는 특정 프로그램(또는 정책)이 변화함과 동시에 개정되는 경향있음. 특히 그 정책의 실시가 다른 정책과 상호 맞물려 있을 때 그 프로그램의 순수효과를 측정하기 어려움.
(2) 측정대상의 변화: grow older, younger, richer, poorer
6) 실제적으로 많이 사용된다. 그 이유는 비교집단을 만들기 어려울 때 prospective design으로서 때때로 순수실험설계보다 우수하기 때문이다. 특히 순수실험에 의한 무작위 추출이 가능한 숫자가 적을 때, 또는 실험이 불가능할 때 이용된다.
@ 일반적으로 1번 모형이 유사실험설계에서 가장 최선의 방법일 것 같으나, poor comparison group의 선택은 해석의 오류를 범한다.
(i) 가설: 엠브란스 차량↑, 병원에서 죽는 환자 수↑
(ii) 만약 community B의 연령구조의 변화가 A의 program 실시와 동시에 일어나면, 잘못된 결과를 유도함.
(iii) treated 그룹만을 측정한다면(no comparison group), 연령구조의 변화에 대한 통제가 가능하다. 따라서 이러한 경우, single-interrupted time series 모형이 적절하다.

키워드

유사실험,   준실험,   설계,   행정조사방법론,   사회과학방법론,   진실험