[조사설계]측정도구에서의 타당도와 신뢰도 검증의 필요성

목차

1. 측정의 개념과 성격
1) Measurement(측정)이란
2) 측정의 수준

2. 측정의 오류
1) 체계적 오류(systematic error)
(1) 태도와 행동
(2) 편견에 의한 오류
2) 무작위적 오류(random error)
3) 측정 오류의 확인

3. 측정의 타당도(validity)
1) 타당도(Validity)의 개념
2) 내용타당도(content validity)
3) 기준타당도(criterion validity)
4) 구성타당도(construct validity)
5) 타당성 분석

4. 측정의 신뢰도(reliability)
1) 신뢰도의 정의
2) 신뢰도의 기본개념
3) 신뢰도의 성격
4) 신뢰도 공식
5) 신뢰도의 종류
6) 신뢰도의 적용
7) 신뢰도의 측정 기법

5. 타당도와 신뢰도 검증의 필요성

본문내용

er reliability) 기법 - 측정의 도구가 관찰인 경우에 많이 사용되는 방법이다. 두명 이상의 관찰자들이 관찰의 내용을 서로 숙지한 다음에 관찰하여, 개별 관찰자들간의 일관과 혹은 얼마나 높은 상관관계가 있는지를 알아본다.
(2) 검사-재검사(test-retest)기법 - 측정이 응답자들을 통한 설문지 방식으로 이루어질 때는 이 방법을 포함하여 유사-양식, 이분절 기법 등이 활용된다. 그 중에서도 검사-재검사 기법은 신뢰도의 개념적인 정의에 가장 합치하는 것으로 여겨진다. 동일한 집단의 측정 대상자들에게 같은 측정도구를 사용하여 측정을 두 번 실시하고, 그에 따른 두 번의 점수들에 대한 상관관계가 계산된다. 이 방법에서는 한 사람이 두 번의 측정에서 각기 다른 점수를 나타내는 부분을 오류라 규정한다. 상관관계 계수는 신뢰도에 대한 추정치로서 관찰된 전체 변량에 대한 참변량의 비율로서 규정된다.
한계1. 두 번의 동일한 검사를 동일한 대상들에게 반복하여 실시함으로써 나타나는 문제점이다. 결과로 측정된 신뢰도는 실제의 신뢰도보다 훨씬 높게 추정될 가능성이 있다.
2. 인간의 속성들은 고정적이지 않으며 계속적으로 유동하는 상태에 있다. 시간간격을 통해 응답자들의 성향이 변화될 수 있다. 이것은 결과적으로 측정되는 신뢰도를 떨어뜨릴 수 있다.
신뢰도를 추정하는데 있어서 검사-재검사 기법이 갖는 이러한 한계들은 신뢰도의 검증 결과를 두고 그것이 지나치게 높게 평가된 것인지 아니면 지나치게 낮게 평가된 것인지를 알아 내기 어렵게 한다.
(3) 유사-양식(parallel-forms)기법 - 두 가지 유사한 양식의 설문지를 사용하여 신뢰도를 측정하는 방법이다. 이 기법은 앞서 말한 검사-재검사 기법의 한계들을 극복하는데 유용하게 쓰일 수 있다. 이 기법은 두 가지 서로 다른 유사한 양식의 시험들을 동시에 한 집단에 실시한다. 그리고 두 가지 양식들에 의한 테스트 결과를 상관관계를 통해 검증하는 방법이다.
한계1. 서로 다른 두 양식이 얼마만큼 유사한 것인지를 미리 확인할 수 있는 방법이 없다. 비록 몇 가지 통계학 절차들이 서로 다른 두 양식이 유사한 것인지를 확인해 줄 수는 있지만 두 개의 양식으로 쪼개어 내용들을 배분하는 작업은 직관적인 판단에 의존하는 수밖에 없다.
(4) 이분절(split-half)기법 = 내적 일관성 신뢰도 - 이 기법은 전체 측정도구를 몇 부분으로 나누어 그것들을 각기 독립된 측정도구들로 간주하여 신뢰도를 추정한다. 전체 n개의 항목들을 가진 측정도구를 반으로 나누어 매 홀수번 항목들과 매 홀수번 항목들로 이루어진 두 개 세트의 측정도구를 만든다. 두 세트에 의해 측정된 값들은 서로 어느 정도 상관관계가 있는지를 구하게 되고 이것이 곧 전체 측정도구의 신뢰도를 나타내는 신뢰도 계수가 된다. 하나의 측정도구를 쪼개어 둘로 간주하게 됨으로써 발생하는 오류들을 수정하기 위해서 스피어만-브라운 예측 공식이 적용될 수 있다. 이 공식은 두 가지를 가정하여 만들어 진 것이다.
r = 2r / 1 + r
r = 측정도구의 신뢰도
r = 홀수 항목들의 점수와 짝수 항목들의 점수에 대한 상관관계를 통해 나타나는 신뢰도 계수
-가정-
1. n개의 항목들로 이루어진 측정도구보다는 2n개의 항목들을 갖는 측정도구가 더 신뢰도가 높을 것이다.
2. 한 개의 측정도구가 홀수 항목들과 짝수 항목들의 세트로 나누어졌다면 전체 측정도구는 각 세트별 측정도구보다는 더 신뢰도가 높을 것이다.
이러한 가정에 바탕하여 이분적 기법을 통해 신뢰도를 나타낼 때는 r 대신 r 를 사용하는 것이다.
알파 계수(Coronbach's)는 2분적 기법과 바찬가지로 내적 일관성 방법에 시준하며 현재 신뢰도를 측정하는 기법으로 가장 널리 쓰이는 방법이다. 알파계수는 한 측정에서 가능한 모든 이분적 신뢰도들의 평균값이라고 생각하면 된다. 알파계누는 전체 문항들을 두 집단으로 분류하는데 필요한 다양한 조합들을 만들어 낸다. 전형적인 이분적 기법은 {v1, v3}와 {v2, v4}로 나우어진 두 개의 집단을 만들어서 비교하는 반면 알파계수는 보다 포괄적으로 집단군을 만들어 내고 그것들의 상관관계를 알아볼 것이다.
[{v1,v3} {v2,v4}] [{v1,v2} {v3,v4}] [{v1,v4} {v2,v3}]
각 조합들의 상관관계가 계산되고 그에 대한 평균으로 전체적인 신뢰도를 나타내는 알파 계수가 만들어지게 된다. 알파계수에 의한 방식을 측장도구의 내적 일관성의 신뢰도를 구하는 가장 포괄적인 방법이지만 이러한 방식이 잘 사용되지 않은 이유는 알파 계수를 계산하는 과정이 매우 방대하고 지루한 작업이기 때문이다. 현재는 대부분의 컴퓨트 통계 프로그램들에 의해 쉽게 수행될 수 있다.
여느 신뢰도의 계수들과 마찬가지로 SPSS-Win에서도 알파계수 역시 0(신뢰도 전혀 없음)에서 1(완벽한 신뢰도)사이의 값을 나타낸다.
8) 신뢰도에 영향을 주는 요인
첫째, 신뢰도에 영향을 주는 요인은 문항 수다. 만약 적은 수의 문항으로 인간이 지니고 있는 속성을 측정할 때 보다 많은 수의 문항으로 검사를 실시할 때 측정의 오차를 줄일 수 있다. 둘째, 문항의 난이도가 적절할 때 검사의 신뢰도는 증가한다. 셋째, 문항변별도가 높을 때 검사의 신뢰도는 증가한다. 즉 문항이 피험자를 능력에 따라 구분할 수 있는 문항변별력이 있어야 검사의 신뢰도가 높아진다. 다섯째, 검사시간이 충분하여야 한다. 충분한 시간이 부여될 때 응답의 안정성을 보장받을 수 있다. 그러므로 속도검사보다는 역량검사가 신뢰도 측면에서 바람직하다.
5. 타당도와 신뢰도 검증의 필요성
측정에서 타당도와 신뢰도를 동시에 확보한다는 것은 매우 중요한 문제이다. 실제로 측정을 수행하는 과정에서는 이 두 가지 측면에 대한 강조들이 종종 갈등적인 성격을 띨 수 있다. 타당도를 강조하다 보면 신뢰도가 약해질 수 있고, 신뢰도를 강화하기 위한 노력들은 타당도를 저해하는 결과를 초래할 수 있다. 따라서 연구자나 측정도구를 실천에 사용하는 실천가들은 타당도와 신뢰도가 내포하는 구분되는 의미들을 정확하게 파악하여 상황에 따른 최선의 선책을 하는 것이 필요하다.

키워드

측정의개념과성격,   측정의오류,   측정오류의확인,   측정의타당도(validity),   측정의신뢰도(reliability),   내용타당도,기준타당도,   신뢰도의기본개념,   타당도와신뢰도검증