목차
Ⅰ. 측정의 개념
1. 측정의 정의
2. 측정의 구조
3. 개념화와 조작화
4. 측정의 4등급
Ⅱ. 측정도구
1. 지표와 합성 측정
2. 지수의 구성
3. 척도 구성
4. 표준화된 측정도구
5. 설문지 개발
Ⅲ. 측정의 타당도와 신뢰도
1. 측정의 오류
2. 타당도
3. 신뢰도
4. 타당도와 신뢰도의 관계
1. 측정의 정의
2. 측정의 구조
3. 개념화와 조작화
4. 측정의 4등급
Ⅱ. 측정도구
1. 지표와 합성 측정
2. 지수의 구성
3. 척도 구성
4. 표준화된 측정도구
5. 설문지 개발
Ⅲ. 측정의 타당도와 신뢰도
1. 측정의 오류
2. 타당도
3. 신뢰도
4. 타당도와 신뢰도의 관계
본문내용
서는 가장 기본적이지만, 그것이 주관적인 판단에 의존하므로 편견이나 오류의 가능성들을 배제하기 어렵다.
2) 기준타당도
기준타당도(criterion validity)는 경험적인 근거를 통해 타당도를 확인하는 방법이다. 경험적인 타당도를 확인하기 위해서 가장 많이 활용하는 방법이 기준타당도이며, 그래서 이를 보통 경험적 타당도라 부르기도 한다.
예측 기준 : 측정에 의한 결과가 관련된 개념을 예측하는 데 쓰여지면, 그 관련 개념이 예측 기준이 되어서 측정도구에 대한 타당성을 확인해 준다.
동시발생 기준 : 측정에 의한 결과가 현재 그것과 관련이 있다고 믿어지는 다른 변수와의 상관관계를 통해 확인된다.
3) 구성타당도
구성타당도란 측정되는 개념이 관련을 맺고 있는 개념들이나 가정들을 토대로 해서 전반적인 이론적 틀 속에서 측정도구의 타당성을 경험적으로 검증하는 방법이다.
구성타당도는 측정도구에 대한 타당도를 경험적으로 검증하는 가장 고차원적인 방법이다. 그럼에도 검증의 방법이 쉽지 않고, 자칫 구성타당도를 확인하는 작업 자체가 하나의 새로운 연구로 발전하게 될 가능성이 크다. 따라서 측정도구를 개발하는 전문적인 조사연구들이 아니면 쉽사리 활용되기 어렵다.
3. 신뢰도
신뢰도란 측정도구에 의해 도출되는 측정값들이 얼마나 일정하게 산출되는지를 나타낸다. 측정도구의 정확성을 나타낸다는 점에서 타당도와 같으나, 신뢰도는 타당도와는 명백히 구분되는 개념이다. 타당도가 측정에 있어서의 체계적 오류들과 관련된 것이라면, 신뢰도는 측정의 무작위적 오류들과 관련되어 있다. 측정의 무작위적 오류란 일정한 유형을 갖지 않은 오류들이 나타난다는 것으로, 이러한 오류들이 주로 신뢰도의 문제와 관련되어 있다.
1) 신뢰도의 성격
신뢰도는 측정에 있어서 일관성을 나타내는 것으로, 측정값들이 일정하게 나타나는 정도로 표시할 수 있다. 어떤 측정에 대해 신뢰도가 높다고 하면, 그것은 동일한 대상에 대한 측정 결과들이 일관성 있게 지속적으로 나타난다는 뜻이다. 이것은 곧 측정도구에서 무작위적인 오류들이 적게 나타난다는 것과 같다.
2) 신뢰도 공식
동일한 대상에 대해 계속되는 측정을 시도해 보면, 측정값들은 약간씩 차이를 보일 수 있다. 계속되는 측정을 통해 고정되어 나타나는 부분들도 있겠지만, 변화도는 부분들도 있을 것이다. 따라서 측정의 값은 두 가지 요소로 구분하여, 참요소와 오류요소로 구성되어 있다고 볼 수 있다. 참요소는 고정적으로 변화되지 않는 부분의 값을 나타내게 하는 요소이며, 오류요소는 매번 측정시마다 각기 다른 무작위적 오류들에 의해 나타나는 변화값들을 의미한다. 참요소와 오류요소를 통해 신뢰도를 나타낸다면, 신뢰도는 측정 결과에서 나타난 참요소들에 대한 오류요소들의 비율을 통해 나타낼 수 있다. (p.158~159 참조)
3) 신뢰도의 측정 기법
(1) 상호 관찰자 기법
측정의 도구가 관찰인 경우에 신뢰도를 측정하기 위해 많이 사용되는 방법이다. 두명 이상의 관찰자들이 관찰의 내용을 서로 숙지한 다음에 관찰을 하여, 개별 관찰자들간에 얼마나 일관성이 나타나는지 혹은 얼마나 높은 상관관계가 있는지를 알아본다.
(2) 검사-재검사(test-retest) 기법
측정이 응답자들을 통한 설문지 방식으로 이루어질때는 이 방법을 포함하여 유사-양식, 이분절 기법 등이 활용된다. 그 중에서도 검사-재검사 기법은 신뢰도의 개념적인 정의에 가장 합치하는 것으로 여겨진다. 동일한 집단의 측정 대상자들에게 같은 측정도구를 사용하여 측정을 두 번 실시하고, 그에 따른 두 번의 점수들에 대한 상관관계가 계산된다. 이 방법에서는 한 사람이 두 번의 측정에서 각기 다른 점수를 나타내는 부분을 오류라 규정한다.
검사-재검사 기법은 두 가지 한계를 갖는다. 첫째는, 두 번의 동일한 검사를 동일한 대상들에게 반복하여 실시함으로써 나타나는 문제점이다. 둘째는, 인간의 속성들은 고정적이지 않으며 계속적으로 유동하는 상태에 있다.
(3) 유사-양식(parallel-forms) 기법
유사-양식 기법은 두 가지 유사한 양식의 설문지를 사용하여 신뢰도를 측정하는 방법이다. 이 기법은 앞서 말한 검사-재검사 기법의 한계들을 극복하는 데 유용하게 쓰일 수 있다
동일한 시험을 두 번 시행함으로써 발생하는 학습의 효과를 방지하기 위해서, 유사-양식 기법은 두 가지 서로 다른 유사한 양식의 시험들을 동시에 한 집단에 실시한다. 그리고 두 가지 양식들에 의한 테스트 결과를 상관관계를 통해 검증하는 방법이다. 유사-양식 기법을 이용하여 신뢰도를 구하는 계산방식은 검사-재검사 기법에서와 동일하다.
유사-양식 기법을 활용하는 데 따르는 문제점은, 서로 다른 두 양식이 얼마만큼 유사한 것인지를 미리 확인할 수 있는 방법이 없다는 점이다.
(4) 이분절(split-half) 기법
이분절 기법은 종종 내적 일관성 신뢰도라고도 불리는 방법이다. 이 기법은 전체 측정도구를 몇 부분으로 나누어 그것들을 각기 독립된 측정도구들로 간주하여 신뢰도를 추정한다. 전통적인 방법은 측정도구의 전체 항목들을 둘로 나누는 방법이다.
4) 알파 계수
알파계수는 2분절 기법과 마찬가지로 내적 일관성 빙법에 기준하며, 현재 신뢰도를 측정하는 기법으로 가장 널리 쓰이는 방법이다. 알파계수는 한 측정에서 가능한 모든 이분절 신뢰도들의 평균값이라고 생각하면 된다. 전형적인 이분절 기법은 설문 항목들을 번호에 의해 홀, 짝인 두 집단으로 나누지만, 알파 계수는 전체 문항들을 두 집단으로 분류하는 데 필요한 다양한 조합들을 만들어 낸다.
4. 타당도와 신뢰도의 관계
측정에서 타당도와 신뢰도를 동시에 확보한다는 것은 매우 중요한 문제이다. 타당도를 확보하기 위해서 신뢰도룰 희생할 수 없듯이, 신뢰도를 위해 타당도를 약화시킬 수도 없는 것이다. 타당도와 신뢰도는 측정의 정확성을 기하기 위한 두 측면을 형성한다.
실제로 측정을 수행하는 과정에서는 이 두가지 측면에 대한 강조들이 종종 갈등적인 성격을 띨 수 있다.따라서 연구자나 측정도구를 실천에 사용하는 실천가들은, 타당도와 신뢰도가 내포하는 구분되는 의미들을 정확하게 파악하여 상황에 따른 최선의 선택을 하는 것이 필요하다.
2) 기준타당도
기준타당도(criterion validity)는 경험적인 근거를 통해 타당도를 확인하는 방법이다. 경험적인 타당도를 확인하기 위해서 가장 많이 활용하는 방법이 기준타당도이며, 그래서 이를 보통 경험적 타당도라 부르기도 한다.
예측 기준 : 측정에 의한 결과가 관련된 개념을 예측하는 데 쓰여지면, 그 관련 개념이 예측 기준이 되어서 측정도구에 대한 타당성을 확인해 준다.
동시발생 기준 : 측정에 의한 결과가 현재 그것과 관련이 있다고 믿어지는 다른 변수와의 상관관계를 통해 확인된다.
3) 구성타당도
구성타당도란 측정되는 개념이 관련을 맺고 있는 개념들이나 가정들을 토대로 해서 전반적인 이론적 틀 속에서 측정도구의 타당성을 경험적으로 검증하는 방법이다.
구성타당도는 측정도구에 대한 타당도를 경험적으로 검증하는 가장 고차원적인 방법이다. 그럼에도 검증의 방법이 쉽지 않고, 자칫 구성타당도를 확인하는 작업 자체가 하나의 새로운 연구로 발전하게 될 가능성이 크다. 따라서 측정도구를 개발하는 전문적인 조사연구들이 아니면 쉽사리 활용되기 어렵다.
3. 신뢰도
신뢰도란 측정도구에 의해 도출되는 측정값들이 얼마나 일정하게 산출되는지를 나타낸다. 측정도구의 정확성을 나타낸다는 점에서 타당도와 같으나, 신뢰도는 타당도와는 명백히 구분되는 개념이다. 타당도가 측정에 있어서의 체계적 오류들과 관련된 것이라면, 신뢰도는 측정의 무작위적 오류들과 관련되어 있다. 측정의 무작위적 오류란 일정한 유형을 갖지 않은 오류들이 나타난다는 것으로, 이러한 오류들이 주로 신뢰도의 문제와 관련되어 있다.
1) 신뢰도의 성격
신뢰도는 측정에 있어서 일관성을 나타내는 것으로, 측정값들이 일정하게 나타나는 정도로 표시할 수 있다. 어떤 측정에 대해 신뢰도가 높다고 하면, 그것은 동일한 대상에 대한 측정 결과들이 일관성 있게 지속적으로 나타난다는 뜻이다. 이것은 곧 측정도구에서 무작위적인 오류들이 적게 나타난다는 것과 같다.
2) 신뢰도 공식
동일한 대상에 대해 계속되는 측정을 시도해 보면, 측정값들은 약간씩 차이를 보일 수 있다. 계속되는 측정을 통해 고정되어 나타나는 부분들도 있겠지만, 변화도는 부분들도 있을 것이다. 따라서 측정의 값은 두 가지 요소로 구분하여, 참요소와 오류요소로 구성되어 있다고 볼 수 있다. 참요소는 고정적으로 변화되지 않는 부분의 값을 나타내게 하는 요소이며, 오류요소는 매번 측정시마다 각기 다른 무작위적 오류들에 의해 나타나는 변화값들을 의미한다. 참요소와 오류요소를 통해 신뢰도를 나타낸다면, 신뢰도는 측정 결과에서 나타난 참요소들에 대한 오류요소들의 비율을 통해 나타낼 수 있다. (p.158~159 참조)
3) 신뢰도의 측정 기법
(1) 상호 관찰자 기법
측정의 도구가 관찰인 경우에 신뢰도를 측정하기 위해 많이 사용되는 방법이다. 두명 이상의 관찰자들이 관찰의 내용을 서로 숙지한 다음에 관찰을 하여, 개별 관찰자들간에 얼마나 일관성이 나타나는지 혹은 얼마나 높은 상관관계가 있는지를 알아본다.
(2) 검사-재검사(test-retest) 기법
측정이 응답자들을 통한 설문지 방식으로 이루어질때는 이 방법을 포함하여 유사-양식, 이분절 기법 등이 활용된다. 그 중에서도 검사-재검사 기법은 신뢰도의 개념적인 정의에 가장 합치하는 것으로 여겨진다. 동일한 집단의 측정 대상자들에게 같은 측정도구를 사용하여 측정을 두 번 실시하고, 그에 따른 두 번의 점수들에 대한 상관관계가 계산된다. 이 방법에서는 한 사람이 두 번의 측정에서 각기 다른 점수를 나타내는 부분을 오류라 규정한다.
검사-재검사 기법은 두 가지 한계를 갖는다. 첫째는, 두 번의 동일한 검사를 동일한 대상들에게 반복하여 실시함으로써 나타나는 문제점이다. 둘째는, 인간의 속성들은 고정적이지 않으며 계속적으로 유동하는 상태에 있다.
(3) 유사-양식(parallel-forms) 기법
유사-양식 기법은 두 가지 유사한 양식의 설문지를 사용하여 신뢰도를 측정하는 방법이다. 이 기법은 앞서 말한 검사-재검사 기법의 한계들을 극복하는 데 유용하게 쓰일 수 있다
동일한 시험을 두 번 시행함으로써 발생하는 학습의 효과를 방지하기 위해서, 유사-양식 기법은 두 가지 서로 다른 유사한 양식의 시험들을 동시에 한 집단에 실시한다. 그리고 두 가지 양식들에 의한 테스트 결과를 상관관계를 통해 검증하는 방법이다. 유사-양식 기법을 이용하여 신뢰도를 구하는 계산방식은 검사-재검사 기법에서와 동일하다.
유사-양식 기법을 활용하는 데 따르는 문제점은, 서로 다른 두 양식이 얼마만큼 유사한 것인지를 미리 확인할 수 있는 방법이 없다는 점이다.
(4) 이분절(split-half) 기법
이분절 기법은 종종 내적 일관성 신뢰도라고도 불리는 방법이다. 이 기법은 전체 측정도구를 몇 부분으로 나누어 그것들을 각기 독립된 측정도구들로 간주하여 신뢰도를 추정한다. 전통적인 방법은 측정도구의 전체 항목들을 둘로 나누는 방법이다.
4) 알파 계수
알파계수는 2분절 기법과 마찬가지로 내적 일관성 빙법에 기준하며, 현재 신뢰도를 측정하는 기법으로 가장 널리 쓰이는 방법이다. 알파계수는 한 측정에서 가능한 모든 이분절 신뢰도들의 평균값이라고 생각하면 된다. 전형적인 이분절 기법은 설문 항목들을 번호에 의해 홀, 짝인 두 집단으로 나누지만, 알파 계수는 전체 문항들을 두 집단으로 분류하는 데 필요한 다양한 조합들을 만들어 낸다.
4. 타당도와 신뢰도의 관계
측정에서 타당도와 신뢰도를 동시에 확보한다는 것은 매우 중요한 문제이다. 타당도를 확보하기 위해서 신뢰도룰 희생할 수 없듯이, 신뢰도를 위해 타당도를 약화시킬 수도 없는 것이다. 타당도와 신뢰도는 측정의 정확성을 기하기 위한 두 측면을 형성한다.
실제로 측정을 수행하는 과정에서는 이 두가지 측면에 대한 강조들이 종종 갈등적인 성격을 띨 수 있다.따라서 연구자나 측정도구를 실천에 사용하는 실천가들은, 타당도와 신뢰도가 내포하는 구분되는 의미들을 정확하게 파악하여 상황에 따른 최선의 선택을 하는 것이 필요하다.
소개글