신뢰도와타당도에관하여

목차

없음

본문내용

검사의 동형성 여부에 따라 동형검사신뢰도 계수가 달리 추정되는 단점이 있으므로 연구자의 검사도구 제작능력이 신뢰도 계수에 영향을 미친다. 그리고 동형검사신뢰도 역시 재검사신뢰도처럼 검사를 두 번 시행하는 데 따른 문제점이 있다. 즉, 검사를 연속적으로 두 번 시행하는 동안 동일한 검사환경, 피험자의 동일한 검사동기와 검사태도를 유지하기가 어렵다는 것이다.
(3) 내적일관성신뢰도
① 정의
내적일관성신뢰도는 검사를 두 번 실시하지 않고 검사의 신뢰도를 추정할 수 있는 방법이다. 내적일관성신도란 검사를 구성하고 있는 부분검사 또는 문항 간의 일관성 정도를 말하며, 검사를 구성하는 부분검사나 문항들이 측정하고자 하는 내용을 얼마나 일관성 있게 측정하였느냐하는 문제다.
내적일관성신뢰도는 검사를 구성하는 두 부분: 검사간의 유사성으로 검사의 신뢰도를 추정하는 방법(반분검사신뢰도)과 문항간의 측정의 일관성을 추정하기위하여 관찰점수 분산 중 진점 수 분산이 차지하는 비율을 이용하는 방법(문항내적일관성신뢰도)이 있다.
1) 반분검사신뢰도
① 정의
반분검사신뢰도는 한 번 실시한 검사점수를 두 부분으로 나누어 두 부분 검사점수의 상관계수를 계산한 후, Sperman- Brown공식에 의하여 신뢰도를 추정하는 방법이다.
Sperman-Brown공식:
2ρYY'
ρXX' = _________
1+ ρYY'
ρXX' : 반분산검사신뢰도 계수
ρYY' : 반분산 검사점수의 상관계수
② 추정방법
반분검사신뢰도는 전체 검사를 양분하여 두 부분 검사점수 간의 일치성에 의하여 신뢰도를 추정하므로 두 부분 검사점수 간의 상관계수를 이용한다. 전체 검사를 인위적으로 양분하였다는 것은 하나의 검사를 두개의 동형검사로 만들었다는 것을 의미한다.
반분검사신뢰도 추정 시 검사를 반분하는 방법은 다음과 같다.
기우법 - 짝수 번 문항과 홀수 번 문항으로 반분
전후법 - 전체검사를 문항 순서에 따라 전과 후로 나눔
단순무작위법 - 무작위로 분할
문항특성에 의한 반분법 - 문항특성에 의하여 반분
③ 장단점
장점: 재검사신뢰도나 동형검사신뢰도 추정 시처럼 검사를 두 번 시행하지 않고 신뢰도를 추정할 수 있다는 장점이 있다. 시험간격이나 동형검사 제작 등의 문제는 없다.
단점: 검사를 양분하는 방법에 따라 반분검사신뢰도 계수가 달리 추정된다는 점이다. 일반적으로 반분검사신뢰도를 높게 추정하기 위해서는 문항특성에 의하여 검사를 반분하는 방법을 사용하는 것이 바람직하다.
2) 문항내적일관성신뢰도
① 정의
검사도구의 내적일관성신뢰도를 추정하는 다른 방법으로는 검사를 두 부분으로 나누지 않고 문항 하나하나를 하나의 검사로 간주하여 문항들 간의 유사성 혹은 측정의 일관성을 검증하는 방법이 있다. 추정방법으로는 KR-20, KR-21, Hoyt신뢰도, Cronbach α 가있다.
KR- 20은 정답/ 오답, 예/ 아니오와 같은 이분문항에만 적용
KR- 21은 다분문항으로 구성된 검사의 문항내적일관성신뢰도까지도 추정
Hoyt신뢰도는 분산분석방법을 사용하여 이분문항뿐 아니라 다분문항의 신뢰도를 추정
Cronbach α는 연구에서 사용되는 검사의 자료가 이분점수이든 다분점수이든 관계없이 사용
Cronbach(1951)는 문항의 내적일관성을 측정하기 위하여 검사를 두 부분으로 나누지 않고 문항 점수의 분산을 사용하는 Cronbach α 계수를 제안하였다. Cronbach α는 문항점수가 이분 점수가 아닐 때 신뢰도를 구 할 수 있는 KR-20의 일반화된 공식이라고 할 수 있으며, 다음 공식에 의하여 문항내적일관성을 의미하는 신뢰도를 계산 할 수 있다.
ρXX' ≥ α =
n
1-
n 2
∑ Si
= 1
n - 1
2
S x
n
:
문항 수
2
:
I번째 문항에 응답한 피험자 점수의 분산
S i
2
:
피험자들의 총점의 분산
S x
② 추정방법
학교 도서관에 대한 만족도를 4개의 문항으로 5명에게 물었을 때 < 표 8- 1>과 같이 응답하였다. 각 문항은 Likert 척도를 사용하였으며 1점은 매우 불만족, 2점은 불만족, 3점은 보통, 4점은 만족, 5점은 매우만족을 의미한다.
<표 8- 1> 도서관에 대한 만족도 응답결과
문항
피험자
1
2
3
4
A
4
3
5
4
B
3
3
4
4
C
5
5
4
5
D
2
1
3
2
E
3
2
4
3
계산 방법은 책 168p 참조하시기 바랍니다.
③ 장단점
장점: Cronbach α 에 의하여 신뢰도를 추정 할 때 검사를 두 번 실시하거나 검사를 양분하지 않아도 되며 문항 간의 일관성에 의하여 단일한 신뢰도 추정결과를 얻는다는 것이 장점이다.
단점: 신뢰도를 과소 추정하는 점이 지적되기는 하나 이를 단점이라고 할 수는 없다.
3) 신뢰도에 영향을 주는 요인
신뢰도에 영향을 주는 요인들은 검사에 관련된 요인, 피험자에 관련된 요인, 검사 시행에 관련된 요인으로 나누어 볼 수 있다.
* 검사에 관련된 요인
a. 문항 수: 인간이 지니고 있는 속성을 간접적으로 측정할 때, 적은 수의 문항보다 많은 수의 문항으로 측정하 는 것이 측정의 오차를 줄일 수 있다.
b. 문항의 난이도: 검사가 너무 어렵거나 쉬우면 검사불안과 부주의가 발생하여 본래의 능력을 발휘하지 못한 다.
c. 문항의 변별도: 문항이 피험자를 능력에 따라 구분 할 수 있는 문항변별력이 있어야 검사의 신뢰도가 높아 진다.
d. 검사도구의 측정내용의 범위가 좁을수록 신뢰도가 증가한다: 만약 한국사 시험을 칠 때, 검사의 내용 범위가 근대사로 제한된다면 한국사 전체의 내용을 범위로 하는 검사보다 신뢰도가 높을 것이다.
e: 검사신간이 충분해야 한다.
* 피험자와 관련된 요인
피험자의 흥미와 동기 등을 들 수 있다. 흥미와 동기가 높을수록 신뢰도가 높아진다.
* 검사시행에 관련된 요인
시간제한, 시험환경 등은 검사의 신뢰도를 증가시키기도 하고 감소시키기도 하는 요인들이다.
참 고 문 헌
성태제(2005). 교육연구방법의 이해. 서울 : 학지사. 132-138
김종서외(1997). 교육과정과 교육평가. 서울 : 교육과학사. 103-110
노형진(2005). 조사방법 및 통계조사. 서울 : 출판사형설. 204-211

키워드

신뢰도,   타당도,   신뢰도와타당도