평가도구의 질판단 기중

목차

1. 타당도

2. 신뢰도

3. 객관도 및 실용도

4. 문항분석

본문내용

문항분석
1) 문항곤란도(item difficulty)
정의 : 한 문항에 학생들이 정답을 한 확률
특징
① 문항곤란도는 집단의 표준편차와 평균에 의해 결정된다.
② 계산 전에 각 문항에 대한 추측요인을 교정해야한다.
③ 각문항의 어려운 정도를 밝히는 것 즉 문항에 정답을 하는 확률을 계산하고자 하는 것
④ 답지가 두개인 이선택지 문항과 답지가 세 개인 삼선택지 문항이 있는 경우에 그 문항에 추측을 하여 맞을 가능성 확률은 전혀 다르다.
⑤ 한 문항이 어느 정도 어려운가의 정도를 알려는 것이기 때문에 각문에 반응하지 않은 피험자의 수를 제외해야한다.
⑥ 반응하지 아니한 피험자의 수(NR)는 빼주는 것이 진짜 문항 곤란도를 계산할 수 있는 기초가 된다.
< 문항곤란도 계산 >
Pt=
Pt: 문항곤란도 지수
Rt: 정답수
nt: 답을 한 학생 수 전부
NRt: 각문항의 미달항의 수
Ki: 답지의 수
Wt: 오답 수(=W+O)(이것은 손대어 틀린 것과 가운데 비어있는 것 포함)
예) 25번 문항
답지) ① 40 *②150 ③20 ④60
NR: 30
300
문항곤란도 지수
Pt = = ()100 = 41%
Pk=()100
Ri: 정답을 한 사람의 수
Wi: 오답을 한 사람의 수
Di: 가정 많은 오답지의 사람 수
( 가정 : 진짜로 정답을 알고 있는 사람의 수는 정답을 한 사람 수에서 가장 오답을
많이 한 답지의 사람 수를 뺀 것과 같다)
Pk = ()100 = ()100 = 33%
호스트가 제안한 공식보다 보편적으로 널리 사용되고 있고 측정학적 이론으로 볼 때도 합리적임
Pt=
Ks : 배합형의 답지에 있는 항목의 수
(위의 공식은 배합형의 문항분석에 사용하기 위해 제시된 공식)
전제
답지
1
2
3
Ⅰ
Ⅱ
Ⅲ
10
* 80
10
* 75
15
10
40
5
* 55
계
100
100
100
( 보 기 )
1. 에디슨 2. 큐리 3. 스티븐슨
Ⅰ. 리튬 Ⅱ. 전기 Ⅲ.증기
전제 1의 P
Pt = = ()100 = 70%
전제 2의 P
Pt = = ()100 = 62.5%
전제 3의 P
Pt = = ()100 = 32.5%
Pest =
문항곤란도의 이용
검사가 속도를 대단히 강조하는 속도검사의 성격을 띠고 있을 때에는 가능한 한 문항곤란도가 낮은 것으로 모든 문항곤란도가 비슷하게 되도록 검사를 구성하는 것이 좋음
단점 : 문항곤란도는 동간척도가 아니어서 어느 문항이 더 어려운지는 알 수 있어도
몇 배나 어려운지는 양적지시를 알 수 없다.
학급현장에서는10~90%의 문항곤란도를 가지면 무난하다.
2) 문항 타당도
정의 : 문항이 무엇을 측정하고 있느냐 측정해야 할 것을 측정하고 있느냐 학생의 능력을 변별하는 힘이 있느냐는 것
문항타당도를 보는 지수 및 절차
① 정확성을 측정하는 방법
각 문항이 측정하고 있는 현상이 어느 정도 정상분포의 개념에 고정적이냐 하는 것을 알아보는 방법
정상분포의 성질을 띠고 있으면 그 문항은 정확성이 있고 그렇지 않으면 문항의 타당도를 의심하게 된다.
이점: 정상분포곡선의 법칙에 따른 해석을 할 수 있다.
통계적 처리(평균, 표준절차)를 할 수 있다.
② 문항의 상하능력을 변별하는 힘을 보는 방법
③ 각 문항과 준거점수와의 상관은 내어보는 방법
④ 변량분석에 의한 방법
문항타당도를 검증하는 방법
문항변별력(item discriminating power)
- 각 문항이 능력의 상하를 얼마나 예리하게 변별하는가를 모는 것
여기에서 나온 지수를 변별도지수(discriminating index)
- 검사의 총점이라는 내적준거에 의해 문항의 타당도를 보고하는 것
d=Pu-PL
Pu : 상부집단에서 문항에 정답한 비율
PL: 하부집단에서 문항에 정답한 비율
- 검사총점에 의해 집단을 상하로 양분하고 각 문항에 대해 정답을 맞힌 비율을 계산해서
그 차를 계산하는 방법
- 차가 클수록 문항의 변별력이 있는 것
표준점수로 바꾸면
D지수 = Zu-ZL
존슨 : UL Ⅰ=
UL Ⅰ : 상하부지수(Upper-Lower Index)
Ru RL : 각각 상부집단 하부집단의 정답자수
f : 각 집단의 학생수
⑤ 각문항의 답지에 학생들이 어떻게 반응하고 있는가 하는 문항반응분포(item response distribution)를 본다.
- 각답지의 오답이 얼마나 오답이므로 매력이 있으며 정답은 얼마나 정답구실을 했는가 상하집단에서 반응하는 형태에 어떤 차이가 있는 가등을 알아보기 우해 필요
- 검증을 통해 나온 정보를 기초로 문항을 수정 보완

키워드

평가도구,   문항타당도,   객관도,   신뢰도,   타당도