-
1
-
2
-
3
-
4
-
5
-
6
-
7
-
8
-
9
-
10
-
11
-
12
-
13
-
14
-
15
-
16
-
17
-
18
-
19
-
20
-
21
-
22
-
23
-
24
-
25
-
26
-
27
-
28
-
29
-
30
-
31
-
32
-
33
-
34
-
35
-
36
-
37
-
38
-
39
-
40
-
41
-
42
-
43
-
44
-
45
-
46
-
47
-
48
-
49
-
50
-
51
-
52
-
53
-
54
-
55
-
56
-
57
-
58
-
59
-
60
-
61
-
62
본문내용
선정
3] 각 문항에 대한 상위집단, 하위집단 학생들이 각 답지에 어떻게 반응했는지를 별도로 계산
4] 위의 단계 (3)에서 계산한 각 문항, 각 답지에 대한 반응수를 검사지 또는 문항분석 카드에 기입
[예] 문항(1)
답지
A
B*
C
D
상위집단(10명)
0
6
3
1
하위집단(10명)
3
2
2
3
* 정답
N=32
5] 문항곤란도 지수를 계산
6] 문항변별도 지수를 계산
7] 각 답지의 능률성(문항반응분포) 계산
2. 문항분석의 실제
가. 문항곤란도
1] 문항곤란도(item difficulty)란?
[1] 한 문항의 어려운 정도
[2] 한 문항에 학생들이 정답을 한 확률
[3] 문항곤란도 지수는 p(percentage of the pass라는 단어의 머리글자임)
[4] 문항곤란도는 0~100%에 이르기까지의 변산을 지님
[예]
A)
문항 :
(1)
(2)
(3)
(4)
……
(41)
(42)
(43)
(44)
(45)
(46)
(47)
(48)
(49)
채점 :
○
×
○
○
……
○
×
○
B)
문항 :
(1)
(2)
(3)
(4)
……
(41)
(42)
(43)
(44)
(45)
(46)
(47)
(48)
(49)
채점 :
○
×
×
……
×
×
○
○
×
○
×
A의 경우 (44)번 문항 이후 : 미달항
B는 (2) (41) (47) : 오답으로 간주
2] 문항곤란도의 계산방법
[1] 정답에 의한 문항곤란도 계산
P = × 100
P=문항곤란도 지수
R=정답한 학생수
N=전체 학생수
: 1. 국어시험에 응시한 학생 200명 중에서 문항(2)에 대해 120명이 정답을 했다면,
P = × 100 = 60%
[2] 미달항을 제외한 곤란도 계산
[예] 어떤 문항에 100명 중 5명이 시간이 모자라 손을 대지 못했을 때는 전체 100명 중에서 5명을 뺀 95명으로 계산해야 한다. 이 95명 중에 정답한 학생이 50명이라고 한다면, 이 때의 곤란도 지수는
P = × 100 = 52.6%
[학생이 답안지에 응답하는 반응의 종류]
① 정답 (풀어서 정답을 하는 경우) (R)
② 오답 (풀긴 했으나 오답이 된 경우) (W)
③ 제외한 문항 (풀다 풀다 못 풀어서 답을 안한 경우) (O=omit)
④ 건너 뛴 문항 (처음부터 풀지 않고 후에 풀려고 남겨두고 넘어간 경우) (S=skip)
⑤ 미달 문항 (시간이 모자라 손을 대지 못한 경우) (NR=non-reach)
[예] 어떤 문항에의 응답 결과
정답(R)
오답(W)
제외항(O)
미달항(NR)
계
45
90
5
10
150
문항곤란도 계산 방식은
P = × 100
즉, P = × 100 = 32.1(%)
[3] 추측요인을 제외한 곤란도 계산
P = × 100
[예] 4지 선택형 문항에서, 앞의 예 : 추측요인을 제거한 경우의 문항곤란도는?
P = × 100 = 46%
[4] 논문형 검사의 문항곤란도 계산
① 문항마다 채점하여 점수를 낸다.
② 계산된 점수를 일정한 점수범위로 묶는다.
③ 묶은 점수범위에 해당하는 피험자를 조사 기입한다.
④ 점수범위 중에서 어느 하나를 택하여 검사자가 기대하는 선을 긋는다.
⑤ 기대의 선 이상에 해당하는 학생수를 정답, 그 이하를 오답으로 처리
[예]
점수범위(30점 만점)
학생수
25~30
……………………………………
5
27
26
}
20~24
……………………………………
58(정답)
15~19
……………………………………
기대하는 선
10~14
……………………………………
12
5
0
}
5~9
………………………………………
17(오답)
0~4
………………………………………
계
……………………………………………………75
P = × 100 = 77.3%
3] 문항곤란도의 해석과 이용
[1] 정답의 백분율
[2] 문항난이도 혹은 문항 통과율
[3] 한 검사 내에서 문항의 배열시에 유효하게 활용
- 쉬운 문항에서 어려운 문항의 순위로 배열
- 중간 정도 난이도 문항을 50% 정도 출제 + 나머지는 쉽고 어려운 것
나. 문항변별력
1] 문항변별력(item discriminating power)이란?
[1] 검사타당도를 계산하는 방법의 대표적 방법
[2] 각 문항이 능력이 있는(우수한) 사람과 능력이 없는(열등한) 사람을 얼마나 예리하게 변별해 내느냐?
[3] 검사 내외의 준거에 의해서 능력의 상하를 밝혀내는 힘을 문항이 가지고 있느냐 없느냐?
2] 문항변별력의 종류
[1] 문항타당도(item validity) : 검사 외의 외적 준거와의 관련성
[2] 문항내적 합치도(item internal consistency)
3] 문항변별력의 계산방법
[1] 채점하여 나온 답안지를 총점(total scores)의 순위대로 배열하여 답안지(학생수)를 2등분[상위집단(high group)/ 하위집단(low group) 즉, H=50명, L=50명으로 구분
[2] 상위집단에서 분석하려는 문항(:5번 문항이라 가정함)에 정답한 학생수와 오답한 학생수를 계산하고, 하위집단에서도 이와 같이 계산. 그리고, 이것을 표(사간상관표)로 작성
< 5번 문항의 분석표 >
W
R
H
5
45
50
H=총점의 상위집단
L=총점의 하위집단
W=오답
R=정답
L
35
15
50
40
60
100
[3] 공식을 이용하여 문항변별력 계산
변별도 지수
상위집단의 정답자수
하위집단의 정답자수
상위집단 또는 하위집단의 사람수
[예]
4] 문항변별력의 해석
[1] 지수의 범위는 -1.00에서부터 +1.00
[2] - 부호로 나오거나 또는 +부호라도 비교적 0.00에 가까우면 변별력 없음
[3] 변별력과 곤란도의 관계
: 문항곤란도
0%
………………………
50%
………………………
100%
문항변별력
0.00
………………………
1.00
………………………
0.00
[4] 좋은 문항의 기준 : .30 이상, .40 - .75 정도
다. 문항반응분포(item response distribution) 분석
< 문항 1 >
< 문항 2 >
< 문항 3 >
답지
반응자수
답지
반응자수
답지
반응자수
①
25
①
12
①
5
②정답
56
②
67
②
25
③
21
③
15
③정답
90
④
18
④정답
26
④
0
계
120
계
120
계
120
3] 각 문항에 대한 상위집단, 하위집단 학생들이 각 답지에 어떻게 반응했는지를 별도로 계산
4] 위의 단계 (3)에서 계산한 각 문항, 각 답지에 대한 반응수를 검사지 또는 문항분석 카드에 기입
[예] 문항(1)
답지
A
B*
C
D
상위집단(10명)
0
6
3
1
하위집단(10명)
3
2
2
3
* 정답
N=32
5] 문항곤란도 지수를 계산
6] 문항변별도 지수를 계산
7] 각 답지의 능률성(문항반응분포) 계산
2. 문항분석의 실제
가. 문항곤란도
1] 문항곤란도(item difficulty)란?
[1] 한 문항의 어려운 정도
[2] 한 문항에 학생들이 정답을 한 확률
[3] 문항곤란도 지수는 p(percentage of the pass라는 단어의 머리글자임)
[4] 문항곤란도는 0~100%에 이르기까지의 변산을 지님
[예]
A)
문항 :
(1)
(2)
(3)
(4)
……
(41)
(42)
(43)
(44)
(45)
(46)
(47)
(48)
(49)
채점 :
○
×
○
○
……
○
×
○
B)
문항 :
(1)
(2)
(3)
(4)
……
(41)
(42)
(43)
(44)
(45)
(46)
(47)
(48)
(49)
채점 :
○
×
×
……
×
×
○
○
×
○
×
A의 경우 (44)번 문항 이후 : 미달항
B는 (2) (41) (47) : 오답으로 간주
2] 문항곤란도의 계산방법
[1] 정답에 의한 문항곤란도 계산
P = × 100
P=문항곤란도 지수
R=정답한 학생수
N=전체 학생수
: 1. 국어시험에 응시한 학생 200명 중에서 문항(2)에 대해 120명이 정답을 했다면,
P = × 100 = 60%
[2] 미달항을 제외한 곤란도 계산
[예] 어떤 문항에 100명 중 5명이 시간이 모자라 손을 대지 못했을 때는 전체 100명 중에서 5명을 뺀 95명으로 계산해야 한다. 이 95명 중에 정답한 학생이 50명이라고 한다면, 이 때의 곤란도 지수는
P = × 100 = 52.6%
[학생이 답안지에 응답하는 반응의 종류]
① 정답 (풀어서 정답을 하는 경우) (R)
② 오답 (풀긴 했으나 오답이 된 경우) (W)
③ 제외한 문항 (풀다 풀다 못 풀어서 답을 안한 경우) (O=omit)
④ 건너 뛴 문항 (처음부터 풀지 않고 후에 풀려고 남겨두고 넘어간 경우) (S=skip)
⑤ 미달 문항 (시간이 모자라 손을 대지 못한 경우) (NR=non-reach)
[예] 어떤 문항에의 응답 결과
정답(R)
오답(W)
제외항(O)
미달항(NR)
계
45
90
5
10
150
문항곤란도 계산 방식은
P = × 100
즉, P = × 100 = 32.1(%)
[3] 추측요인을 제외한 곤란도 계산
P = × 100
[예] 4지 선택형 문항에서, 앞의 예 : 추측요인을 제거한 경우의 문항곤란도는?
P = × 100 = 46%
[4] 논문형 검사의 문항곤란도 계산
① 문항마다 채점하여 점수를 낸다.
② 계산된 점수를 일정한 점수범위로 묶는다.
③ 묶은 점수범위에 해당하는 피험자를 조사 기입한다.
④ 점수범위 중에서 어느 하나를 택하여 검사자가 기대하는 선을 긋는다.
⑤ 기대의 선 이상에 해당하는 학생수를 정답, 그 이하를 오답으로 처리
[예]
점수범위(30점 만점)
학생수
25~30
……………………………………
5
27
26
}
20~24
……………………………………
58(정답)
15~19
……………………………………
기대하는 선
10~14
……………………………………
12
5
0
}
5~9
………………………………………
17(오답)
0~4
………………………………………
계
……………………………………………………75
P = × 100 = 77.3%
3] 문항곤란도의 해석과 이용
[1] 정답의 백분율
[2] 문항난이도 혹은 문항 통과율
[3] 한 검사 내에서 문항의 배열시에 유효하게 활용
- 쉬운 문항에서 어려운 문항의 순위로 배열
- 중간 정도 난이도 문항을 50% 정도 출제 + 나머지는 쉽고 어려운 것
나. 문항변별력
1] 문항변별력(item discriminating power)이란?
[1] 검사타당도를 계산하는 방법의 대표적 방법
[2] 각 문항이 능력이 있는(우수한) 사람과 능력이 없는(열등한) 사람을 얼마나 예리하게 변별해 내느냐?
[3] 검사 내외의 준거에 의해서 능력의 상하를 밝혀내는 힘을 문항이 가지고 있느냐 없느냐?
2] 문항변별력의 종류
[1] 문항타당도(item validity) : 검사 외의 외적 준거와의 관련성
[2] 문항내적 합치도(item internal consistency)
3] 문항변별력의 계산방법
[1] 채점하여 나온 답안지를 총점(total scores)의 순위대로 배열하여 답안지(학생수)를 2등분[상위집단(high group)/ 하위집단(low group) 즉, H=50명, L=50명으로 구분
[2] 상위집단에서 분석하려는 문항(:5번 문항이라 가정함)에 정답한 학생수와 오답한 학생수를 계산하고, 하위집단에서도 이와 같이 계산. 그리고, 이것을 표(사간상관표)로 작성
< 5번 문항의 분석표 >
W
R
H
5
45
50
H=총점의 상위집단
L=총점의 하위집단
W=오답
R=정답
L
35
15
50
40
60
100
[3] 공식을 이용하여 문항변별력 계산
변별도 지수
상위집단의 정답자수
하위집단의 정답자수
상위집단 또는 하위집단의 사람수
[예]
4] 문항변별력의 해석
[1] 지수의 범위는 -1.00에서부터 +1.00
[2] - 부호로 나오거나 또는 +부호라도 비교적 0.00에 가까우면 변별력 없음
[3] 변별력과 곤란도의 관계
: 문항곤란도
0%
………………………
50%
………………………
100%
문항변별력
0.00
………………………
1.00
………………………
0.00
[4] 좋은 문항의 기준 : .30 이상, .40 - .75 정도
다. 문항반응분포(item response distribution) 분석
< 문항 1 >
< 문항 2 >
< 문항 3 >
답지
반응자수
답지
반응자수
답지
반응자수
①
25
①
12
①
5
②정답
56
②
67
②
25
③
21
③
15
③정답
90
④
18
④정답
26
④
0
계
120
계
120
계
120
추천자료
- 7차 수학과 교수학습 방법, 수학과 평가 및 6차 교육과정과의 비교
- 학교 교육과정 평가
- 제7차 국어과 교육과정 평가 및 신구 교육과정 비교
- 교육과정및_평가_형식도야이론
- 교육과정 및 평가, 수업목표진술, 수업목표, 이원분류표, 문항
- 교육과정및평가 중간시험과제물 C형
- 수행 평가 및 교육과정 개발과 과제
- 제 6 장 교육과정 평가
- 현대 교육과정 및 평가
- 교육과정 개발, 운영, 평가
- 심화보충형 수준별교육과정의 개념과 의의, 심화보충형 수준별교육과정의 수업유형, 심화보충...
- 학교교육과정의 개념, 학교교육과정의 운영, 학교교육과정의 편성원칙, 학교교육과정의 수립...
- 학교교육과정의 의미, 학교교육과정의 특성, 학교교육과정의 편성운영체제, 학교교육과정의 ...
- [2017 교직실무] 유치원 교육과정 운영에 대해 서술하시오. (교육과정 운영계획 수립, 교육과...
소개글