목차
1. 기존 원점수 방식의 문제점
1.1 난이도 조절 실패로 인한 검사 신뢰도 문제
1.2. 수험자 집단의 능력 차이로 인한 비일관성 문제
1.3. 수험자의 실제 능력 측정 문제
2. 점수 환산 체계의 대안 검토
2.1 표준점수 방식
2.1.1. Z점수를 이용한 상대평가 방법
2.1.2. T점수를 이용한 가중치 부여 방법
2.2. 문항반응이론(IRT)에 의한 진점수 방식
참고문헌
1.1 난이도 조절 실패로 인한 검사 신뢰도 문제
1.2. 수험자 집단의 능력 차이로 인한 비일관성 문제
1.3. 수험자의 실제 능력 측정 문제
2. 점수 환산 체계의 대안 검토
2.1 표준점수 방식
2.1.1. Z점수를 이용한 상대평가 방법
2.1.2. T점수를 이용한 가중치 부여 방법
2.2. 문항반응이론(IRT)에 의한 진점수 방식
참고문헌
본문내용
0
76
88
79.018
77
42
39
67.50
77
82
79.522
78
45
36
67.50
78
76
80.239
79
42
39
67.50
79
53
82.885
80
43
37
66.67
80
67
81.283
81
43
37
66.67
81
78
80.102
82
37
43
66.67
82
98
77.643
83
40
40
66.67
83
83
79.480
84
42
38
66.67
84
70
80.605
85
40
40
66.67
85
84
79.312
86
44
36
66.67
86
71
80.428
87
41
39
66.67
87
99
77.623
88
42
37
65.83
88
104
76.697
89
43
36
65.83
89
73
80.270
90
37
42
65.83
90
122
74.859
91
41
38
65.83
91
111
76.072
92
47
32
65.83
92
89
78.970
93
39
40
65.83
93
107
76.569
94
41
38
65.83
94
106
76.679
95
45
34
65.83
95
85
79.150
96
43
35
65.00
96
96
77.674
97
41
37
65.00
97
114
75.689
98
45
33
65.00
98
66
81.432
99
38
40
65.00
99
95
77.955
100
43
35
65.00
100
112
76.044
<표 11>에서 보듯이 원점수로 산출한 수험자의 능력과 진점수로 산출한 수험자의 능력은 차이가 있다. 음영으로 처리한 것은 각 점수별 서열인데, 1위에서 4위까지는 원점수 방식과 진점수 방식의 순위가 동일하지만, ID 5의 경우 원점수 방식에서는 78.33점을 받아 5위지만, 진점수 방식에서는 89.699점을 받아 11위가 되는 순위 변동 현상이 일어남을 알 수 있다. ID 63의 경우는 그 폭이 상당히 큰 경우인데, 원점수 방식에서는 68.33점으로 63위이지만, 진점수 방식에서는 76.389점으로 109위이다. 맞은 문항 개수가 82문항으로 원점수가 동일한 ID 64와 비교해 보면, ID 64는 진점수가 80.259로 전체 순위 74위로, 원점수가 같은 ID 63보다 무려 35등이나 앞선 능력을 가지고 있는 것으로 분석되었다. 이런 결과는 ID 63의 경우 전체 120문항 중 82문항을 맞혔지만 난이도가 낮은 문항을 많이 맞히고, 난이도가 높은 문항을 적게 맞혀 그 반대 경우인 ID 64보다 능력이 낮기 때문에 발생한 것이다.
진점수를 활용할 경우는 앞서 표준점수 방식에서도 영역별 과락제로 인해 영역별로 표준점수를 계산했듯이, 진점수도 영역별로 계산해야 한다. 영역별 진점수를 구하고 마찬가지 상대평가 40%와 60% 기준으로 필기시험 합격자를 선정하면 된다. 수험자에게 점수를 통보할 경우는, 영역별 진점수에 배점 가중치를 곱한 것이 세부 영역 점수가 되고, 이를 모두 합한 것이 총점이 된다.
[(TS1 × 90/300) + (TS2 × 30/300) + (TS3 × 150/300) + (TS4 × 30/300)] × α = 300
한국어 교육 능력을 개관적으로 측정하여 국가 자격 인증을 하는 한국어교육능력검정시험은 예비 교사로서의 수험자의 능력을 정확하고 일관성 있게 측정할 수 있는 채점 방식을 마련할 필요가 있다. 박 정(2001a)도 국가 수준의 대규모 평가 연구에 문항반응이론을 적용하는 것은 자료의 분석 및 결과의 해석에 유용한 방법과 틀을 제공할 것이라고 하면서, 실제 자료를 통해 실증적으로 효용성을 검증하고 수능에 문항반응이론을 도입할 것을 주장하였다.
즉 문항반응이론을 도입하면, 능력점수의 불변성이라는 특성으로 한국어교육능력검정시험을 반복해서 치르더라도 검사의 난이도에 무관하게 수험자의 능력을 측정할 수 있어서, 국가 자격시험으로서 일관성 있는 점수 체제를 유지할 수 있게 된다. 더불어 정교한 결과 해석이 가능하여 추후에 문제 은행을 활용한 검사 개발 등에 유용한 자료로 활용할 수 있는 장점이 있으므로 한국어교육능력검정시험에 적극 도입할 필요가 있다.
참고문헌
김신영구창현임형박정(1998), 대학수학능력시험 결과보고 및 분석 방안 연구, 한국교육과정평가원, 연구보고 PRE 98-5.
김현철(1999), 99학년도 대입수능시험 선택과목 원점수와 선형 또는 비선형 표준점수의 비교 및 표준화 효과의 실증분석, 교육학연구 37, 한국교육학회.
______(2001), 2000학년도 대입수능시험 선택과목 점수에 대한 2 단계 선형동등화와 빈도추정 동등화의 결과 비교, 교육학연구 39-2, 한국교육학회.
남현우(1992), 검사동등화에 대한 이론적 고찰, 교육학연구 30-2, 한국교육학회.
민현식최은규김제열김정은이소영(2000), 한국어 교사자격 인증제도 시행을 위한 기초적 연구, 문화관광부.
민현식최은규박용예이소영김정은석주연(2001), 한국어 교원 자격 인증 제도 시행 방안 개발, 한국어세계화재단.
민현식최은규석주연김민애이소영김정은홍은진(2002), 한국어 인증제 평가 문항 개발 및 모의 평가 연구, 한국어세계화재단.
민현식최은규홍은진김민애석주연김인규박재현(2003), 한국어 인증제 평가 문항 개발과 인증제 시행 결과 분석 연구, 한국어세계화재단.
민현식최은규지현숙김민애김인규박재현(2004), 한국어 교사 인증제 분석 및 한국어 교육 능력 영역별 평가 연구, 한국어세계화재단.
박 정(2001a), 문항반응이론을 활용한 수행형 평가문항 분석방법, 교육학연구 39, 한국교육학회, 215-232.
______(2001b), 다분문항반응이론모형, 서울: 교육과학사.
______(2002), 문항반응이론과 선형방법에 의한 대학수학능력시험 선택과목 조정점수 비교, 교육학연구 40, 한국교육학회.
성태제(2001), 문항반응이론의 이해와 적용, 교육과학사.
______(2002), 현대교육평가, 학지사.
Anastasi, A.(1988), Psychological Testing, (6th ed.), New York: MacMillan Publishing.
76
88
79.018
77
42
39
67.50
77
82
79.522
78
45
36
67.50
78
76
80.239
79
42
39
67.50
79
53
82.885
80
43
37
66.67
80
67
81.283
81
43
37
66.67
81
78
80.102
82
37
43
66.67
82
98
77.643
83
40
40
66.67
83
83
79.480
84
42
38
66.67
84
70
80.605
85
40
40
66.67
85
84
79.312
86
44
36
66.67
86
71
80.428
87
41
39
66.67
87
99
77.623
88
42
37
65.83
88
104
76.697
89
43
36
65.83
89
73
80.270
90
37
42
65.83
90
122
74.859
91
41
38
65.83
91
111
76.072
92
47
32
65.83
92
89
78.970
93
39
40
65.83
93
107
76.569
94
41
38
65.83
94
106
76.679
95
45
34
65.83
95
85
79.150
96
43
35
65.00
96
96
77.674
97
41
37
65.00
97
114
75.689
98
45
33
65.00
98
66
81.432
99
38
40
65.00
99
95
77.955
100
43
35
65.00
100
112
76.044
<표 11>에서 보듯이 원점수로 산출한 수험자의 능력과 진점수로 산출한 수험자의 능력은 차이가 있다. 음영으로 처리한 것은 각 점수별 서열인데, 1위에서 4위까지는 원점수 방식과 진점수 방식의 순위가 동일하지만, ID 5의 경우 원점수 방식에서는 78.33점을 받아 5위지만, 진점수 방식에서는 89.699점을 받아 11위가 되는 순위 변동 현상이 일어남을 알 수 있다. ID 63의 경우는 그 폭이 상당히 큰 경우인데, 원점수 방식에서는 68.33점으로 63위이지만, 진점수 방식에서는 76.389점으로 109위이다. 맞은 문항 개수가 82문항으로 원점수가 동일한 ID 64와 비교해 보면, ID 64는 진점수가 80.259로 전체 순위 74위로, 원점수가 같은 ID 63보다 무려 35등이나 앞선 능력을 가지고 있는 것으로 분석되었다. 이런 결과는 ID 63의 경우 전체 120문항 중 82문항을 맞혔지만 난이도가 낮은 문항을 많이 맞히고, 난이도가 높은 문항을 적게 맞혀 그 반대 경우인 ID 64보다 능력이 낮기 때문에 발생한 것이다.
진점수를 활용할 경우는 앞서 표준점수 방식에서도 영역별 과락제로 인해 영역별로 표준점수를 계산했듯이, 진점수도 영역별로 계산해야 한다. 영역별 진점수를 구하고 마찬가지 상대평가 40%와 60% 기준으로 필기시험 합격자를 선정하면 된다. 수험자에게 점수를 통보할 경우는, 영역별 진점수에 배점 가중치를 곱한 것이 세부 영역 점수가 되고, 이를 모두 합한 것이 총점이 된다.
[(TS1 × 90/300) + (TS2 × 30/300) + (TS3 × 150/300) + (TS4 × 30/300)] × α = 300
한국어 교육 능력을 개관적으로 측정하여 국가 자격 인증을 하는 한국어교육능력검정시험은 예비 교사로서의 수험자의 능력을 정확하고 일관성 있게 측정할 수 있는 채점 방식을 마련할 필요가 있다. 박 정(2001a)도 국가 수준의 대규모 평가 연구에 문항반응이론을 적용하는 것은 자료의 분석 및 결과의 해석에 유용한 방법과 틀을 제공할 것이라고 하면서, 실제 자료를 통해 실증적으로 효용성을 검증하고 수능에 문항반응이론을 도입할 것을 주장하였다.
즉 문항반응이론을 도입하면, 능력점수의 불변성이라는 특성으로 한국어교육능력검정시험을 반복해서 치르더라도 검사의 난이도에 무관하게 수험자의 능력을 측정할 수 있어서, 국가 자격시험으로서 일관성 있는 점수 체제를 유지할 수 있게 된다. 더불어 정교한 결과 해석이 가능하여 추후에 문제 은행을 활용한 검사 개발 등에 유용한 자료로 활용할 수 있는 장점이 있으므로 한국어교육능력검정시험에 적극 도입할 필요가 있다.
참고문헌
김신영구창현임형박정(1998), 대학수학능력시험 결과보고 및 분석 방안 연구, 한국교육과정평가원, 연구보고 PRE 98-5.
김현철(1999), 99학년도 대입수능시험 선택과목 원점수와 선형 또는 비선형 표준점수의 비교 및 표준화 효과의 실증분석, 교육학연구 37, 한국교육학회.
______(2001), 2000학년도 대입수능시험 선택과목 점수에 대한 2 단계 선형동등화와 빈도추정 동등화의 결과 비교, 교육학연구 39-2, 한국교육학회.
남현우(1992), 검사동등화에 대한 이론적 고찰, 교육학연구 30-2, 한국교육학회.
민현식최은규김제열김정은이소영(2000), 한국어 교사자격 인증제도 시행을 위한 기초적 연구, 문화관광부.
민현식최은규박용예이소영김정은석주연(2001), 한국어 교원 자격 인증 제도 시행 방안 개발, 한국어세계화재단.
민현식최은규석주연김민애이소영김정은홍은진(2002), 한국어 인증제 평가 문항 개발 및 모의 평가 연구, 한국어세계화재단.
민현식최은규홍은진김민애석주연김인규박재현(2003), 한국어 인증제 평가 문항 개발과 인증제 시행 결과 분석 연구, 한국어세계화재단.
민현식최은규지현숙김민애김인규박재현(2004), 한국어 교사 인증제 분석 및 한국어 교육 능력 영역별 평가 연구, 한국어세계화재단.
박 정(2001a), 문항반응이론을 활용한 수행형 평가문항 분석방법, 교육학연구 39, 한국교육학회, 215-232.
______(2001b), 다분문항반응이론모형, 서울: 교육과학사.
______(2002), 문항반응이론과 선형방법에 의한 대학수학능력시험 선택과목 조정점수 비교, 교육학연구 40, 한국교육학회.
성태제(2001), 문항반응이론의 이해와 적용, 교육과학사.
______(2002), 현대교육평가, 학지사.
Anastasi, A.(1988), Psychological Testing, (6th ed.), New York: MacMillan Publishing.
추천자료
- [한국어교육]원격교육 방식을 통한 한국어 교재개발 및 교사교육
- [한국어교육]한국어 국제화의 필요성 및 방안
- [언어교육]한국어교육 교사 양성기관 및 교육과정 운영방안
- 한국어 말하기 평가
- 용인시에 거주하는 여성결혼 이민자 한국어교육현황
- 어휘력 평가의 개념
- (A+ 레포트,시험대비) [유아교육개론] 보육시설의 보육과정
- 2018년 1학기 청소년지도방법론 중간시험과제물 공통(청소년교육시설 방문, 자료수집 평가)
- 한국어발음교육론 ) 한국어 학습자의 한국어 모음 발음과 관련된 오류 예시를 5개 이상 들고 ...
- 한국어교육학 개관
- 외국어로서의한국어이해교육론 ) 실제성있는 읽기 자료에 대한 이론을 검토하고 한국어 숙달...
- 외국어로서의 한국어이해교육론 ) 한국어 듣기에서 듣기를 어렵게 하는 일반적인 요소에는 무...
소개글