목차
목차
가. 공통형
문제: 검사를 통해 얻어진 검사점수의 종류를 제시하고 그 개념을 각각 설명하시오.
나. 지정형(B형/학번 끝자리가 6~0)
문제: 신뢰도의 개념을 간단히 설명하고 고전검사이론과 신뢰도의 관계를 바탕으로 도출되는 신뢰도의 개념과 신뢰도 추정 방법 종류를 실제 사례를 들어 설명하시오.
참고문헌
가. 공통형
문제: 검사를 통해 얻어진 검사점수의 종류를 제시하고 그 개념을 각각 설명하시오.
나. 지정형(B형/학번 끝자리가 6~0)
문제: 신뢰도의 개념을 간단히 설명하고 고전검사이론과 신뢰도의 관계를 바탕으로 도출되는 신뢰도의 개념과 신뢰도 추정 방법 종류를 실제 사례를 들어 설명하시오.
참고문헌
본문내용
치도를 가지고 검사가 동일한 내용을 재려고 하기 때문에 동형성 계수(coefficient of equivalence)라고도 한다.
④ 검사-재검사 신뢰도
검사-재검사 신뢰도(test-retest reliability)란 한 검사를 같은 집단에 두 번 실시하여 두 검사 점수 간의 상관계수를 산출하는 방법으로 검사점수의 안정성에 관심을 갖기 때문에 안정성 계수(coefficient of stability)라고 부르기도 한다. 한 검사에서 안정성 계수를 내려면 최소한 세 가지 전제조건이 충족되어야 한다. 동일한 검사를 동일한 피검사자에게 실시하는 유일한 신뢰도 측정기법으로 예를 들면 어문관련적성검사를 특화하여 검사하여 신뢰도를 검증하기 위한 방법이라면 동일 검사자에게 A, B형으로 나눠놓고 두 번 검사를 하면서 신뢰도를 알아보는 것이다.
첫째, 동일한 검사를 되풀이해서 받는 동안 그 사이 두 번째 검사득점에 영향을 줄 만한 학습활동이 없어야 하므로 그러한 학습이 없었다는 가정이 필요하다.
둘째, 측정내용의 성질 그 자체는 일정 시간의 경과에도 불구하고 잘 변하지 않는다는 가정이 있어야 한다.
셋째, 비록 하나의 검사가 동일한 피검사자에게 두 번 실시되지만 처음 받은 검사경험이 다음 검사의 득점에 영향을 미치지 않는다는 확신이 있어야 한다.
검사-재검사는 시간 간격이 길면 길수록 안정성 계수는 작아지고 반면에 짧을수록 안정성 계수는 커진다. 그러므로 재검사 신뢰도에는 검사재검사 사이의 기간을 반드시 명시해 놓아야 하고 그것은 안정성계수를 해석하는데 대단히 중요한 준거가 된다.
⑤ 평가자 신뢰도
평가자의 평정이 어느 정도 신뢰성 있고 일관성이 있는지를 상관계수로 나타낸 것을 평가자 신뢰도라 한다. 평가자 간 신뢰도와 평가자내 신뢰도는 교육기관의 학업성취도검사의 논술형 고사나 면접시험 등에도 중요하지만 특히 예체능계의 입시나 대회의 순위결정에 있어서 매우 중요시되고 있다. 예를 들면 예체능계 실기고사 결과에 대한 평정 결과나 논술형 문제에 의한 인지적 능력 측정은 필히 평가자 간 신뢰도와 평가자 내 신뢰도를 분석한 후 점수 결과를 이용하여야 한다. 예를 들면 4년제 대학 컴퓨터공학과 입학자 평가 결과를 분석하여 평가도구의 신뢰성을 측정하는 경우를 들 수 있다. 만약 이 같은 과정을 거치기 않고 입학의 당락을 결정한다든지 순위를 결정하게 되면 많은 문제점을 야기하게 된다.
㉠ 평가자 간 신뢰도
평가자 간 신뢰도(inter-rater reliability)란 평가자가 다른 평가자와 얼마나 유사하게 평가하였느냐의 문제이다. 예를 들면 국어 과목의 시험을 치러 채점지를 두 명 이상의 채점자가 독립적으로 채점하여 그 결과가 일치되는 정도를 의미한다.
평가자 간 신뢰도를 추정하기 위한 기본 가정은 다음과 같다.
첫째, 평가자는 상호 독립적이어야 한다.
둘째, 평가자들은 동일 대상을 평정하여야 한다.
셋째, 피험자는 동일한 행위나 같은 문항에 응답하여야 한다.
위의 세 가정이 충족되었을 때 비로소 평정의 공정성을 확보하였다고 할 수 있다.
평가자 간 신뢰도를 추정하는 방법은 다양하다. 그러나 평가자간 신뢰도를 추정하는 일반적 방법으로는 평정기준에 따라 두 가지로 분류되는데 첫 번째는 평정점수가 점수가 아니라 항목으로 분류될 때 사용되는 분류 일치도 방법이다. 첫 번째는 평정점수가 연속변수인 점수로 부여될 때의 평가자간 신뢰도 추정방법이다. 두 번째에 해당하는 평정가간 신뢰도 추정방법은 상관계수법과 일반화 가능도 이론이며, 두 번째에 해당하는 평가자간 신뢰도 추정방법은 일치도 통계와 Cohen의 Kappa가 있다.
㉡ 평가자 내 신뢰도
평가자 내 신뢰도란 평가자가 많은 측정 대상에 대하여 계속적으로 일관성 있게 측정하였느냐의 문제다. 즉 한 평가자가 모든 평정대상에게 얼마나 일관성 있게 평정을 하였느냐를 의미한다. 버전 A를 만들고, 다시 버전 B를 만든다. 두 버전 사이의 표면적인 내용은 서로 다를지언정, 그 밑바탕이 되는 이론적 배경이나 개념은 서로 완전히 동일해야 한다. 이를 기반으로 평가자의 신뢰성을 평가하는 것이다. 참고적으로 평정의 결과로 점수를 부여하기보다 등급으로 나눈다면 평가자 내 신뢰도란 용어를 사용하고 결과가 점수로 부여된다면 평가자 내 신뢰도(intra-rater reliability)란 용어를 사용한다. 그리고 관찰에 의한 결과라면 관찰자내 신뢰도(intra observer reliability)란 용어를 사용한다.
참고문헌
교육평가 한국방송통신대학교 출판문화원
④ 검사-재검사 신뢰도
검사-재검사 신뢰도(test-retest reliability)란 한 검사를 같은 집단에 두 번 실시하여 두 검사 점수 간의 상관계수를 산출하는 방법으로 검사점수의 안정성에 관심을 갖기 때문에 안정성 계수(coefficient of stability)라고 부르기도 한다. 한 검사에서 안정성 계수를 내려면 최소한 세 가지 전제조건이 충족되어야 한다. 동일한 검사를 동일한 피검사자에게 실시하는 유일한 신뢰도 측정기법으로 예를 들면 어문관련적성검사를 특화하여 검사하여 신뢰도를 검증하기 위한 방법이라면 동일 검사자에게 A, B형으로 나눠놓고 두 번 검사를 하면서 신뢰도를 알아보는 것이다.
첫째, 동일한 검사를 되풀이해서 받는 동안 그 사이 두 번째 검사득점에 영향을 줄 만한 학습활동이 없어야 하므로 그러한 학습이 없었다는 가정이 필요하다.
둘째, 측정내용의 성질 그 자체는 일정 시간의 경과에도 불구하고 잘 변하지 않는다는 가정이 있어야 한다.
셋째, 비록 하나의 검사가 동일한 피검사자에게 두 번 실시되지만 처음 받은 검사경험이 다음 검사의 득점에 영향을 미치지 않는다는 확신이 있어야 한다.
검사-재검사는 시간 간격이 길면 길수록 안정성 계수는 작아지고 반면에 짧을수록 안정성 계수는 커진다. 그러므로 재검사 신뢰도에는 검사재검사 사이의 기간을 반드시 명시해 놓아야 하고 그것은 안정성계수를 해석하는데 대단히 중요한 준거가 된다.
⑤ 평가자 신뢰도
평가자의 평정이 어느 정도 신뢰성 있고 일관성이 있는지를 상관계수로 나타낸 것을 평가자 신뢰도라 한다. 평가자 간 신뢰도와 평가자내 신뢰도는 교육기관의 학업성취도검사의 논술형 고사나 면접시험 등에도 중요하지만 특히 예체능계의 입시나 대회의 순위결정에 있어서 매우 중요시되고 있다. 예를 들면 예체능계 실기고사 결과에 대한 평정 결과나 논술형 문제에 의한 인지적 능력 측정은 필히 평가자 간 신뢰도와 평가자 내 신뢰도를 분석한 후 점수 결과를 이용하여야 한다. 예를 들면 4년제 대학 컴퓨터공학과 입학자 평가 결과를 분석하여 평가도구의 신뢰성을 측정하는 경우를 들 수 있다. 만약 이 같은 과정을 거치기 않고 입학의 당락을 결정한다든지 순위를 결정하게 되면 많은 문제점을 야기하게 된다.
㉠ 평가자 간 신뢰도
평가자 간 신뢰도(inter-rater reliability)란 평가자가 다른 평가자와 얼마나 유사하게 평가하였느냐의 문제이다. 예를 들면 국어 과목의 시험을 치러 채점지를 두 명 이상의 채점자가 독립적으로 채점하여 그 결과가 일치되는 정도를 의미한다.
평가자 간 신뢰도를 추정하기 위한 기본 가정은 다음과 같다.
첫째, 평가자는 상호 독립적이어야 한다.
둘째, 평가자들은 동일 대상을 평정하여야 한다.
셋째, 피험자는 동일한 행위나 같은 문항에 응답하여야 한다.
위의 세 가정이 충족되었을 때 비로소 평정의 공정성을 확보하였다고 할 수 있다.
평가자 간 신뢰도를 추정하는 방법은 다양하다. 그러나 평가자간 신뢰도를 추정하는 일반적 방법으로는 평정기준에 따라 두 가지로 분류되는데 첫 번째는 평정점수가 점수가 아니라 항목으로 분류될 때 사용되는 분류 일치도 방법이다. 첫 번째는 평정점수가 연속변수인 점수로 부여될 때의 평가자간 신뢰도 추정방법이다. 두 번째에 해당하는 평정가간 신뢰도 추정방법은 상관계수법과 일반화 가능도 이론이며, 두 번째에 해당하는 평가자간 신뢰도 추정방법은 일치도 통계와 Cohen의 Kappa가 있다.
㉡ 평가자 내 신뢰도
평가자 내 신뢰도란 평가자가 많은 측정 대상에 대하여 계속적으로 일관성 있게 측정하였느냐의 문제다. 즉 한 평가자가 모든 평정대상에게 얼마나 일관성 있게 평정을 하였느냐를 의미한다. 버전 A를 만들고, 다시 버전 B를 만든다. 두 버전 사이의 표면적인 내용은 서로 다를지언정, 그 밑바탕이 되는 이론적 배경이나 개념은 서로 완전히 동일해야 한다. 이를 기반으로 평가자의 신뢰성을 평가하는 것이다. 참고적으로 평정의 결과로 점수를 부여하기보다 등급으로 나눈다면 평가자 내 신뢰도란 용어를 사용하고 결과가 점수로 부여된다면 평가자 내 신뢰도(intra-rater reliability)란 용어를 사용한다. 그리고 관찰에 의한 결과라면 관찰자내 신뢰도(intra observer reliability)란 용어를 사용한다.
참고문헌
교육평가 한국방송통신대학교 출판문화원
추천자료
2009년 2학기 교육과정및평가 중간시험과제물 B형(마음의 중층구조)
교육과정및평가 중간시험과제물 B형
2011년 1학기 유아교육평가 중간시험과제물 B형(유아교육현장에서관찰방법)
2012년 1학기 유아교육평가 중간시험과제물 B형(유아교육현장에서관찰방법)
2013년 1학기 유아교육평가 중간시험과제물 B형(유아교육현장에서관찰방법)
2019년 1학기 교육평가 중간시험과제물 B형(유아 성격검사도구)
2022년 1학기 교육평가 중간시험과제물 B형(수행평가의 개념, 사례)
2023년 1학기 교육평가 중간시험과제물 B형(포트폴리오 평가)
2024년 1학기 교육평가 중간시험과제물 B형(교육평가의 개념, 종류, 방법)
소개글