타당도의 개념과 신뢰도의 개념을 서술하고 신뢰도를 높이는 방법과 신뢰도와 타당도의 관계를 설명하시오

소개글

타당도의 개념과 신뢰도의 개념을 서술하고 신뢰도를 높이는 방법과 신뢰도와 타당도의 관계를 설명하시오에 대한 보고서 자료입니다.

목차

Ⅰ. 서론

Ⅱ. 본론

1. 타당도
1) 개념
2) 타당도의 종류
(1) 내용타당도(content validity)
(2) 안면타당도(face validity)
(3) 준거타당도(criterion-related validity)
(4) 구성타당도 또는 구인타당(construct validity)
3) 준거타당도의 크기에 영향을 미치는 요인
(1) 표집오차(sampling error)
(2) 범위제한(range restriction)
(3) 준거측정치의 타당도
(4) 준거측정치의 신뢰도

2. 신뢰도
1) 개념
2) 신뢰도의 종류
(1) 검사-재검사 신뢰도(test-retest reliability)
(2) 동형검사 신뢰도(parallel-form reliability)
(3) 내적일관성 신뢰도(internal consistency reliability) 또는 반분신뢰도
(4) 채점자 신뢰도(scorer reliability)
3) 신뢰도에 영향을 미치는 요인 : 신뢰도를 높이는 방법
(1) 개인차
(2) 검사의 문항 수
(3) 문항 반응 수
(4) 검사유형
(5) 신뢰도의 종류에 따른 요인
(6) 문항의 변별도

3. 타당도와 신뢰도의 관계

Ⅲ. 참고자료

본문내용

은 다음에, 각 짝에서 한 문항씩을 임의로 선택하여 검사를 양분하는 방법이다.
장 점
반분신뢰도는 하나의 검사를 가지고 추정해낸 동형검사 신뢰도라는 점에서 아주 간편하고 경제적인 방법이다. 재검사법이나 동형검사법과 달리 한 번의 측정으로 신뢰도를 구할 수 있고 이월효과, 반응민감성효과, 측정대상의 속성의 변화 등의 문제점을 극복할 수 있다.
단 점
검사 문항을 반으로 나누는 방법에 따라 신뢰도 계수가 달라지며 속도검사에서 반분검사 신뢰도를 사용할 때 주의가 필요하다.
(4) 채점자 신뢰도(scorer reliability)
컴퓨터 채점용으로 하는 검사가 아니라, 채점자에게 재량권이 있는 검사의 경우(창조성 검사나 투사적 검사), 채점자가 누구냐에 따라 동일한 수검자에 대해서 다른 점수가 나타날 수 있다. 채점자간 신뢰도는 한 집단의 검사용지를 두 명의 검사자가 각각 독립적으로 채점해서 찾아내는 것이다. 채점자간 신뢰도는 채점결과가 채점자들 사이에 얼마나 유사한가를 의미하며, 채점자의 채점이 어느 정도 신뢰롭고 일관성 있는 정도를 나타내는 지수이다.
추정방법
평정기준에 따라 두 가지로 분류된다. 평정 점수가 연속변수인 점수로 부여될 경우에는 상관계수법과 일반화 가능도 이론으로 신뢰도를 추정하며, 평정 점수가 항목으로 분류될 경우에는 일치도 통계와 Kappa 계수로 신뢰도를 추정한다.
장 점
일반화 가능도 이론을 이용하면 채점자간의 영향뿐 아니라 다른 용인을 종합적으로 분석하여 오차 점수의 분산원인을 규명할 수 있다.
단 점
하지만 일반화 가능 이론을 이용하기 위해서 변량(분산)분석의 기본원리를 이해해야하며 분산 성분의 계산절차의 복잡함이 단점으로 지적될 수 있다.
3) 신뢰도에 영향을 미치는 요인
(1) 개인차
개인차가 존재함으로써 신뢰도가 존재한다. 만약 개인차가 전혀 없다면 신뢰도계수는 0이 된다. 왜냐하면 개인차가 없다면 모든 수검자의 점수가 동일하게 된다는 뜻이며, 이렇게 되면 검사점수의 변량이 0이 되어 신뢰도 계수도 0이 되기 때문이다. 반면 검사 대상이 되는 집단의 개인차가 클수록, 검사점수의 변량은 커지며 신뢰도 계수도 커지게 된다. 즉, 개인차가 충분히 클 경우에는 검사점수가 매우 낮은 점수에서부터 상당히 높은 점수까지 널리 분포하여 신뢰도 계수는 더욱 높게 나타난다.
(2) 검사의 문항수
검사의 문항이 여러 개라는 것은 결국 하나의 특성을 여러 범 측정한다는 것을 의미한다. 따라서 검사의 문항수가 많을 때가 적을 때보다 신뢰도는 더 높게 나타난다. 그러나 문항수를 늘린다고 해서 검사의 신뢰도가 정비례하여 늘어나는 것은 아니며, 어느 정도 이상의 되면 문항수가 늘어나도 신뢰도는 거의 증가하지 않는다. 또한 문항수가 너무 많아지면 실시와 채점 등에 상당한 부담이 되므로 문항수를 늘려서 신뢰도를 늘리고자 할 때에는 손익을 충분히 계산해서 결정해야 한다.
(3) 문항반응수
개인의 태도검사는 대부분 설문지를 이용하게 된다. 이 경우 5점 또는 7점 척도를 이용하는데, 문항의 반응수가 5나 7을 넘게 되면 검사의 신뢰도는 더 이상 올라가지 않고 평행선을 그리게 된다. 따라서 리커트 척도를 이용하는 경우 검사의 신뢰도를 높이기 위해서 문항에 대한 반응수를 크게 늘리는 것은 바람직하지 못한 결정이라고 볼 수 있다.
(4) 검사유형(속도검사의 신뢰도)
어떤 신뢰도 계수는 검사 유형에 따라 다르게 나타날 수 있다. 예를 들어 검사의 시간제한이 있는 속도검사의 경우에 수검자들이 0점을 받는 문항들은 반분신뢰도를 계산할 때 양쪽으로 나뉘어져서 상관계수의 값을 증가시키기 때문에 반분신뢰도보다 검사-재검사 신뢰도 계수를 측정하여 사용하는 것이 더 바람직하다.
(5) 신뢰도 종류에 의한 요인
같은 검사라도 어떤 종류의 신뢰도를 측정했는가에 따라 신뢰도 계수가 다르게 나타날 수 있다.
(6) 문항의 변별도
문항의 변별도가 높아야 한다. 문항이 피험자의 능력에 따라 구분할 수 있는 문항변별력이 있어야 검사의 신뢰도가 높아진다.
3. 타당도와 신뢰도의 관계
타당도 계수는 피험자 집단의 응답결과에 의하여 추정되므로 피험자 집단이 보다 이질적일 때 공인타당도와 예언타당도 계수는 높아지는 경향을 보인다. 반대로 피험자 집단이 동질적이면 타당도 계수는 낮아진다. 그 이유는 두 변수간의 상관관계를 산출할 경우에 어떤 변수이든 절단되면 상관계수가 낮게 측정되기 때문이다.
타당도는 검사 목적에 따른 검사도구의 적합성이라는 점에서 볼 때, 검사도구가 측정하고자 하는 목적을 달성하고 있는가를 증명하는 기본적인 절차이다. 그리고 타당도를 검정하지 않은 검사 도구를 사용하여 얻은 자료로 학생들의 심리적 증상을 진단하고, 학업성취도를 비교하며, 인성을 측정하는 것은 잘못된 결론을 유도할 가능성이 높아진다.
타당도는 신뢰도와 밀접한 관계가 있다. 관찰점수의 구성요소를 분석하여 타당도와 신뢰도의 관계를 살펴볼 수 있다. 검사에서 얻은 관찰점수는 진점수와 오차점수로 구분할 수 있고, 진점수는 다시 타당한 진점수와 타당하지 않은 진점수로 구분되며 다음과 같다.
위의 그림에서 타당한 점수는 신뢰롭고 타당한 점수의 변량을 나타내며, 타당하지 않은 점수는 신뢰롭지만 타당성이 없는 내용을 측정한 점수의 변량을 지칭하며, 나머지 오차점수는 오차변량을 나타낸다. 따라서 타당도가 높기 위해서 신뢰도가 높아야 한다. 그러나 신뢰도가 높더라도 타당도가 항상 높은 것이 아니다. 신뢰도와 타당도의 관계에서 신뢰도는 타당도를 위한 필요조건이지 충분조건이 아니다. 따라서 타당도는 없으나 신뢰도는 높은 측정도구는 있을 수 있지만, 역으로는 존재하지 않는 것이다.
어떤 검사의 신뢰도 크기는 이론적으로 그 검사의 타당도의 최댓값이다. 즉, 어떤 검사의 타당도가 아무리 커도 그 검사의 신뢰도 보다 클 수는 없다는 것이다.
Ⅲ. 참고자료
학교학습 효과를 위한 교육심리학 / 임규혁, 임웅 공저 / 학지사 / 2018
사회복지조사방법론 / 채구묵 / 양서원 / 2008
교육과정과 평가 / 김진규 / 동문사 / 2005
직업상담실무 / 조만업 정은선 / 정훈사 / 2013
사회복지조사방법론 / 권구영 김미라 외 / 한국사회조사연구소 / 2007

키워드

타당도의 종류,   신뢰도,   신로도와 타당도의 관계,   신뢰도에 영향을 미치는 요인,   준거타당도