프로그램 평가

목차

2. 기획의 개념

프로그램 평가

1. 평가의 과정

프로그램 평가의 유형

형성평가와 총괄평가

1. 형성평가(과정평가)

2. 총괄평가(목표 지향적 평가)

3. 통합 / 혼합평가

투입평가, 과정평가 및 성과평가

1. 투입평가

2. 과정평가

3. 성과평가

기준에 따른 평가 유형

1. 분야에 따른 평가유형

2. 비용분석 여부에 따른 평가유형

3. 프로그램 운영 주체에 따른 유형

4. 실행주체별 분류

5. 기관(시설) 평가 대 개별 프로그램 평가

6. 평가방법에 따른 유형 : 양적평가 / 질적평가

7. 기간에 따른 평가 유형

평가의 요소와 도구

1. 노력성(effort)

2. 효과성(effectiveness)

3. 효율성(efficiency)

4. 서비스의 질(quality)

5. 이용자 만족도(client satisfaction)

본문내용

는 내용의 충실도, 타당도, 도구 획득의 용이성, 기술적 확신 등의 요소를 고려하여 결정되어야 한다. 질적자료로는 상담관찰 등을 통해 확보한 진술을 이용한 정보가 주를 이루게 되는데, 자료를 얻는 과정 중에서 자료와 평가자 간의 상호작용이 중요하다.
7. 기간에 따른 평가 유형
평가기간의 길이에 따라 단기 평가와 장기 평가로 분류될 수 있다. 단기평가는 프로그램이 끝난 직후에 실시하여 프로그램에 대한 평가를 실시하는 반면 장기 평가의 경우에는 6개월에서 1년 정도 뒤에 평가를 실시하여 변화 정도를 조사한다.
평가의 요소와 도구
평가항목이나 평가내용들을 추출하기 위해서는 기본적으로 그 기준이 있어야 한며, 평가의 기준이란 평가를 위한 척도이다.
평가 기준에 대하여 학자들마다 다양한 의견이 있으나 각 의견들 중 공통된 요소들을 제시하면 ① 노력성, ② 효과성, ③ 효율성, ④ 서비스의 질, ⑤ 이용자 만족도 등이다.
1. 노력성(effort)
프로그램 수행을 위해 혹은 목표 달성을 위해 얼마나 많은 노력을 기울였는가를 평가하는 것으로, 프로그램의 수행 및 목표 달성에 필요한 인적물적 자원 등을 기준으로 얼마나 투입하였는가를 보는 것이다.
노력의 양을 재기 위해서는 서비스단위를 재는 척도를 적절히 선정하는 것이 중요하다.
서비스 단위의 예는 다음과 같다.
① 이용자의 수 : 매월 신규상담 이용자 수
② 사건의 수 : 워커, 클라이언트의 구체적인 활동의 총 건수
(전화접촉, 케이스 상담, 심리검사, 치료 등)
③ 이용자의 지위의 변화 : 프로그램 기간 중 이용자의 지위나 상태의 변화 횟수 (취업신청 상태, 심사상태, 취업승락 상태, 완전취업상태 등)
④ 에피소드 : 공통된 초점 혹은 목표를 가진 일련의 활동의 종료(종료된 일련의 이용자 수) 입양 된 아동의 수, 취업종료 된 장애인 수
⑤ 시간 : 이용자가 소비한 시간 (치료시간), 워커가 프로그램을 위해 사용한 시간 (상담시간)
때로 기관들은 서비스를 제공받는 클라이언트 수, 프로그램 진행에 소모된 시간 수 등의 투입량을 보기도 한다.
노력성에는 프로그램 자체의 효과성에 대한 평가자의 신뢰 여부가 가치판단의 기준이 되는데, 이는 신뢰도와 타당도가 떨어질 수가 있다. 예를 들어, 청소년집단상담 프로그램에 작년에 300만원, 올해는 1,500만원이 지출되었다고 했을 때, 노력성은 5배 증가했지만, 그로 인한 프로그램의 효과성 또한 5배가 증가되었다고 보기는 힘들다(정무성, 2006).
2. 효과성(effectiveness)
효과성이란 목표 달성의 총량에 기여한 성취 정도를 측정할 때의 산출결과를 말한다. 투입된 비용과 관계없이 성취한 양이 많을수록 해당 프로그램의 절대적 효과성은 증가한다고 보는 개념이다. 하지만 실제 대안 선택에 있어서는 여러 프로그램들 사이에서 효과의 크기를 비교할 수 있는 상대적 효과성이 더욱 중요한 개념으로 부각된다(김학주, 2004).
효과성 측정 시에는 첫째, 프로그램의 하위목표중간목표성취목표를 종합적으로 고려해야 한다. 효과성은 목표에 기준하여 이룬 성취 량의 비율이므로 목표에 대한 정확한 이해가 필요하기 때문이다. 둘째, 사회복지사가 세운 목표에 따른 효과성도 중요하지만 서비스전달을 통해 이루고자 하는 클라이언트의 변화, 성과도 측정되고 평가되어야 한다(김학주, 2004).
평가방법은 다음과 같다.
① 기록물들을 시계열적으로 분석
② 인테이크 당시의 이용자 상태에 관한 기록물과 추후자료를 비교
③ 이용자의 기능, 상태, 만족도를 주관적으로 측정하는 척도 화된 질문지 사용
④ 프로그램 실시 전과 후의 두 시점을 비교하는 실험설계 / 수혜집단과 비수혜집단을 비교하는 실험설계 등의 실험조사 설계방법
⑤ 수혜자 상태의 개선에 대한 전문가의 진단
3. 효율성(efficiency)
효율성은 프로그램의 결과로 이루어진 성과물들이 프로그램에 투입한 자원과 비교하여, 최소비용으로 얼마나 최대의 산출을 얻어내었는가를 평가하는 것이다. 가장 일반적으로 산출대비 투입으로 부석하게 되는데, 효과를 비용으로 나누어 분석하면 비용효과성이 되며, 비용에 따라 발생된 이윤을 대상으로 분석하면 비용편익분석이 된다(우수명, 2004b).
4. 서비스의 질(quality)
프로그램에 있어 서비스의 질은 프로그램을 관리하고 운영함에 있어 전문성이 얼마나 반영되었는지 , 제공된 서비스의 수준이 어떠한 지를 평가하는 것이다. 이는 사회복지사의 전문성과도 관련한 것으로, 사회복지사는 본인의 실무에 대한 전문적 지식과 기술을 가지고 있어야 하며, 이를 뒷받침할 지속적이고 체계화된 교육과 훈련과정이 필요하다.
프로그램의 질을 평가함에 있어 전문성은 클라이언트의 서비스 만족도 조사, 단일 사례분석, 프로그램 운영자들의 교육수준, 경험연수, 특정 자격증의 취득여부를 통해 판단 할 수 있다(김학주, 2004). 프로그램에서 제공하는 서비스의 질이 우수할 때는 시행착오가 감소되고, 과정시간이 단축되며, 이용자 만족도가 향상되고, 비용이 감소하며, 지역사회로부터 이미지 개선 등의 효과가 있다.
서비스 품질 평가방법은 동료 리뷰, 이용자의 서비스 만족도 조사, 대외적 근거자료 (면허증, 수료증, 증서획득, 인증) 등이 있다.
5. 이용자 만족도(client satisfaction)
사회복지 프로그램이 최근 클라이언트 중심의 경향이 강조되면서 클라이언트의 만족도가 평가에 있어 중요한 기준이 되고 있다. 프로그램 평가 시에 사회복지사들은 서비스의 이용에 대해서 클라이언트에게 피드백을 구하고 만족도를 실시하며 이는 상대적으로 비용이 저렴하고 활용하기 쉽다. 하지만 만족도라는 것은 매우 개인적이고 추상적인 특성이 있어 동일한 프로그램이라도 클라이언트에 따라 다르게 반응될 수도 있기 때문에 유의해야 한다.
클라이언트의 만족도 조사는 클라이언트의 주관적 인식을 파악하는 것으로 다음 사항에 주의해야 한다(최종혁, 2001; 김통원, 2004; 김학주, 2004).
① 선행 연구들을 바탕으로 신뢰성 있는 척도를 사용한다.
② 동일한 도구를 사용하여 클라이언트의 만족도를 반복적이고 정기적으로 측정한다.
③ 최소한 한 개 또는 두 개의 개방형 질문을 포함한다.

키워드

프로그램,   프로그램개발과평가,   리더십,   행정론,   사회복지,   행정,   기획,   평가