정부 R&D 성과평가시스템의 진단 및 발전방향
본 자료는 미리보기를 제공하지 않습니다.
자료를 다운로드 하신 후 확인 하실 수 있습니다.

국문초록

연구의 목적 및 주요 연구내용 최근 정부 및 공공 부문의 성과 제고에 대한 관심이 그 어느 때보다 높아지고 있는 가운데, 기획예산처를 중심으로 정부업무 전반에 대해 미국의 GPRA와 유사한 성과관리제도 도입이 진행되고 있다. 이와 같은 정부 및 공공 부문의 성과평가에 대한 요구는 정부의 R&D 부문에 있어서도 예외는 아니다. 이러한 가운데, 본 연구는 각 부처가 추진하는 정부 R&D사업을 중심으로 성과의 인식과 측정, 성과평가시스템의 구조와 운영 등 성과평가시스템을 전반적으로 진단하고 정부 R&D사업 성과관리의 효과성을 높일 수 있는 제도적 발전방안을 제시하는데 목적을 두고 추진되었다. 본 연구는 서론을 제외하고 크게 다섯 부분으로 구성되어 있다. 첫째, 정부 R&D 성과가 어떻게 인식되고 포착되는지를 조사하고 분석하였다. 여기서는 정부 R&D 성과를 무엇으로 보아야 할 것인가에 주안점을 두고, 정부 R&D 성과의 특징과 관련개념의 정의, 기존의 연구와 분석평가 사례에 나타난 정부 R&D 성과의 인식, 정부 R&D의 성격이나 유형에 따른 주된 성과의 포착형태 등을 포함하였다. 그리고, 이를 토대로 정부 R&D 성과의 측정방법을 검토하고 이를 R&D사업 유형에 따라 어떻게 적용할 것인지를 분석하였다. 둘째, 정부 R&D 성과분석 또는 성과평가에 대한 국내사례를 사업의 성격, 성과평가의 목적과 주안점, 성과의 인식과 측정/평가 등의 관점에서 검토하고 이를 비교 분석하였다. 이러한 분석을 위해 다음 9개 성과분석/성과평가 사례를 검토하였다. - 특정기초연구사업에 대한 프로그램 평가 - 선도기술개발사업(G7사업) 종합분석 - 중점국가연구개발사업 프로그램 종합분석 - 중기거점기술개발사업의 성과분석 - 공통핵심기술개발사업 평가 및 성과분석 - 부품소재기술개발사업 성과분석 - 정보화촉진정보통신연구개발사업(선도기반기술개발사업) 투자성과 분석 - 보건의료기술연구개발사업의 성과평가 - 건설기술연구개발 성과측정 셋째, 선진국의 정부 R&D 성과평가시스템 운영 현황과 R&D 성과평가 사례를 분석하였다. 미국, 유럽, 일본을 대상으로 하여 정부 R&D 성과평가시스템이 어떻게 운영되고 있고 우리나라가 벤치마킹(benchmarking)할만한 시사점은 무엇인지를 살펴보았다. 선진국 R&D 성과평가의 시사점을 찾기 위해서는 다음 다섯 개 사례를 검토하였다. - Framework 프로그램의 사회경제적 파급효과 평가 - EUREKA 파급효과 평가 - ESPRIT 프로그램의 평가 - Alvey 프로그램 평가 - ATP 파급효과 측정 넷째, 각 부처 정부 R&D 사업의 성과평가시스템을 진단하였다. 여기서는 정부 R&D 성과를 평가하기 위한 시스템이 제대로 작동하고 효과성을 발휘하고 있는가에 주안점을 두고, R&D 사업 기획 및 선정의 성과지향성, R&D 성과의 관리 및 활용, R&D 프로그램의 중간/최종평가, R&D 성과평가 결과의 활용, 재정사업의 성과관리제도 등에 대한 분석을 포함하였다. 다섯째, 이상의 분석결과를 토대로 정부 R&D사업 성과평가시스템의 발전방안을 제시하였다. 여기서는 정부사업 성과관리 요구에 부응할 수 있는 정부 R&D 성과평가시스템 구축에 주안점을 두고, R&D사업 유형에 따른 성과평가의 차별화, R&D 성과지표의 개발과 R&D 성과정보의 관리체계 확립, R&D성과의 전주기적 관리체계 정비와 사후 성과평가의 제도화, R&D 성과평가 관련 제도의 역할 정비 등에 대한 발전방향을 제시하였다. 정부 R&D 성과의 인식과 측정/평가 정부의 연구개발 사업은 기업에 비해 연구기간이 더 길고 연구개발의 목적이 최종제품의 개발이나 양산이 아닌 기초 및 중간단계의 응용?개발 연구인 경우가 많기 때문에 연구개발의 경제적 성과를 단시일에 확인하기가 더욱 어렵다. 또 관련 기술의 파급효과도 광범위하고 다양하게 나타나기 때문에 민간기업의 연구개발보다 그 성과를 구체적이고 정량적으로 파악하는 것이 더 어렵다. 또, 연구개발의 성과는 당해연도의 기술개발투자와 연구인력의 투입으로 나타나는 것이 아니라 장기간이 누적적인 자원의 투입과 기술개발 경험이 종합적으로 작용한다. 연구개발의 산출(output), 결과(outcome), 영향(impact) 등과 관련해서는 연구자마다 서로 다른 개념을 사용하고 있기 때문에 개념을 명확히 정리할 필요가 있다. 산출(output)을 투입된 예산활동과 직접적으로 관련되는 일차적 성과로 정의하고 결과(outcome)는 행정서비스의 소비자 입장에서 그러한 산출을 통하여 국민에게 제공되는 실질적인 편익을 의미한다고 정의할 수 있다. 이 때, 성과는 산출과 결과를 모두 포함하는 개념으로 생각할 수 있다. IPTS(2002)에서는 연구개발의 성과를 결과(outcome) 또는 영향(impact)으로 파악하여 과학기술적, 경제적, 사회적, 정책 등 네 측면에서 인식하고 있다(<표 1> 참조). 그리고 R&D 성과와 유사한 개념으로서 R&D의 효율성, 효과성, 생산성 등이 개념이 사용되고 있는데, R&D 성과는 R&D의 효율성과 효과성을 동시에 고려한 생산성과 R&D의 잠재성을 동시에 내포하는 개념이라고 볼 수 있다. Brown&Stevenson(1988)은 연구개발 성과의 측정/평가 시스템이 실패하는 이유에 주의하여 바람직한 성과 측정 시스템이 가져야할 특성을 다음과 같이 제시하고 있다. 첫째, 내부적 측정보다는 외부적 측정에 초점을 맞추어야 한다. 둘째, 행위보다는 산출과 결과에 초점을 두어야 한다. 셋째, 가치 있는 업적/산출에 대한 측정이 이루어져야 한다. 넷째, 단순한 측정 시스템이 되어야 한다. 다섯째, 객관적인 측정 시스템이 되어야 한다. 여섯째, 연구와 개발은 구분되어야 한다. 연구개발 생산성의 측정방식은 정량적 측정(quantitative measurement), 준정량적 측정(semi-quantitative Measurement), 정성평가(qualitative assessment)의 3가지 접근이 있다. 정량적 측정은 다른 연구활동과의 비교가 가능하도록 측정 알고리즘이나 정해진 비율에 따라 계량화하여 측정하는 방식이며, 정성평가는 전문가의 주관적 판단에 의존하는 방식이다. 준정량적 측정은 중간적 입장에서 사용하는 방식으로 어떤 공식대신 정성적 판단(qualitative Judgement)을 사용하되 이를 일정한 공식에 따라 계량화하는 방식이다. 이들 세 가지 접근 방법은 각각 상대적인 장단점을 가지는데 정량적 측정 방식은 평가의 객관성을 유지할 수 있고 비교가 용이하며, 계량화 과정에서 유용한 정보가 산출될 수 있다는 장점이 있다. 그러나 연구개발 활동 자체가 계량화하기 힘든 특성을 갖고 있기 때문에 전반적인 효과성이나 특수한 연구개발 실적 등은 양적 지표로 측정하기 어려운 단점이 있다. 연구개발 사업의 복잡성과 독창성이 높은 기초연구에 가까울수록 정성적 평가가 적절한 반면, 상품개발에 가까운 연구일수록 정량적 측정 방식을 이용하는 것이 바람직하다. 우리나라의 경우 국가연구개발 사업의 대부분이 기초보다는 개발/응용 연구에 치중되어 있으므로 정량평가 방법을 사용하는 것이 더 적절하다고 볼 수 있다. 정성평가 방법론으로서 대표적으로 전문가 성과분석, 사례 연구, 인터뷰 및 설문조사 등을 들 수 있다. 동료평가 또는 전문가평가는 연구 프로그램과 프로젝트에 대한 자금지원 의사결정과 연구결과의 평가를 위하여 관련분야의 전문가 의견을 결집시키는 대표적인 평가 방법으로서, 개인 전문가들에 의해 행해지기도 하고 전문가 패널을 운영하기도 한다. 사례 연구는 특정 환경 내에서의 동학(dynamics)을 이해하기 위해 제한된 수의 특정한 사례 및 상황을 고찰하는 것이다. 서베이(survey) 방법은 정성적이며 정량적인 방법이 복합되어 있는 유용한 기법으로서, 설문을 통해 다양한 가설의 검증이 가능하고 과정과 영향에 대한 자세한 탐구를 할 수 있다. 이와 함께, 정량적 측정 방법론은 재무분석법, 서지분석법, 특허분석법, 과학기술지표법, 계량경제학적 방법, DEA(Data Envelopment Analysis) 등을 들 수 있다. 요즈음의 연구개발 생산성 측정 방법론의 변화는 주로 정량적 측정 방법론에서 발생하고 있다. 정부 R&D 성과의 사례분석 정부 R&D 성과평가의 국내사례에 나타난 성과평가의 목적은 사업의 효과분석, 사업의 정당성 확보, 사업의 문제점, 그리고 개선방안 도출을 통한 차기사업 추진에의 반영 등이 주가 되고 있다. 한편, 연구개발사업에 따라 다양한 표현을 사용하여 성과지표를 분류하였으나 공통적으로 보면, 정부 R&D 성과의 인식은 기술적 성과, 경제적 성과 및 파급효과로 구분할 수 있다. 평가방법으로는 설문조사, 인터뷰, 전문가평가, 서지분석 및 사례조사가 공통적으로 사용되고 있고, 경제적 성과를 측정하기 위해 계량경제적 분석도 부분적으로 활용되고 있다. 평가결과는 주로 정책수립의 기초 및 참고 자료, 홍보자료, 사업지원의 타당성 및 효과성 입증자료로 활용하는 것으로 나타났고, 사업추진 체계 및 전략의 개선에도 반영되고 있다. 선진국 경험과 시사점 정부 R&D 성과평가시스템의 운영의 실증적 사례로서 미국의 성과평가시스템은 우리나라가 가장 벤치마킹(benchmarking)할 필요성이 있는 사례로 판단된다. 미국은 1993년부터 정부업무의 결과 지향적 관리(results-oriented management)를 위해 정부성과관리법(GPRA: Government Performance and Results Act)을 제정하여 운영해 오고 있다. 이 법에서는 정부기관에 대해 기본임무와 목표의 명확화, 기본 임무 및 목표와 연계된 계획과 성과척도의 개발, 그리고 프로그램의 성과를 향상시키기 위한 성과정보의 활용을 제시하도록 요구하고 있다. 이에 따라, 연방정부 각 기관은 향후 5년간의 목표와 전략계획의 바탕 위에서 당해년도 목표치와 이를 달성하기 위한 성과계획을 매년 제출하고, 이에 따라 매년 목표달성 여부를 나타내 주는 연차성과보고서를 제출하고 있다. 이들 자료들은 예산편성시 예산과정에 연계하여 사업과 관련한 책임소재를 명확히 하는데 활용된다. 이러한 GPRA에 의한 성과평가는 정부 R&D에도 적용되어 관련부처는 연구개발의 지향성과 성격에 따라 적절한 성과목표와 성과지표를 제시하여 매년 성과평가를 실시하고 있다. 이러한 GPRA는 프로그램 성과, 서비스의 질, 고객만족도 향상에 초점을 두어 정책의 효과성과 공공 책무성을 향상시키는데 기여하였으나, 최근 들어 GPRA를 통해 산출되는 정부사업 성과평가가 정부의 프로그램 관리나 예산결정, 그리고 자원배분에 활용도가 적다는 비판이 제기되면서 새로운 성과평가시스템으로 이행해 나가고 있다. 미국의 관리예산실(OMB: Office of Management and Budget)은 GPRA를 통해 만들어진 성과척도가 아직 잘 정의되어 있지 않고 모호하며, 의미 없는 지표가 많고 예산과 관련이 없는 사람들에 의해 만들어진다고 비판하고, 2002년에 프로그램평가 산정도구(PART: Program Performance Rating Tool)를 도입하였다. PART는 성과와 예산과의 연계 강화를 위하여 정부프로그램을 보다 객관적이고 일관성 있게 비교 평가하기 위한 도구로서, 일련의 질문항목을 구성하고 실증자료에 기반한 판단과 객관적인 자료에 근거한 평가를 강조하고 있다. PART의 질문항목은 (ⅰ) 프로그램 목적 및 설계(Program Purpose and Design), (ⅱ) 전략기획 (Strategic Planning), (ⅲ) 프로그램 관리(Program Management), (ⅳ) 프로그램 성과 및 책무성(Program Results/Accountability) 등에 관련되어 있는데, 종전의 GPRA와는 달리 관리 기획의 과정도 평가에 포함시키는 것이 특징이다. 한편, 미국 상무부 산하 국립표준기술원(NIST: National Institutes of Standards and Technology)는 1990년부터 첨단기술프로그램(ATP: Advanced Technology Program)을 추진하면서 경제적 성과에 초점을 둔 R&D 성과평가를 크게 발전시켜 왔다. ATP 출범 초기에는 일본에 대응하여 미국 산업의 기술경쟁력 강화를 위한 경쟁전단계 기술개발 지원의 필요성에 이의가 적었으나, 프로그램이 추진되어 나감에 따라 산업의 기술개발에 대한 정부지원의 정당성, ATP의 경제산업적 효과 등에 의문이 제기되기 시작하면서 사업의 설명책임(accountability)를 높이지 않으면 안되게 되었다. 이에 따라, NIST 내에 경제평가실(EAO: Economic Assessment Office)를 설치하고 실시간 평가체계를 갖추어 평가를 주관하였다. ATP는 사업 초기에 평가계획을 수립하여 단기, 중기, 정기의 프로젝트 영향을 측정해 왔다. 유럽의 R&D프로그램 평가시스템은 1970년대부터 관심이 대두되고, 1980년대 이후 유럽 차원의 R&D프로그램인 Framework Programme이 추진되면서 본격적으로 갖추어지고 진화하게 되었다. 오늘날 EU의 RTD(Research, Technology, and Development) 프로그램 평가시스템은 1994년 제4차 Framework Programme을 준비하면서 채택되었는데, 이후 연차 모니터링과 5년 단위 평가를 중심으로 Framework Programme의 개별 프로그램 및 전체 프로그램에 대한 평가제도가 정비되었다. 이에 따라, EU 차원의 연구기술개발(RTD) 프로그램에 대한 평가는 <표 5>에서 보는 바와 같이 세부프로그램과 종합프로그램에 대해 매년 모니터링과 5년 단위 평가를 상호 연계시키면서 실시간적으로 평가되는 체계로 운영되고 있다. 그리고, RTD 프로그램에 대한 이러한 새로운 평가구조는 지속적인 실시간(real time) 평가를 전제로 하고 있는 것이 중요한 특징인데, 모니터링 패널은 지속적으로 평가를 위한 실시간 정보를 수집하고, 이렇게 수집된 실시간 정보가 Framework Programme의 연차별 모니터링과 5년 단위 평가에 활용되도록 하고 있다. 최근 EU는 5년단위 프로그램 평가와는 별도로 Framework 프로그램과 EUREKA 프로그램에 대해 유럽 각국의 평가 전문가가 공동으로 사회경제적 영향평가를 광범하게 실시해 R&D 성과평가에 대한 의지를 더욱 강하게 표명하고 있다. 영국은 공공 R&D에 대한 평가가 유럽에서 가장 발전한 나라로 알려져 있는데, 연구개발의 R&D 프로그램 평가는 1970년대 이후 통상산업부(DTI: Department of Trade and Industry)가 기술정책에 관한 자신의 활동을 검토하기 시작하면서부터 비롯되었다. DTI는 1980년대 초 소규모로 과학기술평가조직(Science and Technology Assessment Unit)을 설치하고 외부컨설턴트를 활용해 대표적인 정보기술연구프로그램인 Alvey Programme에 대한 실시간 평가를 제도화하고, 연이어 1984년에는 DTI가 평가조직을 크게 확장해 공식적으로 전체 프로그램에 대해 평가를 제도화하게 되었다. DTI는 1986년을 기점으로 ROAME-F (Rationale, Objectives, Appraisal, Monitoring, Evaluation and Feedback) 원칙을 채택하여 연구개발평가에 적용하기 시작하여 현재 다른 부처에도 널리 확산되어 정부연구개발프로그램 추진시 요구되는 하나의 보편적인 평가원칙으로 지켜지고 있다. 이 평가원칙은 정부가 장래의 정책을 설계하는데 있어서 정책의 근거 수립, 목표 설정, 과정 모니터링(monitoring), 산물 평가, 결과 피드백(feedback)을 기하는 것을 도와주고 있다. 일본 총무성은 2001년 ?행정기관이 행하는 정책평가에 관한 법률?(2001년 법률 제86호)을 제정하여 정부 각 부성의 정책에 대한 성과 측정, 성과측정을 통한 행정개혁 및 효율성 제고, 정부정책에 대한 대국민 신뢰도 제고 등을 도모하고 있다. 이 법에 의한 정책평가는 중앙정부의 모든 부성을 대상으로 하는 것으로서, 각 부성이 정책의 특성에 따라 외부전문가를 활용하여 자체평가를 실시하는 것을 근간으로 하고 있다. 이 법에 의한 정책평가는 전체적으로 각 부처/기관에게 중장기/연차 계획을 수립하고 연차 성과를 구체적인 지표를 설정하여 측정?보고하도록 요구하고 있다는 점에서 미국 GPRA를 벤치마킹하고 있다고 하겠다. 그러나, 총무성이 예산편성권을 가지고 있지 않아 정책평가 결과는 예산편성에 참고자료로 제시될 뿐 미국의 경우와 같이 예산편성과 직접적으로 연계하지는 못하고 있다. 한편, 일본 내각부는 종합과학기술회의의 자문에 응하여 2001년 11월 ?국가의 연구개발평가에 관한 대강적 지침?을 작성하였다. 여기에는 연구개발시책, 연구개발과제, 연구개발기관, 연구자 등 정부 R&D 전반의 성과 또는 업적 평가를 포함하여 연구개발평가에 대한 공통적인 실시 원칙이 제시되어 있다. 2001년 제정된 ?국가의 연구개발평가에 관한 대강적 지침은 (ⅰ) 평가의 공정성과 투명성의 확보, (ⅱ) 평가결과의 자원분배에 대한 반영, (ⅲ) 평가에 필요한 자원의 확보와 평가체제의 정비 등의 측면에서 다음과 같은 연구개발평가시스템 개혁의 방향을 구체화하여 제시하고 있는데, 성과평가와 관련해서는 객관성이 높은 평가지표의 활용, 국제적 수준의 평가와 사회적, 경제적 의의?효과나 목표의 달성도의 평가, 평가결과의 피드백(feedback) 강화, 연구개발 특성에 의한 평가 등을 새롭게 포함하거나 구체화하였다. 정부 R&D 성과평가시스템의 진단 본 연구에서 정부 R&D 평가시스템을 진단하기 위해 분석한 사업은 연구의 내용에서 언급하였듯이 특정기초연구사업 등 8개 사업이다. 정부 R&D 성과평가시스템의 위해 본 연구에서는 미국 국립표준과학원(NIST: National Institute of Standards and Technology)의 ATP(Advanced Technology Program) 프로그램의 평가시스템 분석을 위해 사용된 평가논리 모델을 활용하였다. 먼저 사회적 목표 하에 마련된 공공 정책/전략에 따라 프로그램과 임무가 구체화된다. 프로그램의 구체적인 목표가 설정되면 이에 따라 프로그램의 운영 메카니즘(mechanism)이 설계되고 의도된 결과를 위해 사업이 추진된다. 이러한 사업의 추진 과정에서 프로그램의 의도된 결과와 대비하여 평가가 이루어지게 되는데, 프로그램의 성과평가는 프로그램에 대한 투입(inputs), 산출(outputs), 결과(outcomes), 영향(impacts) 등의 측정을 통해 이루어진다. 이렇게 이루어진 프로그램 평가의 결과는 프로그램 관리자에게 피드백(feedback)되어 프로그램의 개선과 성과 향상에 반영되게 되고, 정책결정자에게 피드백(feedback)되어 공공 정책/전략의 수립에 반영되는 과정을 거친다. 이러한 일반적인 프로그램 평가논리 모형은 대부분의 정부 R&D프로그램에도 그대로 적용될 수 있다. 본 연구에서는 이러한 프로그램 평가의 논리에 따라 작동되는 R&D 성과평가시스템 운영의 주요 국면을 (ⅰ) 사업 기획 및 선정 과정의 성과 지향성, (ⅱ) R&D 성과의 관리 및 활용, (ⅲ) R&D 프로그램의 중간/최종 평가, (ⅳ) R&D 성과평가 결과의 활용 등에 주안점을 두고 진단하였다. 이하에서는 각 사례에 대한 분석결과는 생략하고, 상기 네 가지 국면에서의 전체적 진단내용을 특징 및 문제점을 중심으로 제시하도록 한다. (사업 기획 및 선정의 성과지향성) (R&D 성과의 관리 및 활용) (R&D 프로그램의 중간/최종 평가와 평가결과 활용) (R&D 성과평가의 제도적 위상) 정부 R&D 성과평가시스템의 발전방향 정부 R&D 성과평가는 정부 R&D와 관련된 다양한 평가제도에 내포되어 있는 성과관리에 대한 관심사에 기반을 두고 있다. 따라서, 여기서는 R&D 성과평가시스템의 구성요소 자체보다 R&D 성과를 효과적으로 관리하고 R&D 성과평가시스템을 실효성 있게 운영하도록 하는 데 초점을 두고 발전방향을 모색하였다. 한편, 본 연구가 정부 R&D의 다양한 수준에서의 성과관리와 성과평가에도 관심을 두고 있으나, 주로는 프로그램 추진 차원에서 R&D 성과평가시스템을 어떻게 발전시켜 나갈 것인가에 주안점을 두고 다음과 같은 발전방향을 제시하였다. (R&D사업 유형에 따른 성과평가의 차별화) (R&D 성과지표의 개발과 R&D 성과정보의 관리체계 확립) (R&D 성과의 전주기적 관리체계 정비와 사후 성과평가의 제도화) (R&D 성과평가 관련 제도의 역할 정비) (연구의 한계 및 향후 연구방향)
  • 가격20,000
  • 페이지수201 페이지
  • 발행년2005
  • 학회명과학기술정책연구원
  • 저자황용수, 황석원
  • 파일형식아크로뱃 뷰어(pdf)
  • 자료번호#4790984
다운로드 장바구니
다운로드 장바구니