영국의 우주개발 프로그램 평가 전략
- 이름 박정호
- 작성일 2015-09-16
- 조회 9848
1. 개요
영국 우주청의 프로젝트 및 프로그램에 대한 평가 프로세스는 Magenta Book에 기초하고 있다. 영국 우주청은 <그림 1>과 같은 프로세스로 Research Councils, 대학, Satellite Applications Catapult, 산업체 및 국제 파트너들(예, ESA, Euromean Commission, OECD)과 협력하여 우주활동에 대한 효과 분석을 수행한다. 평가 전략의 핵심은 프로그램 초기에 평가를 고려하지 않으면 평가의 옵션과, 획득된 자료의 신뢰성에 제약을 받게 된다는 것이다. 따라서 모든 새로운 프로그램에 대해서 초기에 <그림 1>의 8개 단계에 대한 계획을 세워서 제출한다. 이는 Project Inception Document에 기록된다.
평가는 세 가지 레벨로 나누어서 프로그램의 특성에 맞는 레벨의 평가를 하도록 한다. 일반적으로 높은 위험도와 불확실성이 있는 정책이나 프로그램에 대해서는 그 결과물이 실질적으로 잘 작동하는지, 예상한 효과를 보이고 있는지를 파악하기 위해서 더욱 종합적인 평가가 요구된다. 또한 대규모의 주목받는 정책에 대해서는 공공 예산이 잘 사용되었는지를 보여주기 위해서 견실한 평가가 요구된다. 소규모 또는 정기적인 정책에 대해서는 간단한 모니터링이나 예산이 적절하게 사용되었는지를 체크하는 정도의 간단한 평가면 충분하다. <그림 2>는 예산, 위험도 및 불확실성에 따른 평가의 레벨을 보여준다.
제대로 된 평가를 위해서는 적절한 예산이 배정되어야 한다. 평가를 위해서 필요한 자원의 정도는 대상 프로그램의 중요도나 위험도 등에 따라서 달라지겠지만 일반적으로 총 프로그램 예산의 1~5% 범위에서 책정한다. 그리고 평가의 질을 담보하기 위해서는 프로그램 수행 주체와 평가 주체가 동일함으로써 발생하는 왜곡을 방지하기 위해서 평가의 독립성을 확보해야 한다. 따라서 소규모이거나 관심도가 낮은 프로그램에 대한 평가는 내부적으로 하더라도, 대부분의 주요 평가는 외부적으로 감독을 받게 된다. 또한 평가는 다학제적으로 이루어져야 하므로 공학, 과학, 경제학, 통계학, 사회학 등 서로 다른 분야의 관련 전문가들이 참여하고, 관련된 이해관계자들도 모두 참여하도록 한다. 한편, 평가는 평가 전문가들에게만 맡겨지는 것이 아니다. 평가를 위한 적절한 질문과 프로그램이 하고 있는 것을 정확하게 평가에 반영하기 위해서는 프로그램 담당자들이 데이터 및 자신들의 경험과 관찰에 대한 기록을 수집하는데 적극적인 역할을 하도록 해야 한다.
파급효과 평가의 주요 목표는 정책이 구현된 이후에 어떤 변화가 발생했는지를 평가하는 것이다. 따라서 파급효과 평가는 해당 정책에 사용된 자원을 집계하고, 정책에 의해서 발생한 편익을 정량화하여 보여주며, 그 결과를 통해서 향후 자원 배분을 위한 의사결정에 도움을 제공한다. <그림 4>는 상업 생산단계에 근접한 기술을 상업화 단계로 준비시키는 혁신 프로그램으로부터 발생하는 잠재적 파급효과를 보여준다.
특정 프로그램에 대한 평가를 수행할 때 견실한 결과를 얻기 위해서는 시나리오의 전후 비교만으로는 충분하지 않다. 해당 정책(프로그램)이 없을 경우(이를 반사실 또는 베이스라인이라 칭함) 어떤 상황이 발생하는 지를 이해하는 것이 필수적이다. 반사실(counterfactual)은 정의상 관측이 가능하지 않기 때문에 이를 추정하는 것은 쉬운 일이 아니다. 평가의 설계 및 데이터의 질과 입수 가능성 등이 반사실이 얼마만큼 견실하게 구축될 수 있는지를 결정한다.
국가 우주개발 프로그램들은 대부분 위험도가 높고, 대규모 예산이 투입되며, 국민적 관심을 받는 프로그램들이다. 따라서 종료된 우주개발 프로그램에 대한 정확한 평가는 향후 우주개발 프로그램 기획의 의사결정에 있어서 상당한 도움을 줄 수 있을 것이다. 현재 우리 정부는 연구개발 프로그램에 대해서 사후 평가를 수행하고 있으며, 우주분야 프로그램들도 예외가 아니다. 하지만 현재의 평가는 프로그램의 기획 단계에서부터 고려된 것이 아니라 프로그램 종료 후 별도로 기획되어 진행되고 있어 관련 자료 수집에 대한 어려움과 별도의 예산 편성 등의 문제가 있다. 이로 인해 평가의 질적 수준에 대한 한계가 있을 수밖에 없는 실정이다. 따라서 우리도 프로그램의 시작 시점부터 평가를 위한 계획과 예산을 반영하는 프로세스를 구축하여 프로그램 진행 과정에서부터 평가를 위한 자료를 수집하고 모니터링하여 프로그램 종료 후 보다 견실한 평가가 이루어 질 수 있도록 할 필요가 있다.
|