[안내서] 시민참여 과정을 어떻게 평가하나요
시민 참여는 정책의 효과적인 추진이라는 기능적 측면과 더불어 민주주의 확대와 실현이라는 당위적 측면에서 효과적인 제도적 장치며 실천적 운동입니다. 하지만 실질적인 운용을 위해서 상당히 많은 재원과 시간 등이 투입됩니다. 그리고 추진 과정에서의 참여자는 소수에 의한 정책 추진보다 더 많은 관리 요소를 내포하고 있어 상당 수준의 체계성과 인적, 조직적 역량을 요구합니다. 따라서 실제 추진되는 현장을 살펴보면 원래 기대한 바와 동떨어진 모습으로 보이기도 하고, 회의적인 입장에서 보면 시간과 재원 낭비로 보일 수 있습니다. 또한 추진 과정에서의 높은 복잡성으로 정책의 효과성 검증 등의 과정에서 잘못된 결론에 도달 할 수도 있습니다. 어떻게 하면 선의로 시작한 시민 참여가 회의적 시각과 반론, 실체를 파악하기 어려운 실패로 귀결되지 않도록 할 수 있을까요? 이 고민의 과정에 작은 실마리를 찾아보기 위해 영국의 시민 참여 경험을 바탕으로 도출된 시민 참여 과정 평가 안내서를 소개합니다. |
*이 글은 영국의 시민참여 단체 Involve.org에서 발행한 <차이를 만드는 법: 시민 참여 과정 평가 안내서>(원제: Making a Difference: A guide to evaluating public participation in central government)를 일부 번역·편집하였습니다.
**인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.
▶원문 바로가기
0. 정책의 형성과 시민 참여 활동의 관계
정책의 형성과 시민 참여 활동은 정책의 형성과 추진 등 전 과정에 걸쳐 체계적으로 연결되어 있습니다. (그림1 참조) 정책 형성의 필요를 발굴해 최초 아이디어 구상 단계에서부터 초안을 만들고 수정하는 과정, 설계의 완성 후 실제 시행하는 과정, 이후 정책에 대해서 평가를 실행하고 피드백을 반영하는 과정에 이르기까지 형태와 기능을 달리해 시민 참여 활동을 적용할 수 있습니다. 따라서 시민 참여 활동을 적절하게, 효과적으로 평가하기 위해서는 정책과 시민 참여 활동의 기능적 관계를 인지하고 고려해 준비하고 실행해야 합니다.
<그림1. 정책 형성 과정 단계와 시민 참여>
1. 모니터링/평가의 범위 정하기 Scoping the evaluation
- 평가의 이유(목적), 평가의 실증 대상(실증 목적) 정하기 purpose / objectives of evaluation
- 평가 범위 limits/boundaries
(e.g. 시간적 범위, 예산 범위, 평가 범위, 평가 활동이 고려하는 대상 등)
- 평가 방법 approach
(e.g. 감사, 평가-학습-피드백 방법 등)
- 평가 과정에서의 시민 참여 수준 결정하기 level of engagement in evaluation
(e.g. 참가자로부터 데이터 구하기(참여자의 데이터 생성), 실험 결과(시범운영 과정에 시민 참여를 통한 데이터 생성), 전문가 자문단 구성하기(시민 자문단 참여), 평가 활동 주요 지표 결정 과정에 참여(평가 대상 및 내용 등 평가 방향성 설정 과정 참여), 평가 결과 검토 과정 참여 (평가 결과 타당성 검토, 평가 결과 확산 및 전달 방법 강구 등)
- 평가 결과의 개방정도 정하기 confidentiality of results
(e.g. 평가 결과 전체를 완전히 개방해야하는지 등에 대한 검토 및 결정 과정)
- 평가로 다룰 수 있는 주요 지표, 주제, 질문 등에 대한 검토 및 사전 설계
(e.g. 평가를 통해 확인할 수 있는 것은 무엇일까?, 평가를 통해서 확인해야만 하는 것은 무엇일까? 등)
<그림 2. 시민 참여 과정 평가 흐름도>
2. 평가 지표 관련 데이터 수집하기 Collecting data
데이터 수집 주요 대상 |
1) 기초선 구하기 2) 진행중인 시민 참여 활동 과정으로부터 정보 구하기 3) 완료된 시민 참여 활동으로부터 정보 구하기 |
<데이터 구하는 방법>
- 문헌 조사 desk research
(e.g. 관련 정책 및 사업 프로그램으로 발생한 모든 문헌 정보 검토하기)
- 관찰하기 observation
(e.g. 온라인/오프라인 등 각종 형태의 워크숍, 공론, 숙의 등 시민 참여 과정에 함께 참석하여 참여 과찰로 정보 수집)
- 인터뷰하기 interviews
(e.g. 시민 참여자, 시민 참여 조력자, 전문가 자문 그룹, 민관 협치 조정자 등을 대상으로 심층 면담 진행)
- 참여자 대상으로 설문하기 questionnaires to participants
(e.g. 온라인, 전화, 종이, 대면 등 설문조사 진행)
- 참여자 간 스스로 평가하기 group working
(e.g. 과정 진행중 그룹 내 참여자가 상호 평가)
- 온라인 online
(e.g. 시민 참여 과정 진행 과정에서 다양한 온라인 장치를 통해서 참여자 그룹으로부터 상시적으로 피드백 받기)
효과적인 평가 분석을 위해서 데이터를 반드시 수집해야하는 시점
참여 과정 시작 시점 (기초선 조사)
참여가 발생하는 각 단계 마다 조사 (중간 조사, 과정 조사, 필요에 따른 중간 조사, 정해진 시점별 조사, 임의 시점 조사 등)
전체 과정이 종료된 시점 (종료선 조사)
참여 활동 종료 후 시간이 지난 시점 - 참여 활동이 의도한 장기적 목표를 심층 추적 관찰하기 위한 목적 (사후 조사)
데이터 수집 대상 결정
- 시민참여 활동 평가에 필요한 데이터 수집 주요 대상
시민 참여자
시민 참여를 통한 공공 정책 과정 담당 정책 책임자 및 실무자
해당 시민 참여 현장을 조직하고 조정한 담당자 및 관계자
해당 시민 참여 과정을 기획 및 설계하고 수행한 사람
시민 참여 현장에 함께 참여한 퍼실리테이터
수집하고자 하는 데이터의 형태 및 종류
양적 데이터 (e.g. 실제 통계적 수치, 통계 분석이 가능하도록 수치로 전환(양화, Quantification)된 정보 등)
질적 데이터 (e.g. 구체적 사안, 목적, 주제, 활용 의도 등에 따라 분석이 가능한 형태의 기술적 정보)
관찰 또는 과정상에서 남겨지 글 또는 말
정책의 기본 설계 및 기초적 가설을 뒷받침하는 구체적 사례
참여자 개인의 개별적 서사 및 사연 또는 참여 조직의 활동 및 과정에서의 서사 및 사연 등
사진, 차트 등
3. 수집한 데이터 분석하기 Analysing data
- 수집한 데이터를 체계적인 분석 구조에 따라 평가할 수 있어야 합니다. 또한 수집 된 데이터를 활용해 검증을 할 수 있어야 합니다.
참여 과정을 통해 얻고자 한 또는 지향한 목적과 목표에 맞춰 평가
수집 된 질적 형태의 지표 정보와 양적 형태의 지표 정보, 그리고 각 정보에 대한 합의 따라 분석 및 평가 진행
해당 시민 참여 활동 기반 정책 추진이 의도한 목적과 목표 달성을 위해 설정한 정책 가설에 대해서 표면화, 명확화, 구체화
* 반드시 참여자와 정책 담당자가 함께 해야 합니다.
시민 참여 과정을 거치면 도출된 정책 산출 결과 및 성과를 위에 명확하게 확인한 정책 가설에 비추어 검증
참여적 추진 과정에 대한 정책 담당자와 이해관계자, 참여자가 서로 합의한 바람직한 수행 요건에 비추어 검증
4. 분석결과 검증하기 Testing findings
- 수집된 데이터와 분석에서 1차적으로 도출된 결과는 반드시 검증 과정을 거쳐야 합니다. 검증 과정은 평가 과정에 관여한 이해관계자와 함께 수행해야 합니다. 검증 단계를 진행하는 방법으로 전문가 혹은 참여자로 구성된 자문 위원회를 설치할 수 있으며, 평가 참여자 간의 워크숍 진행, 1차 분석 결과에 대한 온라인 의견 수렴 등을 수행 할 수 있습니다.
5. 평가 결과 보고서 작성하기 Report writing
*가장 중요한 단계: 평가가 의미가 있으려면 평가 결과와 그 함의, 학습 지점이 반드시 공유되어야 합니다.
효과적인 평가 결과 보고서 작성을 위한 필수 사항
- 평가 결과 보고서 최종본 생산 전 평가 결과 보고서 초안 작성 단계에서부터 1) 평가를 의뢰하고 수행한 주체와 2) 해당 활동의 이해관계자가 함께 해야 합니다.
- 평가 결과보고서의 내용 확산과 빠른 이해를 돕기 위해서 반드시 평가 결과에 대한 요약 보고서를 함께 생산해야 합니다.
- 요약보고서는 평가 결과에 대한 접근성 보장을 위해서 쉬운 언어, 쉬운 설명, 쉬운 표현, 쉬운 구성을 염두에 두고 작성해야합니다. 전공자가 아니더라도, 선험적 지식 배경이 없더라도 시민 누구나 쉽게 읽고 이해할 수 있도록 작성해야 합니다. (쉬운 평가 결과 공유는 다음에 있을 시민 참여를 위한 저변 확대, 외연 확장의 기능을 합니다.)
목표/목적 Goals/purpose |
지표 Possible indicators |
데이터 수집 방법 How to get data |
중요 가정 Important assumptions |
공공서비스 집행 체계의 향상 정도 Improved governance |
예) 행정/정부/지자체에 대한 신뢰도에 대한 증/감 |
예) 참여 활동 전/후 설문조사 시행 |
예) 1.시민의 광범위한 참여가 행정 신뢰도에 영향을 미친다. 2. (평가 대상인) 시민 참여는 정책의 여러 다른 시민 참여 과정 중 하나이다 |
사회적 자본 및 사회적 정의 Social capital and social justice |
예) 행정의 의사결정 과정에 대한 접근성 향상 정도 증/감 |
예) 참여 활동이 참여자에게 일으킨 변화에 대한 피드백 수집 |
예) 사회적 자본은 적용이 어려운 개념이지만 지역 단위에서만 작동한다고만 볼 수 없다. 다른 사람 및 새로운 사회적 네트워크와의 접촉이 늘어날수록 좋다는 점은 국가적 단위에서 기능한다고 볼 수 있다. |
예) 1.새로운 시민 참여 방법의 개발 2.새로운 사회적 결정 과정에 대한 접근성 향상 정도 |
예) 1.참여 활동 행사 및 회의 직후 설문 조사 2.사후 참여자 면담 |
||
정책의 사업/프로젝트/프로그램의 정책 품질 향상 정도 Improved quality of services/projects/programs |
예) 1.정책 성과 달성까지에 소요된 비용 감소 정도 2.민원 감소에 따른 정책 소용 비용 감소 정도 |
예) 설문조사 및 여론조사 등을 통한 피드백 의견 수집 (전문가 및 참여자 등 대상) |
예) |
예) 참여 활동의 정책 추진의 분쟁 의 예방 및 사전 방지적 효과를 통한 정책 추진 소요 시간의 단축 정도 |
예) 분쟁/갈등 관리에 소요되는 비용 수집 (불평 민원, 소송, 반대 집회 등) |
예) |
|
역량 구축 및 역량 개선을 위한 피드백/학습 Capacity building and learning |
예) 해당 의제에 대한 인식과 이해의 확대 정도 |
예) 1.참여 과정 후 참여자 대상 설문조사 진행 2.응답자 후속 심층 인터뷰 진행 |
예) |
예) 향후 있을 시민 참여 활동에 신뢰 향상 정도 및 참여 의지 정도 |
예) 1.참여 과정 후 참여자 대상 설문조사 진행 2.응답자 후속 심층 인터뷰 진행 |
(출처: p.10, Making a Difference: A guide to evaluating public participation in central government)
목표/목적 Goals/objective |
기대 상황 Success measures |
지표 Indicators |
목표 임계점 Targets | 지표 추적 정보획득 방법 How to get data
|
예) |
예) 해당 데이터를 분류/정리해 공유함 2.데이터 처리 과정을 거쳐 활용 가능한 데이터로 정제함 3.처리한 데이터가 의사결정 과정에 활용될 수 있도록 적시에 제공함 |
- |
- | 예)
|
예) |
예) |
예) | 예)
|
|
예) |
예) 2 .시민의 제안/의견이 어떻게 행정에서 반영/활용되었는지에 대한 진행경과보고를 받은 시민 참여 과정 참가자의 비율(%) |
예) 2.시민 참여자 중 75%가 시민의 제안/의견이 어떻게 반영/활용되었는지에 대한 진행경과보고를 받는다. | 예)
|
|
예) |
예) |
예) |
예) 2.이해관계자의 만족도가 3년 간 계속해서 상승한다. | 예) 2.정책 추진을 위해 이해관계자로 파악된 대상 전체 중 매년 무작위로 선정해 3년 간 매년 설문조사 실시 3.정책 추진 1차년도에 설문조사 응답율 최소 25%를 달성한다.
|
(출처: p.12, Making a Difference: A guide to evaluating public participation in central government)
코멘트를 달아주세요!