우리의 활동이 정말 사회에 변화를 일으키고 있을까? 우리의 활동이 수혜자들의 변화를 불러왔을까? 프로그램이 계획대로 진행되고 있을까? 잘못되고 있다면, 어디서 문제가 발생했으며, 어떻게 개선해야하는가? 효과를 향상시키기 위해서는 어떻게 할 수 있을까? 이 질문은 사회성과를 효과적으로 달성하는 과정에 반드시 답을 해야합니다. 그리고 평가(Evaluation)은 바로 질문에 답을 하는 방법이자 과정입니다. 평가는 결과를 통한 비교가 목적이 아닙니다. 평가는 도출된 내용을 학습(Learning)하고, 반영(Reflect)하여 기존보다 더 나은 대안을 마련하기 위한 자기발전적 행위입니다. 그러면 더 나은 프로그램, 더 나은 의사결정을 위한 평가는 진행하는 것이며, 어떤 과정을 거칠까요? 미국의 대표적인 비영리 재단인 켈로그 재단에서 200여 페이지에 달하는 평가 안내서를 배포하고 있어 소개합니다. |
*이 글은 켈로그 재단 (W.K. Fellogg Foundation)에서 출간하여 무료로 배포하는 평가설계 안내지침서인 <The Step-by-Step Guide to Evaluation>를 일부 번역·편집하였습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.
▶원문 바로가기
* 2023년 1월 현재 원문을 찾을 수 없어 웹페이지 접근이 불가합니다.
▶<The Step-by-Step Guide to Evaluation> 다운로드 바로가기
* 2023년 1월 현재 원문을 찾을 수 없어 웹페이지 접근이 불가합니다.
아래 파일로 첨부하였습니다.
‘평가적 사고(Evaluative Thinking)’란,
어떤 결과를 기대하는지, 어떻게 결과를 성취할지, 결과가 향상될 수 있도록 하기 위한 미래의 행동을 위해서 어떤 정보와 근거가 필요한지에 대해서 사고하는 과정이 ‘평가적 사고(Evaluative Thinking)’입니다. 즉, ‘평가적 사고’는 전략, 계획, 프로그램, 정책, 조직체에 대해서 이해하고 설명하기 위해 정보를 수집하고 분석하는 ‘체계적 과정’입니다. ‘평가적 사고’는 다음의 내용으로 구성됩니다. - 무엇이 기능하고, 무엇이 기능하지 않을 지에 대한 논리적 제반 조건을 규명 - 당신의 목적 활동 기간 중 또는 종료 후, 당신이 기대하는 변화가 무엇인지에 대한 심도있는 질문 - 심사숙고한 반추 및 반영을 통한 깊은 이해를 추구 - 활동의 결과로 얻은 것에 대한 과장과 축소 없는 의사소통 - 충분한 정보 및 근거에 기반한 행동 의사결정 ‘평가적 사고’는 다음의 기능을 통해서 특정 이슈와 집단에 대한 구체적인 상황설명이 가능하게 합니다. - 특정 주제, 집단과 관련해서 널리 퍼져있는 통념에 대한 구체적 파악 - 대안적인 설명을 위한 정보를 제공 - 경험과 현장으로부터의 내용을 통한 교육과 학습을 통한 사고체계 전환 |
평가 중점 방향 및 평가에 대한 이해
1) 중점 방향
- (유용성) 평가로부터 도출된 내용 반드시 실용적이고, 현장 관계자 및 수혜자에게 유용해야 함
- (정보성) 관련 주체들의 의사결정과 역량구축을 위한 정보로 활용될 수 있어야 함.
2) 이해
- 병렬적으로 수행하는 과정임 동시에 실제적 활동이 기반으로 삼아야하는 수행과정
- 시간적 지속성을 가지는 삶의 질 향상노력을 촉진하기 위한 병렬적으로 수행되는 정보 체계
- 이해관계자와 관련된 현재의 가치와 현실상황에 대한 연구로부터 얻어낸 교훈
(그림 1.‘평가적 사고’ 기반 평가 과정)
[출처: The Step-by-Step Guide to Evaluation, 40p.]
평가 과정 단계별 주요 확인 사항*
*그림 1 참고
**각 단계별 상세 사항은 안내서의 목차상 해당 장 참조
평가 준비 단계 (A 단계) - 안내서 제5장
가장 유용하고 적절한 평가가 될 수 있도록 하기 위해서 자신의 조직 또는 협력기관이 평가역량을 가지고 확보하고 있는지를 평가 착수 전 확인해야합니다. |
평가 착수 전 확인 사항
- 누가 평가를 위한 재원을 제공하는가? 왜 제공하는가?
- 평가 결과로 혜택을 보는 사람이 누구인가?
- 잠재적 위험요소는 무엇인가?
- 현재 진행하고 있는 것과 평가에 영향을 미칠 수 있는 다른 어떤 것이 있는가?
- 어떤 유형(목적)의 평가가 필요한가? (수행정도 모니터링, 형성 평가(形成 評價), 과정 총괄 평가, 성과 평가 중 해당하는가? 또는 모두 해당하는가?)
- 어떤 평가 접근법을 선호하는가? 어떤 평가 방법론이 당신의 필요에 부합하는가?
- 내부 평가인가? 외부 평가인가?
이해관계자 파악 및 확정 단계 (B 단계) - 안내서 제6장
평가과정이 협력적이며, 유용한 학습과정이 되도록 하기 위해, 모든 이해관계자를 파악하고 함께 관여해야 합니다. 그리고 평가에 영향을 줄 수 있을 주요 사항에 대한 다양한 관점을 가질 수 있도록 이해관계자들과 연계해야합니다. 또한 평가의 결과를 통해서 이해관계자들이 알고 싶어 하는 것이 무엇인지를 파악하기 위해서도 이해관계자와 연계해야합니다. |
유용한 평가 결과 도출을 위한 이해관계자 관련 주요 확인 사항
- 당신의 전략, 계획, 프로그램을 통해서 어떤 결과를 기대하고 있는가?
- 성공적 결과의 예상되는 모습은 어떤 모습인가? 당신이 기대하는 성과를 달성했을 때 어떻게 알 수 있는가?
- 기대하는 성공적 결과 달성을 돕거나 방해할 것으로 예상되는 요소가 무엇인가?
- 가장 좋은 정보 제공처가 무엇인가? 혹은 누구 인가?
- 지금 진행하려는 평가가 지역사회에 이로울 것으로 보이는가? 아니면 해로울 것으로 보이는가? 그렇다면 이유는 무엇인가?
- 평가자 또는 평가 수행 스텝이 정보를 수집할 때 반드시 고려해야할 사회적 전통, 규범, 기타 사회적 행동 양식 등이 있는가?
- 평가 또는 평가자를 부정적으로 간주할 잠재적 요인이 있는가? 왜 있는가? 그럴 잠재적 요소가 있다면 그 가능성을 줄이기 위해 무엇을 할 수 있는가?
이해관계자와의 원활한 관여를 위한 팁
- 평가 기획과정/평가 수행/평가 결과 해석/향후 의사결정에서 이해관계자의 역할 파악하기
- 적합한 이행관계자가 가능한 모두 포함되어 있음을 검토하기
- 이해관계자의 가치를 이해하고 존중하기
- 이해관계자 참여 방법을 수립하기
- 이해관계자 참여 및 활동 영역 확인하기
- 필요에 따라 이해관계자와 함께 하기
- 정기적 참여를 위한 주요 이해관계자 정하기
- 평가에 필요한 질문을 제안하도록 이해관계자에게 문의
프로그램 논리 배경/가정 파악 단계 (C, D 단계)* - 안내서 제7장
<변화이론> 또는 <논리모형>은 바라는 변화의 구체적 내용과 그 변화에 이르기 위해 거쳐갈 단계/과정을 논리적 배경과 가정을 바탕으로 구체화하고 있습니다. 또한 각 단계에 도달하기 위해 해야 할 일을 규정합니다. 각 단계가 다음 단계로 연결될 수 있도록 하는 조건도 규정하는데, 조건의 달성 정도를 파악하기 위해 지표를 설정하게 되고, 측정방법이 명시됩니다. 위와 같은 특징으로 인해서, <변화 이론> 또는 <논리 모형>은 그 자체로 평가의 대상임 동시에 평가 계획으로써 기능합니다. 평가와 관련하여 <변화 이론>/<논리 모형>은 아래의 기능을 합니다. - 기획, 운영/관리, 평가 기능을 조직하고 시스템화할 수 있도록 지원 - 측정방법틀(적정 지표/측정수단/정보출처/정보수집방법/정보수집빈도) 개발 및 측정계획 수립을 안내 - 변화 과정 및 성과에 영향을 줄 수 있거나, 변화가 요구되는 맥락이 구체적으로 드러날 수 있도록 함. - 평가를 통해 나온 발견사항을 보고하고 발견사항을 반영하는 과정을 안내 |
*<C, D 단계>는 앞서 설명한 <변화 이론>을 통해서 구체적으로 윤곽이 드러납니다. 자세한 사항은 관련 포스팅에서 참고해주세요.
정보 분석 단계 (E 단계) - 안내서 제8장
평가 계획 수립이 완성되면, 프로그램 운영과 동시에 정보 수집이 시작됩니다. 그렇게 수집된 정보에 대한 분석이 수반됩니다. 분석은 선형(Linear)분석 또는 직접분석(Strightforward)형태가 될 수 있습니다. |
유형별 분석 방법 비교 (선형분석 vs. 직접 분석)
구분 | 선형 분석 | 직접 분석 |
목적 | 프로그램 효과가 미친 성과 규명 | 옹호활동, 전략변화에 따른 변화 규명 |
과정 | 1) 프로그램 시작 전 수혜대상자로부터 정보 수집 (기초선 파악) 2) 프로그램 진행과정 또는 프로그램 종료 후 정보 수집 (중간선, 종료선 파악) 3) 코드화된 질적 정보(Qualitative) 또는 통계를 활용한 정보 분석 | 1) 새로운 전략 시작 전 시스템을 맵핑 2) 변화를 의도하는 시스템의 부분을 결정 3) 바라는 변화를 초진하거나 막는 여소를 파악 / 통제 범위에 있는 요소와 통제 범위 밖의 요소를 파악 4) 변화의 발생 여부 및 발생 시점에 대한 이해를 돕는 주요 지점으로부터 정보를 수집 5) 질적(Qualitative) 또는 양적 (Quantitative) 방법을 활용한 정보 분석 6) 변화가 발생했는지, 또는 어디에서 발생했는지를 파악하기 위해 시스템 다시 맵핑 |
분석 팁
- 설문조사를 통한 정보 수집의 경우, 분석 착수 전 결과를 검토(review)하고 다듬(clean)는다.*
*설문조사 미경험자의 경우, 전문 평가자의 자문 필요
- 질적 정보 수집 시, 가능한 기록을 검토하고, 혹시 있을 정보의 빈틈을 채우기 위해 인터뷰 대상자를 지속관리하고, 대상 상황 또는 인터뷰 당시 상황을 검토한다.*
*외부평가자와 협업시, 인터뷰 품질 관리를 위해 인터뷰 과정에 대한 설명을 요구
- 분석을 위한 충분한 시간과 재원을 준비한다.
- 분석 결과를 설명할 때, “중요한”이라는 단어의 사용 기준을 명확하게 한다. 만약 통계적으로는 유의미하지 않은데, 중요한 내용으로 판단되는 경우는 “실제적으로 중요” 또는 “프로그램 상 중요” 등의 대체 표현을 사용한다.
평가 결과에 대한 요약(Summarize), 토의(Communicate), 반영(Reflect) 단계 (F, G단계)* - 안내서 제9장
분석을 통해서 발견한 사항(Findings)은 내용 도출 그 자체로도 의미가 있습니다. 하지만 ‘학습과 개선을 위한 반영‘이라는 평가의 본질적 목적에 부합하기 위해서 평가 결과에 대해서 이해관계자와의 토의와 해석의 과정을 거쳐야 합니다. 이러한 과정은 평가 결과에 대한 관련자의 학습을 촉진할 뿐 아니라, 학습된 교훈과 결과의 함의를 확신하게 만듭니다. 학습·토의·반역은 더 나은 활동을 위한 의사결정으로 이어져야 합니다. 평가를 통해서 발견한 사항을 바탕으로 프로그램의 <변화이론>/<논리모형>을 개선하거나, 구체적 활동을 조정하면서 프로그램을 개선/향상시킬 수 있습니다. |
* 자세한 사항은 안내서의 제9장을 참조해주세요.
켈로그 재단(W.K. Kellog Foundation)은,
켈로그 재단은 미국의 비영리재단으로서, 어린이, 가족, 지역사회를 지원합니다. 특히 취약계층 어린이들이 개인적 성취는 물론 지역사회와 더 큰 사회를 위해 긍정적으로 기여할 수 있는 시민으로 성장할 수 있는 환경을 조성하고 역량을 향상시키기 위한 활동을 하고 있습니다. 모든 어린이들이 공평하고 촉망되는 미래를 누릴 수 있는 세상을 구현하고자 노력하고 있습니다. |
WKKF_StepByStepGuideToEvaluation_smaller.pdf
(8.3M)
코멘트를 달아주세요!