[2]

집합적 임팩트 포럼(Collective Impact Forum)에 관하여

집합적 임팩트 포럼은 지역문제 해결을 위해 FSG와 Aspen Institute forum 을 통해 시작되었습니다. 다양한 범주의 사회, 환경문제들을 다루기 위해 집합적 임팩트의 접근을 사용하는 사람들과 단체들의 모임입니다. 또한 전문직 종사자들에게 기구의 사용과 훈련의 기회 그리고 성공적인 작업수행을 위한 공동체 네트워크를 제공함으로써 집합적 임팩트의 적용과 유효성을 증가시키는 것을 목표로 합니다. 포럼은 공동체의 실행, 면대면 모임 그리고 온라인 커뮤니티와 2014년 초 설립된 자원센터로 구성되어 있습니다.

더 많은 정보는 collectiveimpactforum.org를 통해 얻으실 수 있습니다.

FSG에 관하여

FSG는 전략, 평가 그리고 조사를 전문적으로 하는 비영리자문기관입니다. 국제 팀은 전 세계 모든 지역의 기업, 단체, 학교기관, 비영리단체 그리고 정부와 협력을 맺고 다양한 분야에서 일을 합니다. 기업과 단체가 개인적으로나 집단적으로나 큰 사회 변화를 이루는데 있어서 도움을 주는 것을 목표로 하고 있습니다. 세계를 이끄는 기업, 비영리단체 그리고 자선단체들과 함께 일하면서 FSG는 전 세계 600개 이상의 컨설팅 계약을 성사시켰으며 수십 개의 조사 보고서를 발행했습니다. 영향력 있는 기사로 Harvard Business Review 와 Stanford Social Innovation Review에 출간되었으며 The New York Times, Wall Street Journal, Economist, Financial Times, BusinessWeek, Fast company, Forbes 그리고 NPR 등 수 많은 곳에 실렸다. FSG에 관한 더 많은 정보는 www.fsg.org 를 통해 얻으실 수 있습니다.

[3]

목차

경영종합보고 02

08 소개

09 수행 방식과 평가를 위한 집합적 임팩트 방법의 다양한 접근법의 필요성

12 평가 질문 선택

14 해당 방법의 시간에 따른 진행방식

14 초기

19 중기

26 말기

29 집합적 임팩트 평가를 실행하기 위한 가이드라인

29 데이터 수집

31 데이터 이해

32 전략적 의사 결정을 위한 데이터 이용

33 의사소통 결과물

34 평가 팀 구성과 올바른 배움

36 평가 예산관리

37 결론

38 참고문헌

[4]

경영종합보고

개요

전 세계적으로 집합적 임팩트에 대한 관심이 증대하면서 다양한 이익집단이 필요로 하는 집합적 임팩트 방법을 평가하는 효과적인 방식에 대한 요구가 증가하고 있습니다. 관련 전문가들은 그들의 생각을 반영하고 전략적인 의사결정을 할 수 있는 적절하고 질 좋은 자료들을 찾습니다. 기금을 지원해주신 분들이나 지지자들은 집합적 임팩트가 진행되는 동안 각기 다른 계획의 목표 진전을 향한 증거를 제공할 수 있는 수행측정과 평가의 접근을 요구합니다.

집합적 임팩트의 평가 가이드는 이러한 요구에 대한 응답으로 전문가, 기금 지원자, 평가자들에게 다른 수행 방식과 평가 활동들을 생각하고 계획하며 실행할 수 있도록 합니다.

집합적 임팩트를 통해 어떻게 지속적으로 배우고 적용할지에 대한 역할을 논의합니다.

수행방식과 평가에 어떻게 접근하는지에 대한 틀을 제공할 수 있습니다.

계획의 첫 단계에서부터 계획이 진행 되는 동안에 각기 다른 시점에서 다양한 수행 측정과 평가 활동들은 어떻게 계획하고 실행하는지에 대한 실용적인 안내를 제공합니다.

안내는 각 단체의 프로그램 평가에 초점을 두지는 않습니다.

[5]

각 부문에 대한 설명은 집합적 임팩트의 온라인 커뮤니티로 자세한 설명이 되어있는 집합적 임팩트 포럼(collectiveimpactforum.org)에서 무료로 받아보실 수 있습니다. 집합적 임팩트에 관심 있는 모든 분들이 집합적 임팩트 포럼의 온라인 커뮤니티에 개인적인 피드백과 경험을 공유해주기를 바랍니다. 특히 어떻게 가이드를 활용 했으며 다른 전문가들이 알고 싶어 하는 부차적인 궁금증, 결과, 지표들과 같은 부분들에 대한 독자들의 반응이 필요합니다. 또한 독자들께서 자발적으로 연구결과, 보고서, 발표자료 등과 같은 평가 자료들 및 수행 방법을 공유해 주시면 감사하겠습니다.

가이드는 세 단계로 나누어집니다.

집합적 임팩트 학습 및 평가

이 부분에서는 다양한 성과 측정, 평가 그리고 학습 활동의 설계를 안내하기 위한 지속적인 학습과 평가 체계에 대한 중요성을 보여줍니다.

이 체계에 대한 목적은 독자들에게 초기 단계의 성정과 발달을 보여줌으로써 성과 측정과 평가를 효과적인 방법으로 다가갈 수 있게 도와주는 것입니다.

과정 평가와 영향

이 과정에서는 다양한 수행 방식과 평가 활동들을 어떻게 계획하고 수행할지에 대해 안내를 하고 있습니다. 특히 평가 활동에서는 초기 진행방식과 효율성과 그 영향에 대해 초점을 맞추고 있습니다. 집합적 임팩트의 초기 단계부터 다양한 단계들의 표본 성과 지표와 평가 질문지 그리고 결과들을 포함하며 전략적인 의사 결정을 위해 데이터를 어떻게 수집하고 알맞게 사용하는지 보여줍니다. 또한 평가 연구 자료를 어떻게 사용하고 평가자를 어떻게 선택하며 같이 일할지 그리고 평가를 위한 예산을 어떻게 사용하는지도 포함합니다.

이 부분에서는 4가지 사례연구를 포함하고 있습니다.

보충자료: 표본 질문, 결과, 지표

마지막 과정에서는 큰 범위의 표본 평가 질문들과 결과, 지표들에 대해서 보여줍니다.

[6]

집합적 임팩트에 관하여

집합적 임팩트(CI)은 다양한 영역에 있는 사람들이 복잡한 사회, 환경적 문제들을 해결하기 위해 공동안건을 낼 때 발생됩니다. 단순히 협력관계를 구축할 수 있는 새로운 방법이 아니라 5가지의 핵심조건을 포함한 체계적 문제해결 접근 방식입니다.

공동안건- 모든 참가자들이 변화를 위한 공통된 목표가 있으며 이는 문제에 대한 공동이해와 해결을 위해 행동을 넘어선 동의된 공동접근 방법을 가지고 있는 것입니다.

공동 측정 체계- 모든 참가자들이 지속적으로 자료를 수집하고 결과를 측정하는 것은 노력을 공고히 하고 서로에 대한 신뢰를 보장합니다.

상호간 활동 강화- 참가자들의 활동은 상호간의 강화 계획을 통해 협력관계가 지속되면서 차별화되어야 합니다.

지지역할- 집합적 임팩트의 생성과 경영은 참가 조직이나 단체들과 잘 협력할 수 있는 특정 능력을 가진 헌신적인 인재를 요한다.

지속적인 의사소통- 많은 활동가들 사이에서 신뢰를 쌓고 공동목표에 대한 확신과 공통적 동기부여를 만들어내기 위해서는 지속적이고 열린 의사소통이 필요합니다.

상기 조건들이 충족되고 난 다음으로 CI에서 가장 먼저 해야 할 일은 자체적으로 정의 내린 다단계적 협력을 통한 조직화입니다. 최근 Stanford Social Innovation Review 블로그에서 기사가 나왔듯이 이러한 자유로운 구조는 다음과 같습니다.

감독그룹은 운영위원회나 집행위원회라고도 불리며 문제에 참여한 주요 단체의 CEO나 문제들을 다루는 개인들의 대표들로 구성되어 있다. 이 그룹은 전반적인 계획의 진전을 감독하기 위해 정기적으로 모임을 가집니다.

업무그룹은 계획의 초기의 주요 전략들에 집중합니다. (더 복잡한 계획들은 우선 전략들을 포함한 주요 목표들을 다루는 하위단체들이 맡는다.) 업무 그룹은 일반적으로 활동을 위한 계획을 스스로 발전시켜나가는데 공유된 특정 측정 방식을 통해 중점을 벗어나지 않고 조직화 됩니다.

계획이 결정되면 업무그룹 진전에 대한 기본적인 자료나 정보들을 공유하기 위해 정기적으로 만납니다. 더욱이 모임의 더 잘 뭉치기 위해 공동문제를 함께 다루는 파트너들과 활동의 도전이나 기회에 대해서 의사소통 시간을 가지게 됩니다. 비록 각각의 업무그룹들이 개별적으로 만나지만 중추 기능을 통한 효과적인 협력관계는 수 백 개가 넘는 단체들 사이의 협력 활동을 확고히 하며 복잡한 문제에 대한 다양한 방면의 의견들을 동시에 다룰 수 있게 됩니다.

지지그룹은 진전 정도에 대한 정기적으로 체계적인 평가를 제공합니다. 공동 안건들을 다양한 업무그룹에서 받아 결과들을 취합하고 다시 운영위원회에 보내 안건이 지속적으로 다뤄질 수 있게 합니다.

집합적 임팩트에 변화 과정에 대해 더 많은 정보는 www.collectiveimpactforum.org. 에서 받아보실 수 있습니다.

[7]

Part Two의 주요 핵심

집합적 임팩트 평가 가이드의 파트 2에서는 다양한 성과 측정을 어떻게 계획하고 실행하는 지와 계획의 진전, 유효성 그리고 영향에 대한 평가를 목표로 한 측정 활동에 관련한 실용적인 의견을 제공합니다. 주요 내용은 다음과 같습니다.

집합적 임팩트의 파트너는 계획의 발단과 성장으로써의 진전 정도를 이해하고 평가하기 위해 다양한 성과 측정 방식과 평가 활동을 조합하여 사용합니다.

계획의 초기에는 파트너들이 설계와 실행에 초점을 맞추는데 계획의 성공여부와 관계없이 결정의 도움을 위해 초기의 수행지표의 표본을 제공해야 합니다. 또한 CI 파트너들은 계획이 어떻게 발전하고 적용되며 어떤 일이 잘되고 어떤 요소들에 더 많은 집중이 필요한지 이해하기 위해서 발달적 평가(developmental evaluation)를 사용하기도 합니다.

Case study: 건강을 위한 미주리재단은 발달적 평가를 사용하는데 이것은 유아 사망률 감소에 집중한 새로운 집합적 임팩트 계획 설계와 실행에 도움이 됩니다.

계획의 중반기에는 중간결과와 연관하여 중대한 성공을 달성해야 하는 시기입니다. CI 파트너는 공유된 평가 체계에 있는 자료를 사용하여 예를 들어 언제 그리고 누가 계획의 진전을 만들어 나갈지 결정할 수 있습니다. 만약 CI 파트너들이 계획에 대해 초기 단계가 어떻게, 왜 진전을 만드는지에 궁금증을 풀어나가고 싶다면 그들은 형성 평가를 실행할 수도 있습니다. 가이드들은 CI 파트너들이 중반에 진전 정도와 효율성 평가에 사용하길 원하는 몇 개의 샘플 결과물과 지표를 제공합니다.

사례연구: Competitive Workforce의 파트너들은 시 협력업체와 참여자들을 통해 얻은 데이터를 규합해 공유된 평가 체계를 사용하는데 이는 계획 대표자들이 시간 흐름에 따른 진전 정도를 알고 제공자들 사이의 성과를 비교하며 배움과 지속적인 발달을 통해 기회들을 알 수 있게 합니다.

사례연구: Washington주에 있는 Seattle과 King County에서 진행되는 The Road Map Project는 지금까지의 효과와 유효성에 대한 더 나은 이해를 위해 형성평가를 사용하는데 이를 통해 그들의 전략이 잘 수행될 수 있도록 만들어줍니다.

계획의 말기에 CI 파트너들은 계획의 달성 여부를 면밀히 조사하고 목표로 한 문제나 인구에 대한 장기적인 효과에 대해 이해하고자 합니다. 공유된 측정체계에 의한 정보는 계획의 성취와 도전에 관한 종적인 자료에 기여해 이러한 배움의 과정을 제공합니다. 어떤 그리고 어떻게 계획의 최종적인 목표가 달성되었는지 그리고 이러한 결과들에 CI가 어떤 노력들을 기여했는지에 관해 이해하기 위해 CI 파트너들은 총괄적 평가의 수행을 바랄 수 있습니다.

Case study: 범 캐나다의 집합적 임팩트 집단인 Vibrant 공동체는 가난을 퇴치하기 위한 역량 키우기에 집중했는데 그들의 최종적인 결과를 이해하고 작업을 통한 교훈을 얻기 위해 총괄적 평가를 실시했습니다.

[8]

그림 1

집합적 임팩트가 영향에 관한 도안과 성과측정, 평가 수행 체계

시간과 효과

초기단계           중반기                        후반기

어떤 일을 하나? : CI 설립과 실행 – CI 과정의 결과와 지표

중간 결과- 체계와 행동 변화 결과와 지표

영향- 최종적 목표 결과와 지표

어떤 과정을 거치나? : 초기 수행 지표- 공유된 평가 체계지표

누구, 어떻게 왜? : 발달평가-형성평가- 포괄적 평가

위의 체계 부분에서 ‘ 어떤 일을 하나?’ 부분의 더 많은 정보를 원하면 page 12의 그림1 의 집합적 임팩트 평가 가이드 파트1을 참고

[9]

집합적 임팩트 파트너들은 자료 수집의 과정에 적극적으로 참여해야 하며 자료들을 활용하고 의사결정과 연구결과의 적절한 사용을 위해 자료를 사용해야 합니다.

계획의 발전과 영향에 대한 자료 수집을 위해 사용하는 가장 좋은 방법을 정하기 위해 CI파트너들은 그들이 무엇을 얻고 싶어 하는지 자료에 관련하여 각각의 방법이 어느 정도의 높은 질을 제공하는지 면밀히 고려해봐야 합니다. 자료들이 한번 수집되어 분석되고 나면 CI 파트너들은 과정을 천천히 진행시켜야 합니다. 자료에 대한 충분한 이익을 얻고 진실한 배움을 얻고 싶다면 CI 파트너들은 자료들을 분석하고 해석하는데 충분한 시간을 투자해야 하며 더 큰 제안을 만들기 전에 이에 관한 판단을 내려야 합니다.

배움의 활동을 통해 얻은 연구결과와 제안들에 대해 의견을 나눌 때 CI 파트너들은 몇 가지의 신중하고 전략적인 선택들을 하게 됩니다. 어떤 연구결과들이 누구와 언제 어떠한 형식으로 공유되는가에 대한 내용이 그 예시가 되겠습니다. CI 파트너들은 이러한 선택들이 성과측정이나 평가 활동의 설계를 하는 동안 고려되는 것이 도움이라는 것을 알게 될 것입니다.

계획의 성과측정체계와 평가를 설립하고 실행하는 데에는 여러 가지 방법이 있습니다.

집합적 임팩트 파트너들은 이러한 과정들을 4가지 방법으로 다룰 수 있습니다.

Backbone 기반 내에 정직원이나 일용직으로 내부적 평가 자리를 만들어 CI 계획의 성과 측정과 평가활동을 수행해 나갑니다. 공유된 측정 방법이 포함 될 수도 있습니다.

CI 계획을 설립하고 평가를 실행하는 역할을 맡은 개인에게 의존합니다. (내부 조직)

내부조직을 이용하지만 외부인, 제3자인 평가 상담사의 도움도 제공합니다.

외부인 평가 상담사를 고용해 CI 파트너와 함께 협의를 진행하고 평가하며 수행해 나갑니다.

CI파트너들은 또한 내부의 평가 팀을 지도 할 수 있는 외부의 전문적인 평가인을 고용하기를 원하는 것과 같이 내부와 외부의 조합을 바랄 수 있습니다.

성과 측정과 평가는 CI 계획에 반론에 여지가 없어야 하며 충분한 재정적인 지원이 뒷받침되어야 합니다.

다양한 종류와 각기 다른 단계의 CI 계획으로 인해 적절한 평가 예산의 규모를 예측하는 것은 어렵지만 이러한 평가들은 CI 전문가들 및 기부자들에게는 중요합니다. CI 파트너들에게 어떻게 성과를 측정하고 평가하는 것이 그들의 결과에 도움을 주는지 신중하게 계획하기를 장려하며 모든 기부자들이 CI 계획의 매우 초기 단계부터 예산 부분에 도움을 주길 바랍니다.

[10]

파트 2: 진전 정도와 영향 평가하기

CI 계획의 수명에서 다양한 관점의 성과 측정과 평가를 위한 다양한 시도에 집중한 더 세분화된 체계를 제시합니다.

CI 계획들이 진전 정도를 측정하고, 의사결정을 알리고, 영향을 평가하기 위해 어떻게 성과 측정과 평가가 사용되었는지 4가지의 사례 연구를 공유합니다.

CI 평가를 어떻게 계획하고 실행하는지에 실용적인 지침서를 제공합니다. 의사결정을 위해 자료를 어떻게 수집하고 사용하는지, 연구결과를 어떻게 사용하는지, 평가자들을 어떻게 선택하고 일해나가는지 그리고 평가를 위한 예산은 어떻게 짜는지를 포함합니다.

소개

이 가이드의 파트1에서는 CI 계획 변화과정의 3가지 측면들을 독자들에게 소개했습니다. 또한 계획의 수명 내내 성과 측정, 평가, 배움의 활동이 CI 파트너들을 지지할 수 있는 탐색의 방법들을 소개했습니다. 파트2의 목적은 CI 전문가들, 자금 제공자들, 평가자들에게 어떻게 다양한 성과측정과 평가 활동들을 계획하고 실행하는지 자세한 안내를 해주는 것입니다. 이번 장에서는 아래와 같은 질문들에 대답하는 것을 목표로 합니다.

계획이 알맞은 방향으로 나아가고 있는지 어떻게 알 수 있을까? 특히 중간 단계나 목표 달성을 위한 계획이 시작되었는지를 어떻게 하면 확인 할 수 있을까?

각기 다른 시점에서 계획의 진전도 평가의 유효성을 검토하기 위해 어떤 결과나 지표들을 고려해야 할까?

우리의 공유된 측정체계의 일부분이 왜 움직이거나 움직이지 않는지 더욱이 잘 이해하려면 어떻게 해야 할까?

성과측정과 평가의 높은 품질을 위하여 어떤 자원들이 계획에 사용되어져야 하는가?

이 질문들에 대답하기 위해, 이번 장에서는 여러 단계에서의 CI 계획발전을 위해 표본 평가 질문지, 결과지, 지표를 보여줄 것입니다. 또한 4가지의 다양한 CI 계획이 그들의 작업의 도움을 위해 성과측정과 평가가 어떻게 사용되었는지 사례 연구들도 설명합니다. 마지막으로 이번 안내에서는 전략적 의사결정을 위해 자료를 어떻게 수집하고 알맞게 활용하는지, 평가 연구결과들을 어떻게 사용하는지, 어떤 평가자를 선택하고 일해나가는지(필요할 때), 평가를 위한 예산을 어떻게 짜는지에 대한 조언을 제공할 것입니다.

[11]

집합적 임팩트 계획(Initiatives)은 종종 성과측정과 평가에 다양한 방식을 요구합니다.

CI 계획의 진전과 영향을 어떻게 평가하는가에 대한 질문은 자료 유효성과 불가분의 관계이며 좋은 결정을 내리기 위해 CI 파트너들이 어떤 정보들이 필요한가에 대한 질문입니다. 물론 CI 계획의 생애주기를 지나서 내려져야 하는 중요한 결정들도 많이 있습니다. 예를 들어 계획의 구조나 전략적 방향, 자원 분재나 의사소통 그리고 자세한 전략이나 활동들에 대한 결정들입니다. 결과적으로 다양한 성과측정과 평가활동에 사용하기 위한 CI 계획의 접근은 생애주기를 넘어서서 진화해 나갑니다.

표1, 집합적 임팩트 활동의 성과측정과 평가를 위한 실행과 체계는 다양한 접근의 개념수준 정도로 설명하고 있으며 계획의 발전에 있어 다양한 단계와 관련되어 있습니다. 그래픽의 밑바닥 부분에서 보이는 주황색과 청록색의 막대기는 성과측정의 두 가지 접근을 보여줍니다: 진전의 초기 지표와 계획의 공유된 측정 체계입니다. 이 두 가지 접근들은 모두 CI 파트너들에게 계획의 진전에 있어 유용한 자료들을 제공합니다. 이번 안내 파트1에서 설명했듯이 공유된 측정체계는 희망했던 결과에 대해 계획한 진전도를 추적하기 위한 일반적인 지표들을 사용합니다. 이러한 정보는 CI 파트너들이 그들의 핵심 계획이 한번 자리 잡게 되거나 전문가들이 그들의 프로그램들과 전략들을 실행하고 나면 가치를 잃게 됩니다. 다시 말해서 CI 파트너들이 중간단계와 궁극적인 결과들의 진전 정도를 이성적으로 예상할 수 있을 때를 의미합니다.

비록 계획의 초기 1~3년에는 공유된 측정 체계에서 보이는 지표들을 보고 진전도를 예상하는 것은 불충분합니다. 이 기간 동안에 CI 파트너들은 내부적인 관계 형성과 계획의 인프라(전략적 행동계획, 업무조직구조, 공유된 측정체계 까지도)를 실행하고 발전시켜나가는 것에 초점을 맞춥니다. 이런 초기 단계 동안 파트너들의 계획의 진전도 평가를 돕기 위해 이번 가이드는 계획의 설립과 실행의 질에 초점을 맞춘 초기 활동 지표들의 예시 몇 가지를 제공합니다.

[13]

강력한 수행평가 시스템은 CI 파트너들에게 만약, 어디서 그리고 누구의 CI 계획이 진전되고 있는지에 대한 순차적인 자료를 접할 수 있게 합니다. 이러한 자료들이 CI 전문가들과 기금 제공자들에게는 중요하지 않지만 대부분의 CI 파트너들은 어떻게 그리고 어느 정도로, 왜 계획이 진전되는지 진전되지 않는지 알아야 할 필요가 있습니다. 이러한 자료들은 주요한 질문에 대한 답을 주는데 평가는 행동측정에 중요한 도움을 주는 역할을 합니다. 계획의 발전단계에 따라 CI 파트너들은 평가에 각기 다른 접근을 하길 원하는데 여기에는 발달평가, 형성평가, 총괄평가(표 1참고)를 포함합니다. 이러한 접근들은 틀 형성에 도움을 주고 평가에 집중할 수 있게 합니다.

3가지의 평가 접근 방식은 상호배타적이지 않습니다. CI 변화 과정의 비선형 형태이기에 계획의 특정 부분은 발달 평가가 적합함과 동시에 다른 부분은 형성평가가 적합합니다. 예를 들어 계획의 중반기에는 중간단계 결과의 한 개 이상에 대해 형성평가가 사용될 수 있지만 발달 평가에는 비교적 새로운 공유된 측정체계가 더 잘 맞을 수 있습니다.

그러므로 어느 단계에서나 평가는 발달평가와 형성평가를 둘 다 포함할 수 있습니다.

표1: 평가의 3가지 접근

발달평가 초기-중반기

CI 발전 단계: CI계획이 탐구되고 발전해갑니다.

어떤 일이 일어나는가?

CI파트너들은 그들의 계획의 주요 요소들을 정립하고 행동 계획을 세우며 다른 전략들과 활동들을 탐구합니다. 어떤 작업을 어떻게 할지에 대한 불확실한 정도가 존재합니다. 새로운 질문들과 도전들 그리고 기회들이 나타납니다.

주요 전략 질문: 무슨 일이 일어나야 하는가?

형성평가 중반기

CI계획이 진화되고 개선됩니다. 계획의 주요 요소들이 제자리를 잡고 파트너들은 동의된 전략들과 활동들을 실행해 나갑니다. 결과들이 더욱이 예측 가능해 지고 계획의 내용들이 잘 숙지되며 이해도가 증진된다.

일이 잘 진행되어 가는가?

총괄평가 후반기 CI 계획이 안정되고 자리를 확실히 잡는다. 계획의 활동들이 잘 자리 잡고 변하지 않습니다. 실행자들은 중요한 경험을 하게 되고 ‘ 무슨 일’을 하는지에 대한 정확도가 증진됩니다. 계획의 영향, 이익, 가치 그리고 중요성이 결정되어 갑니다.

어떠한 변화를 만들어냈는가?

[14]

평가 질문 선택하기

CI계획을 위한 평가 종류들을 선택하는 동안에는 주로 계획의 발전 단계 영향을 받는 반면에 평가의 범위나 목표는 파트너들이 가장 긴급하게 필요한 정보나 질문들에 의해 결정 됩니다. 훌륭한 평가는 가장 필요할 때 중요한 질문에 명확한 답을 제공하는 것입니다. 이러한 방식으로 평가에 초점을 두는 것은 일정한 방식을 요구하는데 파트너들은 더 많은 것이 항상 좋은 것은 아니라는 것을 기억해야 합니다. ‘알아야 하는 것’에 관한 질문들에 집중하는 것과 단순히 ‘알아두면 좋은 것’ 중에 파트너들은 그들의 평가가 작업에 실질적인 증진을 위해 필요한 실천 가능한 범주를 제공해 줍니다. (평가를 완성하기 위해 요구되는 시간과 자원들은 질문들의 수에 비례한다는 것을 염두 해야 합니다)

훌륭한 평가 질문들은 기본적으로 열린 결말이며 넓은 범위에 잠재적인 요소들, 영향 그리고 원동력을 탐구할 수 있게 합니다. 그리고 일부 전략들이 높은 수준의 목표와 더 자세한 목적들을 포함하는 것과 마찬가지로 평가들은 종종 전략적인 질문들을 포함합니다. 질문들은 평가의 목적과 범위 그리고 더 자세하게 특정한 결과들과 측정 할 수 있는 지표들과 연관된 특정 질문들을 나타냅니다.

집합적 임팩트의 평가는 계획의 발전 단계에 따라 각각 다른 전략적 질문들에 초점을 맞춥니다. CI 계획이 기본적으로 다양한 작업그룹과 활동 흐름의 협력이 이루어지면서 더 나아갈수록 3가지 종류의 모든 질문들을 탐구하기가 더 쉬울 수 있지만 막 시작한 CI 계획들은 문맥적이거나 실행관련 질문들에 초점 맞추는 것을 선택합니다.

CI파트너들이 그들의 평가를 안내해줄 높은 수준의 대단히 중요한 질문들의 확인하고 나면 다음 단계는 평가의 진전도에 사용될 결과들과 연관된 지표들을 결정하는 것입니다. 이러한 결과들과 지표들은 보충자료가 보여주듯 특정한 질문들과 연관됩니다.

[15]

표2: 전략적 질문 샘플

집합적 임팩트 계획의 문맥에 대한 질문은 외부상황이나 요소들이 CI 계획의 설립이나 진전도에 영향을 주는지 탐구합니다. 이 영역에 대한 샘플 질문들은 이와 같습니다:

문제와 관련해서 긴급한 부분은 어느 정도 있는지. 집단적 영향에 대한 접근을 통한 문제들을 헌신적으로 다루고 싶어 하는 챔피언이나 작업을 지지해주는 기금제공자가 있는가?

CI계획들이 어느 정도로 그리고 어떠한 방식으로 지역사회들의 영향력과 자산들을 이용하는가?

CI 계획을 수립하고 실행하는데 어떠한 문화적, 사회경제적, 정치적 요소들이 영향을 주는가? 이러한 요소들이 CI 계획의 발전에 어떻게 그리고 왜 영향을 주는가?

집합적 임팩트 계획의 수립과 실행에 대한 질문들은 더 자세하고 CI 변화 과정에서 주요 부분의 영향력에 대한 모든 관심을 집중 시킨다.

CI계획이 5가지의 모든 주요 상태들에 어느 정도로 그리고 얼마나 부합하는가?

어떠한 상태들이 가장 큰 탄력을 받는지 그리고 어디에서 계획이 가장 큰 도전을 경험하는가?

CI 계획이 결과들을 달성하면서 발전과 도전들에 응해 어느 정도로 어떠한 방법으로 발전해나가는가? 왜 응하고 이러한 방식을 적용하는가?

집합적 임팩트 계획의 결과와 영향에 대한 질문들은 CI 계획이 어느 정도로 그리고 어떠한 방법으로 목표를 달성했고 지정한 지역에 사람들과 체계들에 영향을 주었는가를 탐구한다.

다양한 체계들이( 교육, 건강) 어느 정도로 그리고 어떠한 방법으로 CI 계획의 목표에 관련해서 정책들, 프로그램, 자원의 사용이 다른 결정을 만들어 냈는가?

CI계획이 어느 정도로 최종적인 목표를 달성했는가? 어떻게 그리고 왜 이렇게 발생했는가?

집합적 임팩트의 어떤 부분이 계획의 성공과 실패에 가장 큰 영향을 주었는가?

CI계획이 주주들과 그들의 복잡한 문제들을 다루는 능력에 어떠한 차이를 만들었는가?

[16-17]

Initiative(이니셔티브) 전체에 걸친 평가 과정

초기

CI initiative(이니셔티브)의 초기-1년, 2년 혹은 3년으로 보기도 한다-는 종종 높은 에너지, 관계 성립의 강조, initiative(이니셔티브) 핵심 구조와 과정에의 집중으로 특징지어진다. 이 시간 동안, CI 실무자나 기부자들은 그들이 성공과 가깝게 “제대로” 가고 있는지를 아는 것이 어려울 수 있다-다시 말하면, 그들의 initiative(이니셔티브)의 고안과 초기 실행이 그들이 바라는 결과로 진행될 것인가 하는 것이다.

전 세계에 걸쳐 진행된 여러 CI initiatives(이니셔티브)와 관련된 우리의 일은 CI 파트너들이 이 시작 단계에서 추적할 수 있는 몇 가지 중요한 초기 수행 지표를 제시한다. 이 초기 지표들은 CI initiative(이니셔티브)의 고안과 실행에 연관된 많은 “성공 요소”를 추적한다. 표 2는 CI 고안과 실행 과정에서 다양한 성분에 걸친 몇 가지 표본 지표들을 제시하는데, 이는 첫 12개월에서 18개월 동안 CI initiative의 발전의 증거들이 보이는 영역에 집중되어 있다. (부록은 초기 수행 지표의 표본이 더 많이 수록되어 있다.) initiative(이니셔티브)의 알려진 시스템의 대부분의 지표와는 다르게, 아래 제시된 지표들 중 대부분은 질적이며, 인터뷰, 설문조사, 집중 모임 혹은 다른 질적 데이터 수집 방법을 필요로 한다.

표 3 : 효과적인 고안과 실행의 초기 수행 지표 표본

CI 성분	지표
공통 의제	Initiative(이니셔티브)의 운영 위원회(혹은 다른 대의 기구)는 모든 관련 분야와 선거구의 의견을 포함한다. 표적 인구의 구성원은 공통 의제를 구성하는데 돕는다. 파트너들과 더 넓은 공동체가 문제를 이해하고 설명할 수 있다 모든 파트너들이 지리학적 경계와 인구 표적을 정확하게 알고 있다 파트너들은 전략과 조치의 선택에 있어서 데이터(양적, 질적)를 이용한다.
중추 기반시설(Backbone Infrastructure : BBI)	Initiative(이니셔티브) 운영 위원회 혹은 다른 대의기구는 복합적인 관련 분야와 선거구로부터 다양한 의견과 관점을 포함한다. 주요 파트너와 외부의 이해당사자들은 중추 스태프(BB Staff)를 존중한다. 파트너는 BBI와 SC를 initiative(이니셔티브) 지지, 전략적 조언 그리고 리더십에서 돌본다. BBI는 프로젝트 관리 원조를 제공하는데, 이는 목표에 대한 모니터링 과정과 기회, 장애물, 차이 그리고 중복을 논의할 수 있게 파트너들을 연결하는 것을 포함한다. BBI는 활동의 지지를 공고히 하고 새로운 기회를 좇기 위해 파트너와 외부 이해당사자들을 소집한다. SC는 정기적으로 목표를 향한 과정에 있는 SMS 데이터를 재검토하며 그것을 전략적 결정과정을 공지하는데 이용한다.
측정 시스템 (SMS)	파트너들은 공유의 측정 시스템의 가치를 이해한다. 파트너들은 그들이 공유의 측정 시스템에 어떻게 참여하는지를 이해한다. 참여 과정은 공통 지표와 데이터 수집 방법을 결정하는데 쓰인다. 파트너들은 진행되는 협력을 지지하는 데이터 공유 사항에 합의한다. 시스템은 공통 지표와 데이터 수집 방법을 포함하는데, 이는 CI initiative(이니셔티브)의 결과에 있어서 발전의 시기적절한 증거(혹은 부족함의 증거)를 제공한다. 파트너들은 데이터 계획에 정의된 대로 데이터를 모으는데 헌신한다. 파트너들은 SMS를 이용하는 방법을 숙지한다. 파트너들은 시기절절하고 지속적인 태도로 공통 지표의 높은 질의 데이터를 기여한다.
상호 강화 조치	조치 계획은 명확하게 다른 파트너들이 실행에 헌신해야 하는 조치들을 나타낸다. 실무 그룹(혹은 다른 연합 기구)은 조치 계획에 있어서 협력하여 조치를 조정한다. 파트너들은 그들 스스로가 실무 그룹에 어떻게 기여해야 하는지에 대한 명확한 접근/목표를 가지고 있다 파트너들은 다른 실무그룹의 역할과 어떻게 이들이 공통 의제를 지지하는지를 이해한다. 파트너들의 활동은 조치 계획을 더 잘 조절하는 방향으로 변한다.
지속적 의사소통	실무 그룹(혹은 다른 연합기구)은 정기적으로 회의를 한다. 실무 그룹과 다른 연합 기구의 구성원은 회의에 적극적으로 출석하며 참여한다. 파트너들은 정기적으로 의사소통하며 활동을 조정한다(중추 스태프들과 함께 그리고 독립적으로) CI initiative(이니셔티브)는 외부 이해당사자들을 정기 회의에 참여시키며 그들의 피드백을 전반적인 전략에 통합시킨다.
Initiative(이니셔티브) 능력	initiative(이니셔티브)의 중심 기반구조가 그 책임을 다하게 하기 위한 충분한 수행 지원이 접근 가능하다. CI initiative(이니셔티브)는 더 넓은 범위의 주주들에게 권한을 행사하고 주주들을 회의에 소집할 수 있는 영향력을 가진 사람과 옹호자들을 가진다. CI initiative(이니셔티브)는 더 넓은 공동체의 전략을 옹호하는 지지자를 가진다. CI initiative(이니셔티브)의 지도권은 공공과 개인기금 모두를 오갈 수 있는 다양한 분야에서 온다.
배움 문화	구조와 과정을 학습하는 것은 CI initiative(이니셔티브)의 업무에 포함된다. 의사결정과정은 투명하게 공개된다. 파트너들은 주요 의사결정과정에 포함되어 있다고 느낀다. 파트너들은 정기적으로 다른 파트너로부터 피드백과 조언을 구한다. 파트너들은 서로 신뢰한다. 다른 문화와 배경을 가진 사람들은 CI initiative(이니셔티브) 안에서 존중 받고 자신의 의견이 반영된다고 느낀다.

[18]

결과와 지표 선택 지침

어떤 평가가 집중할 결과와 지표를 결정하는 것은 평가 고안 과정에서 가장 중요한 단계 중 하나다. 보통, 각각의 결과는 다양한 지표들과 연결되어 있는데, 이는 평가자로 하여금 가장 관련 있고 비용에 있어서 효율적인 지표를 유연하게 선택할 수 있게 하며, CI 파트너들이 각각이 결과를 성취하는데 있어서 그들의 진보를 탄탄하게 이해할 수 있게 한다.

이 지침은 CI 파트너들이 그들의 진보, 효율성과 영향력을 평가함에 있어서 많은 표본 결과와 지표들을 제공한다(표 2와 3A-3E, 부록 참고). 우리는 CI 파트너들에게 이 문서에 제시된 모든 결과와 지표를 따르기를 권하는 것이 아니다. 파트너들은 initiative(이니셔티브)를 진척시켜가는 과정에서 initiative(이니셔티브)의 진보에 대해 실행 가능한 정보를 제공하고 또한 파트너들의 자신감을 고취시킬 수 있는 결과와 지표를 평가해야 한다.(평가를 완성하는데 드는 시간과 자원이 탐구 되는 결과와 지표의 비율에 비례해 자란다는 것을 기억해두는 것이 좋다)

다음의 기준이 집중할 결과와 지표의 목록을 좁히는 데 도움을 줄 수 있을 것이다:

타이밍 – 이 결과/지표를 측정하기에 올바른 시간인가? CI initiative(이니셔티브)의 이 단계에서 이 문제에 대해 배울 것이 있는가?

실행 가능성 – 이 결과/지표로 데이터를 모으는 것이 얼마나 쉬운가? 데이터 출처에 접근이 가능한가?

능력 – 우리가 이 결과/지표에서 데이터 수집에 착수할 만한 충분한 인력과 경제적 자원이 있는가?

이 초기 수행 지표들에서 수집된 데이터들은 CI 파트너들이 높은 수행 수준의 CI initiative(이니셔티브)를 만들어 내기까지 그들이 만들어 온 진보를 이해하는데 도움을 줄 수 있다. 이 데이터를 보완하고 initiative(이니셔티브)의 초기 노력의 품질과 효과성에 대해 더 깊은 통찰을 제공하기 위해서, CI 파트너들은 발전적인 평가를 감수하려 할 수도 있다. 이러한 평가의 유형이 CI 파트너들이 다음에 제시되는 질문 유형을 탐사하도록 도울 수 있다 :

CI initiative(이니셔티브)가 구체화 되면서 어떤 것이 발전하거나 드러나고 있는가?

더 주의를 요하거나 변화해야 하는 CI 과정은 무엇인가?

CI initiative(이니셔티브)가 변화하는 환경에 어떻게 적용되어야 하는가?

무엇이 잘 되고 있으며 그것은 초기 진보의 어떤 부분인가?

CI 파트너들 사이의 관계는 어떻게 발전되고 있는가?

시스템의 다양한 부분들(다른 파트너들) 혹은 더 큰 환경이 공동 영향력 initiative(이니셔티브)에 어떻게 대응하고 있는가?

CI initiative(이니셔티브)에서 어떤 것이 뜻밖의 효과나 결과를 야기했는가?

이 높은 수준의 질문들에 대한 답변이 파트너들이 그들의 CI 업무에 의 가장 초기 단계에 대해 배우고 결정을 할 수 있는 정보들을 제공할 수 있다. 발달적 평가는 아주 실천적인 접근을 요구한다; CI 노력을 고안하고 실행하는 사람들과 밀접하게 일하기 때문에, 발달적 평가자들은 비공식적이고 공식적인 수단을 통해 데이터를 수집하고, 빠르게 분석하며, 주주들과 결과를 공유할 책임이 주어진다. 가장 뛰어난 발달적 평가자들은 유연하고 즉각 반응하는 “비판적인 친구들”인데, 그들은 CI 실행자들이 더 알아야 하는 것이 무엇인지 구별하고, 그 정보를 수집하며, “현실 시간”에서 발견한 것으로부터 알게 된 것을 적용하는데 도움을 준다. 이 과정은 후원자들과 다른 CI 파트너들에게 변화하는 조건에 initiative(이니셔티브)의 대응에 대한 중요한 통찰과 그 노력이 견인책이 되는 속도, 그리고 CI 파트너들이 실천에서의 성공적 배움을 제공할 수 있다.

[19]

발전적 평가가 영아 사망률에 대한 공동체 영향력 Initiative(이니셔티브)의 추진을 돕는 방식

매년 미주리 주에서는 대략 600명의 영아들이 돌이 되기 전에 사망한다.    영아 사망률은 특별히 미국의 아프리카계 미국인 인구와 밀접하게 관련되는데, 이는 비 히스패닉계 백인 영아 사망률(5.9명)의 두 배이기 때문이다. (1000명 당 11.8명) 그래서 아프리카계 미국인들이 불균형 하게 많이 살고 있는 미국의 두 지역은 총 영아 사망률의 3분의 1 가량을 차지한다. 이 지역들은 세인트루이스와 Bootheel이라는 지역인데, 미국의 최동남쪽 6개 자치구를 포함한다.

* 주의: MFH는 또한 비슷한 활동을 지원하기 위해서 세인트루이스에 있는 기존의 기관에게 계획 보조금을 지급했다. 두 영아 사망률 initiative(이니셔티브)의 고안에는 중요한 차이점들이 있고, 그렇기 때문에 발전적 평가에 대한 접근도 차이가 있다. 명확성과 간결성을 위해, 이 글은 주로 Bootheel 지역의 연구에 집중한다.

미주리 건강협회(The Missouri Foundation for Health, MFH)는 84개 미주리 자치구와 세인트루이스의 비보험자들과 충분한 지원을 받지 못하는 사람들의 건강을 증진시키는 것을 목적으로 하는 독립자선기관이다. 2012년에, MFH는 영아 사망률을 네 initiative(이니셔티브) 중 하나로 선정하면서 우선순위로 두었고, 세인트루이스(도시 지역)와 Bootheel(농촌 지역)인 별개의 두 지역에 노력을 집중하기로 결정했다.

이 두 공동체의 영아 사망률을 다루는 일의 필요성은 이미 널리 알려져 있었다; 많은 지역 비영리기구들, 병원들, 대학들과 여타 기관들이 이미 작은 규모의 프로그램들을 실행했다. 당연히 문제는 이 많은 독자적인 프로그램들이 상당한 변화로 귀결되지 못했다는 것이었다. MFH는 새로운 접근이 필요하며, 프로그램 고안과 두 지역 모두에 종합적으로 영향을 줄 수 있는 initiative(이니셔티브)에 총력을 기울이기로 결정했다. Bootheel 지역에서 MFH의 첫 번째 발걸음은 영아 사망률과 모자건강과 관련 있는 두 개의 기관을 확인하고, 이들과 함께 종합적으로 영향을 줄 수 있는 initiative(이니셔티브)를 실행 계획 과정에 착수했다. MFH는 두 기관을 독려했다. 두 기관은 같은 주제에 대해 같은 장소에서 일한 전적이 있으나 같은 방법으로 일을 하지는 않았다. 이는 새로운 CI initiative(이니셔티브)의 근간이 되는 기반을 공동개발하고 공동 의제의 개발의 준비 작업을 시작하기 위한 것이었다.

CI initiative(이니셔티브) 개발에 있어서 수여자를 도와주기 위해, MFH는 다양한 자원을 이용 가능하게 만들어왔다. 이 자원들에는 MFH 직원들의 직접적인 도움, 내용 기반의 기술적 도움을 제공하는 공공 보건 전문가, 수여자 기술, 능력, 지식 기반을 개발하기 위한 훈련, 워크숍, 현장방문을 제공하는 교육 코치, 그리고 Spark 정책 연구소와 평가혁신센터에서 파견된 두 명의 발달평가코치들이 포함된다. 이 발달 평가 코치들은 MFH 프로그램 직원들과 수여자들이 발달평가를 그들의 새로운 CI initiative(이니셔티브) 디자인과 실행을 향상시키는데 잘 쓸 수 있게 도움을 준다. 그 재단은 평가전문가들보다 발달 평가 코치들을 이용하기로 결정했는데, 이는 MFH 직원들과 Bootheel 수요자들이 initiative(이니셔티브) 시작 이후에 스스로 발달평가를 사용할 수 있기를 바랐기 때문이다.

발달평가 코치들은 평가에 발달적 접근 훈련을 하면서 시작했다. 어떤 종류의 질문에 답할 수 있는지, 어떻게 데이터 수집이 작동하는지, 어떻게 발견이 의사 결정으로 피드백 될 수 있는지 등이 내용에 포함된다. 그들은 또한 다른 CI initiative(이니셔티브)에 실행될 수 있는 발달 평가의 예시를 제공했다. 그들은 중심 직원들에게 간단한 설문조사를 훈련 중에 실시함으로써 그들이 발달 평가에 잘 준비될 수 있게 했다. 이 정보는 전반적인 발달 평가 접근을 이끄는데 도움이 되었다.

[20]

다음으로, 코치들은 중추 기관들과 함께 일하면서 그들의 첫 번째 교육문제를 밝히려 했다. 많은 CI initiative(이니셔티브)의 아주 초기 단계에서 늘 그러하듯, 수여자들은 핵심 맥락과 관련된 요소들과 문화 역학이 그들의 문제 정의와 전략 수립에 어떻게 작용하는지를 더 잘 이해하는데 집중하기로 결정했다. 그들의 교육 질문은 이것이었다 : “영아 사망의 문제가 다른 두 수여자 기관들을 포함해서 우리 지역의 다른 이해당사자의 시선에서는 어떻게 보이는가?”  발달 평가를 통해 이 질문을 조사하면서, 수여자들은 영아 사망을 규명하는데 그들의 노력 저변에 깔린 어떤 긴장(예를 들어, 산모와 의학적 보호 제공자의 기대, 태아 보호 접근에 따른 인종적 차이나 태아 보호의 질 등)을 밝혀내고 그들의 종합적 영향 initiative(이니셔티브)의  고안과 관련된 영향을 다룰 수 있기를 바란다. 중추 기관들은 이러한 질문을 12월 초에 제기하기 시작했고 1월 초에 답변을 요구했다. 그래야 그들이 주요 계획 수정을 할 수 있기 때문이었다. 이러한 일화는 어떤 CI initiative에서 종종 보이는 평가 필요를 강조한다―빨리 움직이는 능력이 있되, 여전히 의미 있고 정확한 정보를 수집할 수 있어야 한다.

이러한 교육 순환에서 사용된 데이터 수집 방식은 지역 내 다양한 범위의 핵심 정보원들에 대한인터뷰 뿐만 아니라 각 Bootheel 수여자 기관의 직원들에 대한 설문조사를 포함한다. 이 인터뷰들은 높은 영아 사망률의 원인이 되는 요소들에 대한 이해관계자들의 관점, 발전을 막는 장벽, 그 지역의 다른 공공 보건 이슈와 비교해 영아 사망이 상대적으로 중요함을 이해한다.

새로운 질문을 밝히고 결정에 있어서 필요한 시점 안에서 그들에게 답하기 위한 이 접근은 적어도 분기별로-필요하다면 더 자주 반복될 것이다. 발달 평가 코치들이 데이터 수집과 분석의 첫 회기를 실시하는 동안, 평가는 점차적으로 전환되어 수여자들이 코치 도움과 함께 직접 그들의 데이터를 모으고 이용하는 책임을 지게 될 것이다. 첫 번째 회기에도, 세 명의 수여자 직원들이 설문조사 고안과 결과 해석에 참여했다. 그들은 또한 나머지 주요 직원들에게 찾은 것을 발표하기도 했다. 코치들은 각각의 참여자들이 발표를 준비하고 경험을 재단 직원들과 수여자들과 논의하게 도왔는데, 발표 과정과 결과 이용의 과정에 함께하지는 않았다. 이 연습은 수여자들과 재단이 그들이 CI initiative(이니셔티브)의 초기 단계에서 발달 평가를 이용하는데 그들이 필요한 도움을 여전히 받으면서 평가과정의 주도권을 가지도록 하는 결과를 가져왔다.

참여자들은 이해하고 관점을 다루는 이러한 구조적 접근(수여자 직원들과 외부 이해당사자들 모두)이 신뢰를 쌓고 의사소통의 창고를 여는데 도와주기를 바라는데, 이는 initiative(이니셔티브)의 장기적 성공에 필수적이다. 더 나아가 그들은 첫 번째 발달 평가 순환이 직원과 수여자들이 발달 평가가 무엇인지를 이해하고 앞으로 실행될 initiative(이니셔티브)의 사업을 안내하고 증진시키는데 도움을 줄 수 있기를 바란다.

더 많은 정보 :

MFH의 영아 사망 관련 사업

www.mffh.org

평가 혁신 센터

www.evaluationinnovation.org/

Spark 정책 기관

www.sparkpolicy.com

출처 :

• 2013년 12월 평가 혁신센터 지배인 타냐 비어의 인터뷰

• 2014년 2월 미주리 보건 재단 프로그램 책임자 캐틀린 홈즈의 서신

[21-22]

중기

CI initiative(이니셔티브)의 중기는 initiative(이니셔티브)가 이것의 중간 결과에 관한 특정한 성공을 달성해야하는 엄청나게 중요한 시기이다. 행동과 체계 패턴의 변화가 관련된 이러한 결과들은 initiative(이니셔티브)의 궁극적인 집단수준에서의 결과 추구에 대한 토대로 작용한다. 결과적으로, 몇몇 CI initiative(이니셔티브)는 중기동안 궁극적인 결과에 대한 견인력을 가지게 된다.

표 4A-4E는 CI initiative(이니셔티브)가 이 시기에 성취하고자하는 중간 결과의 일련의 예시를 제공하고, CI 파트너가 이러한 결과들의 과정을 추적하는데 쓸 수 있는 몇몇 지표들을 제안한다. ( 부록은 이러한 중간 결과와 지표 예시들에 대한 더 긴 목록을 제공한다.)

표 4a: 전문적 실행 변화와 관련된 결과와 지표 예시

결과	지표
형식적 수행자와 기관은 공동체의 필요에 더 민감하게 반응했다.	형식적 수행자/기관은 그들이 돕는 사람들을 더 잘 이해하고 그들의 필요를 더 잘 다룬다. CI initiative(이니셔티브)에 의해 설정된 집단 혹은 이슈는 시스템 행위자들 사이에서 우선순위로 여겨진다. CI initiative(이니셔티브)에 의해 설정된 집단 혹은 이슈는 시스템 행위자들에게 더 많은 관심을 받는다.

표 4b: 개인행동 변화와 관련된 결과와 지표 예시

결과	지표
CI initiative(이니셔티브)는 바람직한 행동의 변화와 관련한 인식과 지식의 변화를 만들고 있다.	개인은 바람직한 행동의 변화에 관련한 증가된 인식에 대해 보고한다. 개인은 바람직한 행동의 변화에 관련한 증가된 지식을 보고한다.

표 4c: 문화적 규범과 관련된 결과와 지표 예시

결과	지표
개인행동을 지배하는 사회적, 문화적 규범은 CI initiative(이니셔티브)	매체 메시지는 CI initiative(이니셔티브)에 의해 설정된 바람직한 행동을 지지한다. (PSAs. 텔레비전/라디오/신문 메시지, 블로그) 소셜 매체 메시지는 CI initiative(이니셔티브)에 의해 설정된 바람직한 행동을 지지한다. (예: 메시지, 대화 혹은 트위터, 페이스북, 유튜브, 핀터레스트와 같은 소셜 네트워크 사이트의 캠페인) 정해진 이슈 영역/시스템과 관련한 대중 이야기는 CI initiative(이니셔티브)의 목표를 지지하는 언어와 메시지를 포함한다. 즉, 형식적 행위자/기관은 그들이 돕는 사람들을 더 잘 이해하고 그들의 필요를 더 잘 다룬다.

표 4d: 자금흐름과 관련된 결과와 지표 예시

결과	지표
CI initiative(이니셔티브)에 의해 목표로 설정된 이슈 영역/시스템의 공공 자금은 점점 더 CI initiative(이니셔티브)의 목표와 일치한다.	목표로 설정된 이슈 영역/시스템을 위한 전반적인 공공 자금은 증가되어왔다. 존재하는 공공 자원은 목표로 설정된 이슈 영역/시스템에서 증거중심 전략과 연결되어 있다. 새로운 공공 자원은 목표로 설정된 이슈 영역/시스템의 증거중심 전략에 사용된다. 공공 자금은 목표로 설정된 이슈 영역/시스템의 프로그램 혁신과 실험을 허락하기 위해 점점 더 많이 설계되고 있다.

표 4e: 공공 정책 변화와 관련된 결과와 지표 예시

결과	지표
CI initiative(이니셔티브) 는 CI 정책 목표를 위해지지 기반을 더 강화시킨다.	이슈에 대한 증가된 대중 개입 이슈의 챔피언에 의해 취해지는 증가된 행동 이슈를 지지하는 파트너의 증가된 폭 증가된 매체 범위 대중과 핵심 정책 입안자들 사이에서 CI의 메시지에 대한 증가된 인식 CI의 메시지/목표의 지지에 대한 대중 의견 변화

이러한 매우 중추적인 중기동안 – initiative(이니셔티브) 계획의 크기와 범위에 따라서 6년, 7년, 10년 혹은 12년이 될 수 있는 전체 기간 중 3년이나 4년을 차지할 수 있다.- CI 파트너는 어디에서 그리고 누구를 위해 initiative(이니셔티브)가 나아가고 있는지를 결정하기 위해 SMS로부터 정보를 사용할 수 있다. 예를 들어, Partners for a Competitive Workforce (PCW)는 그들의 지역 고용률을 높이는 궁극적인 목표에 대한 진보를 추적하기 위해 공유된 측정 시스템을 사용했다.

[23]

PCW가 어떻게 공유된 측정 시스템을 사용하는가

파트너스 포 컴페터티브 워크포스 (PCW) 는 오하이오- 켄터키- 인디아나의 3개 주로 이루어진 지역에서 계획된 노동인구 개발이다. 이 계획의 목표는 현재와 미래의 노동인구의 기술들을 향상시킴으로써 고용주의 요구를 충족시키는 것이다. PCW는 그 지역의 90 퍼센트의 지역 노동 인구가 2020년까지 유급으로 고용되는 "중대한 목표"를 얻기 위한 노력을 이끄는 역할을 맡아왔다. 계획에 속한 파트너들은 고용주들, 상공 회의소, 노동 의회, 교육 기관, 서비스 제공자, 노동자, 그리고 다른 지역사회의 지원자들을 포함한다. 이 계획은 다양한 지방, 주, 그리고 Greater Cincinnati Foundation, the United Way, Protector & Gamble, National Fund for Workforce Solution 과 같은 국가 기관들로부터 자금을 지원받는다.

PCW는 지역의 노동인구 문제들을 다루기 위한 공동 부문의 노력들의 긴 역사를 통하여 집단적 파급 계획으로 진화했다. 계획은 2008년도에 착수되었고, 기금의 간소화와 데이터 공유 방침을 개선하는 것과 같은 노동자와 관련된 시스템에 중요한 변화를 불러 일으켰다. 또한 PCW는 지역의 취업률을 가속하는 궁극적인 목표로 향하는 단계를 만들었다. 지난 6년간, 7,800명 이상의 사람들이 수요가 많은 직업에서 트레이닝을 받았다. 이중에서, 6,300명 이상이 이후에 일자리를 구했고 4,600명에 가까운 사람들이 적어도 일 년 동안 그 직업을 유지했다.

직장에서의 공유된 측정 시스템

계획의 공유된 측정 시스템 (SMS)의 개발과 진행 중인 사용은 지금까지 이 성공의 중요한 구성요소로 여겨져 왔다. 시스템의 기반은 2007년 지*스타 플랫폼을 사용한 오하이오 주 남서쪽 지역의 인력 투자에서 시행됐다. 현재, 30여 개의 지역 서비스 제공자들은 곧바로 각각의 고객들에게 제공된 서비스들뿐만 아니라 고객들의 인구통계에 데이터를 올리는 SMS에 참여하고 있다. 게다가, PCW 는 오하이오 주와 켄터키 주의 정부 관련 기관과 이 계획이 주의 실업자들의 보험 가입 정보에 접속할 수 있게 하는 데이터 공유 합의를 맺었다. 개인의 근무 상태와 최근 수입을 포함하는 이 데이터는 PCW가 시간 당 임금과 일자리 보유를 포함한 중요한 결과를 추적할 수 있게 한다. 현재 이 시스템은 100,000명 이상의 다양한 고객 기록을 보유하고 있다.

SMS는 3개의 실적 평가의 분류를 포함한다.

인구통계: 나이, 성별, 인종, 국가, 우편번호, 장애, 교육 수준, 범죄 기록

서비스: 총 근무량, 조직, 그리고 제공된 서비스( 직업 교육, 지원 서비스, 직업 탐색, 소프트 스킬 교육)

결과: 자격증, 직업 소개, 산업 소개, 시간 당 임금, 6개월 동안의 직업 지속

PCW의 전 임원인 로스 메이어는 이 계획의 공유된 측정 시스템의 목적을 "서비스 전반에 걸친 유효성과 차이를 이해하는 것.... 중요한 것은 우리 공동의 목표를 향해 일하기 위해서 배움을 만들어 내는 것이다." 라고 말했다.

[24]

공유된 평가 시스템으로 수집된 데이터는 파트너들에게 이러한 질문에 반영할 수 있게 한다:

누구에게 제공되는가? (인구통계와 위치)

서비스의 차이는 어디에서 오는가?

고객이 직면한 장벽은 무엇인가?

어떤 장벽이 낮은 취업 알선과 유지 비율과 관련이 있는가?

어떤 서비스가 더 나은 취업 알선과 유지 비율과 관련이 있는가?

참여하고 있는 제공자들이 같은 종류의 데이터를 입력하면서, PCW 중요 단체의 스태프들은 제공자들의 수행능력과 용이한 정보 공유를 비교할 수 있다. PCW의 현재 고위직 임원인 제니스 얼바닉은, 비교되는 수행 데이터에 접속하는 것이 얼마나 건축 무역에 집중하고 있는 6개의 제공자 그룹의 수행 능력을 개선하는 것을 돕는지에 대해 말했다:

"나는 참여자들과 완료 그리고 대행사를 가로지르는 취업률에 대한 그래프들을 만들어 낼 수 있었다. 그것은 매우 강력한 도구였다 왜냐하면 우리 모두에게 어떤 단체들이 일을 잘 해내고 어떤 단체가 어려움을 겪는지 보여주었기 때문이다. 그리고 그것은 낮은 수행능력을 가진 이들에게 그들이 어떻게 일을 더 잘할 수 있을지 알아볼 수 있는 동기를 제공했다."

PCW는 정기적으로 참여자들을 소집하면서 그들의 일을 되돌아보고 정보와 경험들을 나누게 하면서 이러한 동료 학습 단계를 지원했다. 얼바닉은 이 단계의 증거 기반의 지속적인 발전은 PCW의 커뮤니티 레벨의 변화로 몰아가는 능력에 대해 비판적이라고 주목했다.

PCW의 공유된 측정 시스템은 몇 년간 운영되었지만, 정적으로 남겨지지 않았다. 파트너들은 계속해서 중요한 용어의 정의를 개선하고 데이터 수집과 보고에 대한 지속성을 향상시키기 위한 기회를 노려왔다. 게다가, PCW는 활발히 계획을 신속히 허가하고 그 단계를 외부의 이해당사자들과 단순히 소통하게 하는 계기판 보도 기계장치의 발전에 대해 일하였다.

배운 점

로스 메이어는 공유된 측정 시스템의 발전을 계획에 대한 "주요 도전" 이라고 언급했다. 이것은 CL 계획 사이에서는 드문 일이 아니다, 왜냐하면 공유된 측정 단계를 감별하는 단계는 종종 파트너의 목표와 성공의 정의에서의 중요한 차이를 드러내기 때문이다.

PCW의 맥락에서, 투자자들은 포함한 지역에 있는 많은 단체들은 초기에 주요 인력의 결과들을 측정하기 위해 다르게 나아간다. (예를 들어, 몇몇의 단체들은 직업 유지를 3개월마다 측정하고, 다른 곳은 6개월 마다, 그리고 여전히 또 다른 곳은 1년에 한번 혹은 더 많이 측정하곤 한다. )  " 공유된 측정 시스템을 개시하기 위한 핵심은," 메이어가 말했다, " 결과에 대한 협정에 오게 되었고, 우리가 따르고 싶어 했던 정의는.... 실제의 기술적인 면은 훨씬 덜 도전적이었다." 투자자들이 흔한 측정을 채택하는 것을 북돋는 것은 부분적으로 중요한 단계였다, 왜냐하면 보고 요구들이 제공자들과 다른 파트너들의 데이터 수집 효과에 낙수효과를 겪었기 때문이다.

더 많은 정보는:

About Partners for a Competitive Workforce (PCW): www.competitiveworkforce.com  About FSG Case Study on the development of PCW: www.fsg.org/casestudiesCl

출처:

" “Collecting and Using Common Data to Drive System-Wide Continuous Improvement.” Presentation by Sherry Kelley Marshall and Ross Meyer to National Association of Workforce Boards. March 2012.

Interview with Ross Meyer, Former Executive Director, PCW, June 2013.

Interview with Janice Urbanik, Current Executive Director, PCW, January 2014.

[25]

어떻게 또는 왜 그들의 계획이 그것의 목표를 향해 나아가는지에 대한 더 나은 이해를 추구하는 Cl 파트너들은 그들의 공유된 평가 시스템에 의해 수집된 데이터들을 보완하기 위한 평가를 수행하길 바란다. 계획 중반 동안에 평가가 성장과 중요 접근을 포함하는 것처럼 보인다. 성장 평가는 계획의 새로운 양상들을 찾는 것을 도울 것이다 (신흥의 전략 또는 구조들과 같은). 접근 평가는 Cl 파트너들이 이러한 질문들을 찾아가면서 수행하고, 향상하고, 미세 조정을 하는 것을 도울 것이다:

어떻게 하면 Cl 계획이 어떤 것이 잘 진행되고 그렇지 않은 것을 향상시키는 것을 강화할 수 있을까?

얼마나  Cl 계획이 변화하는 상황에 잘 응답하고 어떤 게 이를 더 효과적으로 채택하는 걸 잘하고 있나?

누구에게서 어떤 정도의 결과가 얻어졌나?

어떤 효과나 변화들이 다양한 시스템들에서 보이기 시작했나?

나중의 단계에서 어떤 것이 방해가 되고 어떻게 이것이 다뤄질 수 있나?

우리가 공유된 측정 시스템 디자인에 대해 배우는 것에 대한 어떤 영향들인가? (우리가 이를 평가하거나, 삭제하거나, 지표를 추가해야 하나?)

중요한 평가를 내 비치는 단계는 가끔 Cl 파트너들이 직접적으로 데이터 수집과 다른 평가 활동에 참여하게 한다. 다른 Cl 계획들은 추가적인 전문지식이나 중립적인 관찰자로서의 능력을 제공하기 위한 제 3의 평가자를 골라 채용한다. 중요 평가자들의 주요 역할은 이것이다: 가장 긴급한 평가 질문들을 생각하기 위해 Cl 파트너들과 협동적으로 일한다. 이때 관련이 있고 신뢰할 수 있는 데이터 수집 방법을 사용한다; 납득 할 수 있는 결과를 만들기 위해 파트너와 일한다; 그리고 소통하고 다양한 방법과 대상들을 이용한 결과와 중요한 통찰을 보고한다. Cl 파트너들의 요구들과 흥미에 다라서 결과 평가에 대한 대화들을 배우는 것이 전형적으로 두 번이나 세 번 정도 이뤄질 것이다.

[26]

어떻게 로드맵 프로젝트가 수행 측정과 형성평가를 사용하는가

로드맵 프로젝트 (RMP)는 워싱턴의 사우스 시애틀과 사우스 킹 카운티 저임금 지역 학생들의 성취의 극적인 향상을 목표로 하는 집단적 파급 계획이다. 2010년 6월에 시행되었고, 계획의 목표는 대학을 졸업하고 2020년까지 직업 자격증을 수여 받는 학생 수를 두 배로 늘리고, 저임금 학생들과 유색인종의 학생들의 성취 차이를 줄이는 구체적인 방안을 두는 것이다. 계획은 이제 3년째이고, 계획 수립에 집중하는 것, 초기 시스템을 내 비치는 것, 그리고 행동이 결과를 바꾸는 것을 이행하고 있다.

로드맵 프로젝트는 신중히 짜인 수행 측정과 시작부터의 평가를 가지고 있다. 한 달이 시작하기 전에 계획은 4개의 일하는 그룹을 만들었다 (조기 교육, 지역사회 지원, K-12 교육, 중등 과정 후의 교육). 참여하는 커뮤니티 회원들과 일하고 계획의 공유된 측정 시스템 (SMS)지표를 확인하기 위해 존재하는 연구를 검토한다. 한번 지표들이 선택되면, RMP는 프로젝트 멤버들은 그들의 단계에 대해 측정하는 "출발 지점"을 제공하기 위한 베이스라인 리포트로 임명된다. 그 리포트는 2011년 11월에 발행되었다.

이어진 년도에는, 그 계획이 "학생 성공 지표의 가장 최근 데이터와 기본방향과 목표와 관련 있는 가능한 어딘가와, [보이는] 경향과 결과들"을 공유한 첫 번째 연간 보고서를 발행했다. 그 리포트는 모든 인종과 민족을 통튼3학년의 읽기 레벨의 감소를 드러냈다- 로드맵 프로젝트의 초기 읽고 쓰는 능력의 비율을 향상시킬 격렬한 노력의 필요성의 신호.

로드맵 계획이 3년째로 접어듦에 따라, 비영리로 로드맵 프로젝트의 중요 역할을 하고 있는 CCER의 지도자를 함께 맡고 있는 주요 투자자들 중 하나인, 빌 앤 멜린다 게이트 파운데이션이 3년 동안의 형성 평가를 시작하겠다고 결정했다. 평가는 미래의 결정을 나타낼 수 있는 활동적인 통찰력을 드러내는 것처럼 로드맵 프로젝트 파트너들이 어떻게 그리고 왜 그들의 노력이 차이를 만들어내는지 이해할 수 있는 계획의 SMS를 보완하게 고안됐다. RMP는 평가를 고안하고 시행하기 위해 응용된 연구와 평가 방식의 북동쪽 교육을 채택했다.

이어진 질문들은 평가를 안내한다:

어떤 방법으로 RMP가 단체들에게 촉매작용을 하고 지역에서 시스템을 바꾸기 위해 중심 전략 (데이터 동산화, 공공의 바람과 약속 그리고 나란한 투자)을 쓰는가?

어떻게 RMP가 시행되었나?

예시 부속 질문:

지역 기반 단체들, 교육 기관, 공공 부문 단체, 사업 파트너 그리고 지역 주민들이 RMP에서 어떤 역할을 하는가?

어떤 구체적인 행동 계획이 발달 되어 있고 초기 일하는 그룹과 RMP가 전체로 발달되는가?

충분한 지원(소통과 시설 등등을 통한)이 네트워크를 발전시키고 협업을 위한 일에 제공되는가?

3. 어떤 변화들이 사우스 시애틀과 사우스 킹 카운티 지역과 각각의 단체에서의 RMP에 대한 결과로 나타나는가?

[27]

예시 부속 질문:

법률과 대응이- 학교의 안과 밖에서- RMP 결과 지표와 장기간 목표에서 정렬되었나?

공공과 개인 투자자들이 자원을 할당하고 다른 방법으로 투자 기계 장치를 배치했나? 만약 그렇다면 어떻게 했나?

4. 어떤 단계가 결과 지표와 RMP의 전반적인 성취 목표를 만들어냈나? 지역을 걸친 성취 차이를 좁히는 단계에서?

이러한 질문에 답을 하기 위해, 북동쪽 교육은 다양한 평가 방법을 통해 질적과 양적 정보들을 수집했다. 먼저, 그 팀은 RMP의 파트너와 함께 온라인 설문조사를 시행했다(직접적으로 RMP 일에 참여한 개인으로 정의되는, 그리고 RMP의 이해당사자들 혹은 직접적으로 적게 개입했지만 계획의 결과에 많은 관심을 가진 개인으로 정의되는). 그 팀은 또한 다른 RMP 이해당사자 단체(지지자, 투자자, 조기 교육, k-12)들을 대표하는 50명 가까이 되는 사람들과 인터뷰를 진행했다. 마지막으로, 평가 그룹의 사람들은 데이터 수집 기간 동안에 여러 가지 RMP 미팅을 가졌다.

평가 그룹은 이해당사자들과 비 격식 미팅과 체크인, CCER과 게이트 파운데이션의 매 달의 수신 전화, 반년의 단계 보고, "올해의 리뷰" 보고, 그리고 3년의 기간의 마지막에서의 최후 보고를 통하여 그 결과를 나눈다.

일 년의 데이터 수집이 막 끝났음에도 불구하고, RMP의 전략과 활동에 이미 영향을 미친 배움 단계를 통해 정보가 모아진다. 예를 들어, 설문조사와 인터뷰의 초기 결과는 만약 그들이 어떻게 RMP자치가 조직화되었는지에 대한 더 나은 이해와 목적에 대한 명확성을 가지고 있다면 몇몇의 RMP그룹이 더 효율적일 수 있다고 드러냈다. 결과적으로, RMP의 리더십은 자신의 목적을 명확히 하고 발전 방법을 더욱 전략적으로 하며 지도에 집중하고 시행을 감시하는 것에 집중한다.

더 많은 정보는:

About the Road Map Project and CCER: www.roadmapproject.org/

About Education Northwest: educationnorthwest.org/content/about

FSG  Case Study on the development of the Road Map Project: www.fsg.org/casestudiesCI

출처

Road Map Project website: www.roadmapproject.org

Education Northwest Evaluation Plan (March 1, 2013)

Interview with Christopher Mazzeo, Director of Evidence Use and Policy, Education Northwest, December 2013.

Correspondence with Lynda Peterson, Associate Director, Community Center for Education Results, October 2013.

Correspondence with Mary Jean Ryan, Executive Director, Community Center for Education Results, January 2014.

[28]

말년

집단적 파급 계획의 말년에는, Cl 파트너들이 계획의 성취 품질을 조사하고 목표가 된 이슈나 인구들에 대한 긴 시간의 영향을 이해한다. 공유된 측정 시스템으로부터 나온 정보는 계획의 성취와 도전에서 나온 종 방향적 데이터를 기여하면서 이 배움 단계를 안내할 수 있다. 특히, SMS에서 나온 데이터는 중요 지표의 경향을 드러낼 수 있고 파트너들이 계획의 초기 달성의 유지력을 이해할 수 있게 돕는다.

어떻게 그리고 어떤 정도의 계획의 궁극적인 결과가 성취됐는지 더하여 어떤 Cl의 노력이 이러한 결과에 기여했는지를 더 잘 이해하기 위해서는, Cl 파트너들이 총괄적 평가를 위임 받아야 한다. 이 평가는 잇따라 오는 종류의 질문에 집중할 수 있다.

어떤 CI 단계가 누구에게 그리고 왜 가장 효과적이었나?

어떤 정도의 CI 계획이 이것의 궁극적인 결과를 달성했는가?

목표가 된 결과를 향상시키기 위한 CI 계획 기여는 어떠했나?

CI 계획이 가진 어떤 파급 효과가 다른 지역사회나 시스템에 나타났나?

CI 계획이 만들어 낸 차이가 무엇인가?

총괄적 평가는 전형적으로 범위와 외부의 확인의 중요성을 받은 제 3의 평가자에 의해 시행된다. 이 평가들은 일 년에 최소 6개월 정도를 위임 받아질 수 있다, 그리고 그것은 전형적으로 최종 보고서에 결과로 보고된다. 많은 총괄적 평가는 (그리고 몇몇의 발달 평가와 형성 평가) 성찰과 배운 교훈들을 공유하기 위해 공개적인 보고를 만들어 낸다.

[29]

어떻게 활기찬 사회가 수행 측정과 평가를 일생에 걸쳐 사용하는가

활기찬 사회 (VC)는 13개의 지역사회가 전략적 빈곤 퇴치에 대한 능력을 확장할 수 있게 도운 범 캐나다의 계획이다. 주요 접근은 구역을 통튼 협동, 지역 자산 형성, 긴 기간의 배움과 변화에 대한 단계를 포함하는 5개의 원칙을 세우는 것이었다. 계획 시작이 미리 집단적 파급의 공식 개념으로 되었을 때, 이 활동은 많은 같은 원칙들을 구현한다. 사실, VC 원조자들과 지역 파트너들은 실험과 시행착오를 통한 "빈곤의 신경을 돌리는" 새로운 방향이 개발로 간주되는 국가적 계획을 함께 수립했다.

2002부터 2011년까지 10년의 기간 동안, 활기찬 사회는 13개의 지역사회에서 온 많은 수의 지원자들과 단체들에 개입했고 170,000 여 가구의 생활을 감명시킨164개 계획 개발에 영감을 주었다. 활기찬 사회는 3개의 국가 투자자들의 조합을 통해 설립됐다- 타마락: 지역사회 업무를 위한 기관; 사회 법률의 칼레돈 기관; 그리고 J. W. 맥코넬 가 설립- 나라를 가로지르는 지역 단체의 시리즈들.

그 계획은 발달과 형성 평가를 사용했다. 또한 지역 노력(VC원칙에 따라서) 에서 나온 결과를 지켜보기 위한 많은 내부의 기계 장치들을 개발하고, 단체에서 나온 교훈(수행 이야기)을 알아보고, 지역 반영을 북돋았다(반영의 변화에 대한 연간 가설). 프로젝트 원조자들 프로젝트의 중간 평가를 완성하기 위해 CAC 인터내셔널과 계약을 했다; 이것들은 광범위하게 지역단체들과의 인터뷰에 집중했고 많은 국가 지원이 단체에 제공될 수 있게 조정하기 위해 (심지어 구조조정까지) 결과들을 사용했다.

2010년에는, VC 프로젝트가 2년간의 "캠페인 끝내기 평가"를 이들의 원조자들에 의해 위임 통치를 받고 있다고 결론을 내렸다. 이 계획의 부가적인 장부로 고안되어, 이 평가는 (1) 지역의 결과를 이해하고, (2) 협업과 이해적인 접근에 대한 교훈을 찾는 것; 지역 노력의 지속 가능성; 그리고 투자와 법률을 통해 VC와 비슷한 접근을 지원하기 위한 최선의 방법에 집중한다. 활기찬 사회의 투자자들은 평가의 결과가 미래의 캐나다에서의 빈곤 퇴치를 기반으로 한 더 강력한 회사 설립에 기여하기를 바란다. VC는 내부의 팀과 평가 계획을 개발하기 위해 함께 일하는 고문을 채용했다. 7개월의 기간 동안, 이 팀은 잇따라 오는 질문을 파악하기 위해 VC에 대한 데이터와 연구들에 노력을 쏟아 붓고, VC 파트너들, 투자자들, 그리고 빈곤 퇴치 분야의 전문가들과 함께 일했다.

VC 모델은 무엇인가?

VC는 모델인가? 그것이 반복 가능한가?(아니면 어떤 구성요소가 반복 가능한가) 만약 그렇다면, 어떻게?

단체에 지역 협의회/ 조합이 이런 어려움들을 만들어내기 위한 노력이 있는가?

다른 투자자들과 정부가 이러한 접근을 지원하기 위한 영향은 무엇인가?

[30]

빈곤 퇴치에 대한 모델의 수행은 무엇인가?

빈곤 퇴치 효과가 어떤 단체에서 더 강력히 효과를 냈나? 만약 그렇다면, 그것이 분명히 왜 그런지 설명될 수 있는가?

VC 모델을 적용하면서 얻은 경험은 무엇인가?

자극하고 단체 내에서의 협업을 지원하는 것에 대한 교훈은 무엇인가?

어떤 것이 정부, 저임금 거주자들, 그리고 사업 단체의 개입과 관련하여 가장 중요한 교훈인가?

동료 배움 지역을 계획의 한 부분으로 지원하는 것의 이점들은 무엇인가?

이러한 질문에 답하기 위해, 평가 팀은 계획의 결과 트래킹 시스템과 시행된 인터뷰들, 설문조사들, 그리고 중심 집단을 포함하는 방대한 문서와 데이터베이스에서 데이터를 수집했다. 그들은 또한 변화의 본질에 대해 정확한 위치를 찾아내기 위한 가장 중요한 변화 의 접근을 사용했다.

그 팀의 결과는 활기찬 사회 웹사이트에서 사용가능 한 두 개의 보고서로 발행되었다. 첫 번째 보고서(2011)는 빈곤 퇴치에 대한 VC의 결과와 VC 접근 평가에 초점을 맞췄다. 두 번째 보고서(2012)는 VC 시스템의 국가 지원(코칭, 투자, 배움 단체, 그리고 배움의 보급)에 대한 효율성을 탐색했다.

첫 번째 보고에서 다룬 중요한 결과는 어려운 문제에 대한 집합적 임팩트 접근의 효율성이었다: 문제는 활기찬 사회 접근의 지원인 다른 견인력을 요구한다.... 단체는 VC 접근을 주요 자원을 끌어오고, 다분야 리더십의 다양한 정도를 사로잡고, 프로필과 빈곤에 대한 이해를 올리고, 혁신적 방안을 소개하기 위해 사용한다. 이것은 빈곤과 관련 있는 실질적인 정부 정책에 영향을 주는 단체의 능력에 기여하고, 빈곤 응답에 대한 관계와 조직을 강화하고, 개인적 분야의 관행을 만든다."

활기찬 사회의 첫 번째 10년은 정말 성공적이었다, 사실, 최근에 그 계획은 추가적으로 캐나다를 통튼 도시와 단체의 규모가 확장되었다. 두 개의 평가에서 나온 결과와 권고는 이러한 새 단체의 배움을 위한 주요 원천의 역할을 한다.

출처:

Tamarack Institute website: http://tamarackcommunity.ca/

“Tamarack: An Institute for Community Engagement. Evaluating Vibrant Communities 2002–2010.” White paper, Waterloo, Ontario: Tamarack, 2010.

“Tamarack: An Institute for Community Engagement. Inspired Learning: An Evaluation of Vibrant Communities’ National Supports.” White paper, Waterloo, Ontario: Tamarack, 2012

FSG case st: http://www.fsg.org/tabid/191/ ArticleId/979/Default.aspx?srpush=true

[31]

집단적 파급 평가의 시작을 위한 안내

이 안내와 예시는 그들의 평가 활동의 범위와 목적을 명확히 하는 것에 CI 파트너들을 지원하려고 생각한 것들을 나타낸다. 이 영역은 독자가 어떻게 CI 평가를 시작하는지 안내하는 실용적인 조언을 제공하기 위해 토대 밑에 만들어진다. 이 영역은 데이터의 수집과 사용, 결과의 개발과 보급, 그리고 평가자들과 일하기 위한 중요 고려사항들과 평가 만들기에 관해 자주 묻는 질문들을 나타낸다. 우리는 중요한 주제들에서 제공된 조언이 이러한 그들의 CI 평가와 시행의 고안에 관한 좋은 결정들을 만들게 하는 것을 돕길 바란다.

정보 수집

CI 파트너들은 그들의 계획 단계와 영향에 대한 높은 질의 데이터(양적이나 질적 중 하나)를 수집하는 최선의 방법을 생각할 때 많은 선택사항을 가지고 있다. 이것은 문서 첨삭이나 설문조사, 인터뷰, 관찰과 같이 널리 사용된 방법, 게다가 소셜 네트워크 분석과 시스템 구성을 포함한 새로운 방법까지 포함한다. 물론, 어떠한 하나의 방법이 완벽하지 않다; 각각은 뚜렷한 강점과 약점을 가지고 있고 어떤 유저가 배우길 원하는 것에 달려있는 더 많이 혹은 적게 필요한 데이터를 제공할 수 있다. 테이블 4는 몇 개의 자주 사용된 데이터 수집 방법과 그들의 장단점을 잠시 묘사한다. 계획의 배움 단계에서 어떤 방법이 가장 맞는지를 생각하는 것은 신중한 고려와 CI 파트너들(그리고 다른 외부의 평가자들)간의 협업을 요구한다. 잇따라 오는 변수들은 이 결정 수립 단계를 도와줄 수 있다:

CI 파트너들이 답하기 원하는 질문들

양적이나 질적 데이터에 대한 필요와 관심

데이터 소스의 수 (사람이나 문서)

데이터 소스에 대한 접근성과 지리학적 범위

결정을 하는데 필요한 확실성의 정도(한 개 이상의 방법을 사용하고 다양한 소스의 데이터를 포함한다)

결과의 유효 가능성 증가(신뢰할 수 있는)

데이터 수집 방법이 문화적으로 민감하고 평가에 응답적인 정도

데이터 수집이 가능한 시간

질적 데이터를 수집하기 위한 기술과 정보에 대한 단계

평가 비용의 크기

[32-33]

표 5: 자주 사용된 데이터 수집 방법에 대한 장단점

예시 종류	장점	단점

기록과 문서 기록: 참여비율, 증명서, 투표 기록 문서: 수령인 보고, 미팅 시간, 연간 보고, 언론 보도 데이터베이스: 인구조사 데이터, BLS 웹사이트	쉽고 비용 효율이 있다 지나치게 야단스럽지 않다 믿을 만하다 양이나 정도에 대한 데이터	항상 가능하진 않다 리뷰가 시간 낭비일 수도 있다 완결되지 않을 수도 있다 복잡한 분석을 요구 할 수도 있다
관찰 완전하고 부분적인 지원자 지원자 없음 노트 필기, 비디오, 그림, 사진이 관찰을 기록하기 위해 관찰자가 쓸 수 있다.	데이터 수집이 쉽다 평가자가 몇 개의 관찰로 규칙을 관찰할 수 있게 한다. 전후 사정을 제공한다.	평가자의 편견이 개입 할 수 있다 규칙을 확실히 하기 위해 여러 번 시도해야 한다. 비용과 시간이 많이 든다. 트레이닝이 요구된다.
설문조사 태도나 의견 설문조사 행동이나 능력 설문조사 직원 만족도나 회사 분위기 설문조사 지식 설문조사	관리가 쉽다 데이터 합계가 쉽다 효율적이다 이해당사자들과 관계를 만드는 것을 돕는다.	만들기 위한 시간이 걸린다. 질문에 대한 다양한 해석 참여자들의 편견 강제 응답이 있을 수 있다 공개 응답은 분석할 때 시간이 걸린다.
인터뷰 개인과 개인 인터뷰 전화 인터뷰 집단 면접	구체적으로 조사할 수 있다 예상치 못한 정보를 드러낼 수 있다 집단 면접 중의 그룹 상호작용이 데이터의 질을 높인다.	온라인 설문조사에 비해 비싸다 숙련된 질문자가 요구된다. 복잡한 실행 계획 인터뷰 대상자의 편견
시험 종이 모의 평가 컴퓨터 기반	객관적인 점수 외부의 타당성 많은 사람들을 시험 볼 수 있다 결과를 빨리 낼 수 있다	개발할 어려움과 시간 소비 형성적보다 부가적이다
소셜 미디어 블로그 위키 트위터	데이터의 다양한 원천 즉각적인 정보 비용이 덜 든다.	질과 정확성이 떨어진다. 데이터가 편향적이거나 미완성이다 기술에 접근할 수 있는 인구들의 표본만을 나타낼 수 있다
소셜 네트워크 분석 데이터 사용: 질문자, 면접자, 관찰자 그리고 얻어진 데이터	네트워크가 도달하는 다양한 양상을 알아낸다. 사람들의 관계를 알아낸다. 빠진 관계와 성장을 알아낸다. 시간에 따른 변화를 쫓는다.	질 좋은 데이터를 얻는 것에 의존적이다 짧은 순간을 포착한다. 참여자와 그렇지 않은 사람들 간의 상호관계에 집중한다. 왜 연결이 존재하고 그렇지 않은지 그리고 힘이 센지 약한지를 밝히지 않는다.
시스템 조직화 그래픽으로 나타냄	계획을 돕고 시스템 변화의 효과를 평가한다. 실제적이고 타당한 문제를 나타낸다. 더 큰 맥락의 계획을 수립한다. 나중의 데이터 수집의 안내를 제공할 수 있다	오로지 우리가 개발한 관점만을 반영할 수 있다 정적인 상태이다 모든 사람들의 관계를 포착하기 어렵다 관계의 질을 나타내지 않는다.

데이터를 이해하다

공유된 측정 시스템과 다양한 평가 연구를 위한 데이터 수집은 많은 정보를 결과로 한다. 데이터를 적절하고 전반적으로 분석하는 것이 중요할지라도, 데이터가 어떤 의미를 담고 있기 전까지는 그저 데이터일 뿐이다(숫자, 그림, 그리고 문자). 우리는 CI 파트너에게 생각을 수립하는 단계에 충분한 시간을 할당하는 것이 얼마나 중요한 지를 과장할 수 없다.

생각 수립 단계는 반영하는 것에 개입하고 분석된 데이터의 의미를 찾아낸다. 이것은 생각 수립 단계에서 가져온 데이터가 서술적인 비율(빈도, 퍼센트, 평균, 표준 방정식, 범위)이 됨을 의미하고, 주제와 규칙을 위해 분석되어온 합성된 질적 데이터(인터뷰, 집단, 문서, 사진, 비디오, 웹사이트, 관찰) 는 인용이나 예시들을 포함할 수 있다. 어떤 데이터를 분석하기 전에, 중요한 평가 질문, 수집된 데이터에 적절한 분석 방법인지, 분석의 양상이 참여자들에게 의미가 있을지를 고려하는 것이 중요하다.

가끔 분석된 데이터(평균 점수나 설문조사 도구의 빈도)를 들여다보는 것은 솔깃하고 곧바로 추천을 만든다. 하지만, 그렇게 하는 것은, 가능한 의미와 응답에 대한 대안 설명을 고려하는 기회를 없앨 뿐만 아니라 불완전한 결론으로 이끌 수도 있다.

[34]

우리는 결정자들의 결과에 대한 자신감을 줄일 수 있다 아니면, 더 안 좋게, CI 파트너들이 부당한 변화를 만드는 것을 야기할 수 있다. 데이터의 콘텐츠를 이용하고 실제의 배움에 기여하는 것을 확실히 하기 위해서, 잇따라 오는 질문들이 생각 수립 단계의 분석을 하는 것에 도움이 될 것이다:

분석- 어떻게 우리가 데이터에서 합계를 내고, 차이와 관계를 보이고, 규칙과 주제를 찾을 수 있나?

우리가 수집한 데이터는 어떤 종류인가?(인터뷰는 질적 데이터를 생산하고, 설문조사에서 리커트 척도는 양적 데이터를 생산한다)

우리가 이 데이터에서 알고자 하는 것이 무엇인가?(얼마나 많이, 어떤 퍼센트, 어떤 주제가 반영됐는지, 변수들 사이의 어떤 관계가 존재하는지?)

어떤 방법이 일단 우리가 의미를 이해할 수 있게 돕기 위해 분석된 이 데이터를 가장 잘 나타내는가?(표, 차트, 다른 그래픽들)

해석- 분석된 데이터가 의미하는 것이 무엇인가?

우리가 어떤 데이터 제시나 의미에 대해 개인적으로 또 총괄적으로 생각하는가?

이 분석 데이터가 의미하는 것이 뭔가? 이것이 설명하지 않는 것은 무엇인가?

우리가 데이터에 대해 어떤 추론을 만들고, 어떻게 지난 경험들이 우리의 해석에 영향을 주는가?

판단- 이 결과들이 좋은가 나쁜가?

제시된 결과의 우리 해석이 바뀌어야 되나, 달라야 하나, 아니면 그대로 있어야 하나?

이 결과들을 기반으로 어떤 것들이 행해지는지에 대한 우리의 의견은 무엇인가? 우리는 판단에 대한 어떤 약속을 하는가?

추천- 우리는 CI 계획의 결과로의 우리가 무엇을 배웠는지에 대한 효율성을 강화시키기 위해 무엇을 해야 하는가?

우리가 어떻게 일하고 우리가 무엇을 계속해서 하거나 다르게 하는 것에 어떤 영향이 있는가?

우리가 CI의 일을 강화하거나, 증폭시키거나, 바꾸거나, 채택하거나 향상시키기 위해 어떤 단계의 행동을 취해야 하는가?

우리가 어느 필수적인 변화를 만들기 위해 마련해야 하는 시간은 무엇인가?

누가 필수적인 채택이나 변화를 만들기 위해 개입되어야 하나?

해석, 판단, 그리고 추천이 CI의 일 실태에 기반을 두는 것과 생각 수립 단계에서 배운 점들이 타당한 것을 확실히 하기 위해 CI 파트너들과 다른 이해당사자들이 단계에 개입하는 게 정말 중요하다. 그들이 평가 절차를 가능케 한다면 이것이 추가 평가자나 내부의 직원들을 조언 할 것이다.

전략적인 의사 결정을 하기위해 데이터를 사용하다

평가 결과와 추천들을 가지고 일을 하는 것은- 데이터에서 얻어진 결과들을 바탕으로 무언가를 하는 것-“결과를 사용한다”라고 불린다. 평가는 결과를 배움이나 변화에 사용하고자 하는 명확한 의사가 없다면 실행되어서는 안 된다.

평가 단계에서 찾아낸 결과들이 사용될 수 있는3개의 주된 방법이 있다. 가장 중요한 평가 질문들을 생각하는 것에 도움을 준 각 사람들과 결과에서 가장 강력한 대상의 기여를 고려한다.

영향력 있는- 이 종류의 사용은 결과의 CI 계획과 그것의 평가 결과가 사용된 가장 잦은 방법에 즉각적이고 실재하는 적용을 나타낸다. 예를 들어, 평가는 파트너들이 자극을 받고 잘 알고 있는 것을 유지하는 데에 효율적이지 않은 파트너들을 사로잡기 위해 소통하는 최근의 유형을 보일 수 있다. 평가 결과로, 운영 위원회는 CI 파트너와 소통하는 빈도수와 구성 방식을 바꿀 수 있다.

[35]

개념의- 이 종류의 사용은, 또한 평가 결과가 실제로 우리의 이슈들과, CI 의 활동과, 서로와, 그리고 단체에 대한 생각 방식을 바꾸는 것을 나타내는 “깨우침” 이라고 불린다. “사용”은 정말로 즉각적인 실재 효과가 없을 수 도 있는 새로운 통찰력과 이해를 개발하는 것이다. 하지만 그것은 대화들이 구성되거나 결정들이 만들어지는 방법들에 기여할 수 있다. 게다가, 평가 결과는 우리의 생각이나 뇌 구조를 바꾸는데 사용된다. MFH 초창기의 도덕성의 계획은 일찍 묘사되었다, 평가자들은 어떻게 다른 이해당사자 그룹이 차이를 만드는 것처럼 보이는 초기 도덕성의 운전사와 개입에 대해 생각하는지에 대한 그들의 추정을 시험하는 것에 참여하고 있는 단체를 돕길 바랐다.

도덕적/상징적/설득력 있는- 이 종류의 사용은, 정당한 목적(남용과 반대되는)으로 사용될 때 개입들이 타인이 생각하거나 행동하게 권유할 때, 추가적인 자원을 로비할 때, 그리고 중요 의사 결정자들, 영향을 주는 사람들, 그리고 투자자들에게 단계에 대한 증거를 제공할 때 평가 결과를 사용한다. 이 종류의 사용의 예는 CI 파트너가 책임 목적과 일을 해야 하는 기간에 대해 요구하는 평가 일지를 투자자에게 제출하는 것이다.

소통 결과

통찰력은 집단적 파급 계획의 개발, 단계, 그리고 영향에 대해 다양한 이해 당사자들을 공지할 때 사용되는 공유된 측정 시스템과 다양한 평가 결과에서 생산된다. 어떻게 그리고 언제 소통하는지 그리고 평가 결과를 강력한 사용자들에게 보고하는 것은 신중하고 전략적인 선택을 하게 개입한다.

첫째로 고려해야 될 것은 누구에게 결과가 공유될 것 인지 이다. 시행자들과 투자자들이 직접적으로 계획에 개입하는 것뿐만 아니라, 관계있는 다른 이해 당사자들도 이러한 사람들을 포함 할 수 있다:

원조자, 허가, 또는 평가에 투자자

결과에 기반을 둔 결정을 하는 자리에 있는 사람(정책 입안자나 투자자들)

정보나 데이터를 제공한 적 있는 사람(단체 회원이나 수혜자들)

CI 계획에 관심이 있는 사람(지지자들과 비평가들)

평가 결과에 권리가 있는 사람

평가 결과 사용에 영향을 받을 수 있는 사람(노동조합 회원들, 운영 위원회, 단체 회원들)

일단 CI 파트너들이 그들의 주요 청중들을 생각했다면, 그들은 어떤 것을 공유하고 언제 다른 이들과 정보를 공유 할 지 생각해야만 한다. 많은 CI 계획들은 공유된 측정 시스템에서의 올해 초부터 현재까지의 데이터를 포함하는 분기나 연간 보고를 발행한다(점수표, 대시보드). 이 우선 보고는 단체 회원들과 다른 관심 있는 이해당사자들이 주요 지표에 있는 계획 단계를 관찰하고 시간에 걸친 개선을 감시하게 한다. 예를 들어, 로스앤젤레스의 5 제곱 마일 지역의 이해적 사회 변화 계획인, 매그놀리아 플레이스 커뮤니티 계획은 분기별로 중요 지표를 나타내고 다른 중요한 측정의 순간 포착을 제공하는 단체 데이터 대시보드를 발행한다. 2개 페이지의 매그놀리아 플레이스 커뮤니티 대시보드 (www.magnoliacommunityinitiative.org에서 이용 가능한)는 “거주자와, 제공자와, 정책 입안자들이 효과적인 행동을 취하고 가족들을 위해 결과와 상태를 개선하도록 동원하기 위해”고안됐다.

평가는 계획의 연간 SMS 보고서보다 더 큰 소통의 수나 범위를 포함 할 수 있다. 예를 들어, 계획 시행을 통틀어서, 파트너들은 곧 시행될 계획 단계에 대한 분배를 선택할 수 있고, 계획 단계의 업데이트를 제공할 수 있고, 계획 중에 모이는 중요 결과에 대해 이해당사자들에게 알릴 수 있다. 일단 평가가 완성되면, CI 파트너들은 의식을 형성하고 CI 계획을 지원하고, 계획의 변화와 개발을 지지하고, 결과를 보이고, 책임을 입증하게 하는 다양한 소통 전략을 사용할 수 있다.

정보 공유의 구성 형식을 선택하는 것에 신중하고 의도적이면 중요 메시지가 명확히 이해되게 확실히 할 수 있다.

[36]

이것은 몇 개의 이유로 중요하다: 1) 사람들은 정보를 다르게 사용하기 때문에, 다양한 구성 형식이 다른 종류의 학습자들에게 매력적일 수 있다; 2) 사람들은 읽거나 평가 결과에 대해 드는 것에 바칠 수 있는 다른 정도의 시간을 가지고 있다, 3) 이해당사자들의 배움의 열망에 대한 단계에 따라서, 다른 구성 형식이 이해당사자들이 결과에 대해 배우게 사로잡는 것이 더 효과적일 수도, 덜 효과적일 수도 있다, 그리고 4) 각각의 가능한 구성 형식은 예산 의미를 가지고 있다(몇몇은 존재하는 자원을 쉽게 생산할 수 있지만, 다른 것은 그래픽 디자이너나 비디오그래퍼와 같이 추가적인 지원을 요구 할 수 있다).

여기에 CI 파트너들이 평가와 그것의 결과에서 배워온 것에 대해 소통하는 전통적인 평가 보고를 사용하는 대안들이 있다. 구성 형식을 선택하는 하나의 방법은 이해당사자들과 정보 간의 상호 작용을 고려하는 것이다. 예를 들어, 만약 조금의 상호작용이 요구된다면, 보고서와, 이메일과, 선행 연구와, 웹사이트 커뮤니케이션과, 뉴스와 뉴스 레터 같은 방법이 좋은 선택 사항이 될 수 있다. 연간 “보고서”는 많은 CI 계획이 이 소통 방법 종류의 좋은 예로 발행하는 것이다.

전통적인 보고 방법 묘사를 시행하기 위해서, CI 파트너들은 보고 결과를 의논하는 일 구역이나 개인이나 소그룹 대화를 같은 상호교류를 경험할 수 있으며 기술적 협업 구성(온라인 회의, 화상회의, 온라인 행아웃 그리고 채팅방)을 사용할 수 있다. 마지막으로, 파트너들은 어떻게 그들이 고안되고 가능하게 하는지에 따라 상호 교류를 만들게 고안된 소통 방법 사용을 고려 할 수 있다. 이것은 직접 발표, 컨퍼런스와 단체 미팅, 비디오 발표(유튜브), 소셜 미디어(블로그, 트위터, 페이스북), 다른 지역과 연락 가능한 포스터를 포함한다.

진정한 배움과 평가 팀을 꾸리다

CI 계획은 이내의 강력한 배움 문화를 기르고 지지하는 노력은 시간과 전념을 요구한다. 이 안내를 통틀어 의논된 수행 평가 시스템이나 평가를 고안하는 단계는 많은 전략적 선택(공유된 평가 시스템이 어떤 지표를 따를 것인지, 평가가 어떤 질문에 답변할 것인지, 어떤 데이터 수집 방법이 사용될 것인지)을 하는 것에 개입한다. 그리고 일단 디자인이 완성되면, 시행 단계는 데이터 수집(자주 단계적으로)에 개입한다; 데이터를 반영하고 분석, 해석, 그리고 판단을 통해 이해한다; 그리고 추천을 개발한다.

온 나라에 걸친 CI 파트너들은 이 단계들을 관리하는 접근의 범위를 실험한다. 하나의 가장 좋은 결과는 자원한 데이터 전문가로 구성된 “데이터 위원회”의 설립이다. 이 위원회는 공유된 평가와 평가 질문을 선택하게 도와주고, 중요 용어의 정의에 대한 약속을 확실히 하고, 다른 데이터 수집 방법의 공익을 평가하는 것을 돕고, 다른 것도 포함한다. 데이터 위원회의 회원들은 조언자 역할을 한다; 그들은 평가를 고안하거나 시행하는 데에 전형적으로 책임이 없다.

몇몇의 CI 계획은 위에서 설명된 데이터 위원회와 비슷하게, 지원을 제공하기 위한 기반 시설 이내에서 내부의 평가 역할(정규직 혹은 비정규직)을 개발해왔다. CI 계획의 수행 측정과 평가 활동을 관리하는 것에 따르면, 이 역할을 맡고 있는 사람은 가끔씩 평가 실행에 책임이 있다.

많은 CI 계획은 외부 평가자들의 지원을 엿본다, 대신에 또는 자주, 내부 평가 자원에 따라서. 내부와 내부 평가 팀과 관련된 장단점들이 있다. 밑에 있는 표와 같이 많은 변수에 결정되는 이런 옵션들을 선택하라.

[37]

표 6: 내부와 외부의 평가 팀과 관련된 장점들

내부의 CI 평가(팀)                                                외부의 CI 평가(팀)

장점: CI 활동과 그것의 단체나 맥락의 깊은 이해를 가져올 수 있다 파트너들과 가능한 투자자들과 신뢰를 쌓을 수 있다 다른 청중들의 정보 필요의 이해를 가질 수 있다 돈이 더 적게 들 것이다	평가 시스템이 계획을 바꾸는 경험과 같은 평가 지식과 기술에 대한 깊이를 가질 수 있다 외부의 관점을 가져올 수 있다; 데이터를 해석할 때 덜 편향적일 수 있다; 투자자들에게 더 독립적으로 보일 수 있다 만약 더 큰 팀이 필요하다면 중요한 능력을 가질 수 있다
단점: 깊은 평가 지식과 기술의 고립이 있을 수 있지만 평가에 끌어들이는 것이 이것들을 형성하는데 기회가 될 수 있다 질문을 하거나 데이터와 결과를 분석하거나 해석할 때 중립적이거나 객관적이지 않을 수 있다 만약 CI나 다른 일책임에 혼란을 겪을 때 모든 평가 활동에 완벽히 헌신 하는 능력을 잃을 수 있다	돈이 더 많이 들것이다 이것의 문화와 맥락(그렇지 않다면 지역적으로)과 계획의 목표와 전략에 속도를 맞추려면 시간(아마도 거대한 시간)이 요구된다. Cl 파트너들과 신뢰를 쌓기 위한 시간이 필요하다

CI 파트너들은 가끔 내부와 외부의 자원을 정렬하기 위해 선택한다. 예를 들어, 전문가를 고용하거나, 내부 평가 팀의 코치로 외부의 평가자에게 맡긴다. 코치로써, 평가자들은 필요한 전문지식과 안내를 가져와야 한다. 이것은 전화나, 이메일 혹은 조금의 미팅으로 끝낼 수 있다. 내부 평가 팀의 향후 지원을 위해, 외부 평가자는 효율적인 평가 실천에 대한 팀의 지식과 기술을 증가시키기 위한 워크숍이나 온라인 회의의 다양한 평가 주제를 제공한다.

내부나 외부의 어떤 팀이 선택되었는지에 상관없이, 평가의 고안과 시행에 책임을 가진 이들은 신뢰적이고 실용적인 결과에 자격이 있다.

좋은 평가자들은 이 3가지의 성격을 공유한다:

그들은 능숙한 전문가들이다, 예를 들어, 문화적 능숙, 비밀로 존경받고, 프로그램 평가 기준에 전념한다고 생각되는.

그들은 관련된 평가 경험과 데이터 수집, 양적과 질적 데이터 분석, 그리고 시행과 코칭 의 강한 기술이 있다.

그리고 가장 중요하게:

그들은 CI 계획에 좋은 파트너가 된다, 예를 들어, 어떤 집합적 임팩트와 어떤 파트너와 투자자들이 성취하기를 원하는지 이해하는 것; 평가 계획을 개발(그리고 수정)하기 위해 협업하는 것; 그리고 융통성 있게, 책임감 있게, 날렵하게, 이해당사자들의 진화된 정보 필요에 응답하는 것.

[38]

외부 평가자를 고용할 때의 중요한 고려사항은 네가 집합적 임팩트에 대한 기술적인 도움을 제공하는 것을 원한다는 것이다. 이것은 5개의 조건이 막 시작되고 파트너들이 TA에서 부정적으로 그들의 방법을 도와주며 이익을 볼 때의 CI 활동의 초기에 중요했을 수 있다. 만약 TA 제공자가 계획의 평가자가 아니었다면, 그들이 함께 일하기 위한 방법을 찾았을 것이고 TA 제공자는 평가자에 대해 알고, 평가자도 TA 제공자에 대해 알았을 것이다.

평가를 위한 예산

공적인 평가를 위한 예산은 어느 정도 들어가는 지에 대한 질문을 자주 물어본다. 공교롭게도, 단계를 평가하는데 얼마나 지출을 하고 집단적 파급 계획에 영향을 주는지에 대해 생각하는 구체적인 돈의 액수와 공식이 없다. 그래도 아직, 가장 중요하게 영향인 가격과 변수를 알아보는 것과 얼마나 이 변수를 측정하는지 안내를 제공하는 것이 가능하다.

수치 2는 평가 비용에 영향을 주는 가장 중요한 두개의 변수를 나타낸다: 평가의 범위(집중 영역과 시간)와 평가 팀의 구성. 작은 범위의 평가는 한 명이나 두 명의 평가자로 수행되어 $10,000 에서 $100,000까지 비용이 든다. 반면에, 복잡하고, 수년간의 평가는 팀이나 평가 컨설턴트에 의해 수행되어 백만 달러 이상의 비용이 든다. (이것은 할렘 어린이 구역과 같은 큰 범위의 사회 변화 프로그램을 평가하는 것과 관련이 있는 비용과 비슷하다.)

범위와 팀 구성에 따라서, 평가의 목표에 의존적인 변수는, 예산의 크기에 직접적으로 영향을 준다: 평가 질문의 수, 찾아진 결과의 수, 사용된 수집 방법의 수, 포함된 데이터 소스의 수, 데이터 소스의 위치와 접근성, 평가를 수행하는데 필요한 시간, 지출한 여행과 소통의 양. 게다가, 참가방식과 협업 방식의 평가를 고안하고 수행하는 것은 항상 좋은 아이디어지만, 다른 사람들을 끌어오는 데에 비용이 관련돼 있다. 이것은 성과급, 사례비, 시설 대여, 다과, 그리고 상호 교류 영역(이해당사자들을 함께 모으고 결과를 이해하는)을 계획하고 고안하고 개시하는 시간을 포함한다.

다른 방면의 개발의 다른 CI 계획 종류에 대한 적절한 평가 예산의 규모를 예측하기는 어렵지만, CI 의사와 그들의 투자자들에 불려오는 이 평가의 가치는 반론의 여지가 없다. 효과적인 단체를 위한 그랜트 메이커가 말하기를: “네가 평가를 개선의 배움으로 본다면… 평가에 개입하는 것은 가치 있게 보인다. 왜냐하면 그들은 어떤 일에 필요한 더 똑똑하고 빠른 정보를 양보할 수 있기 때문이다.” 보통 말하기를, 우리는 CI 파트너들에게 일생을 통틀어서 어떻게 평가 활동이 알릴 수 있고 그들의 계획을 지원할 수 있는지 신중히 계획하도록 충동을 느끼고, 우리는 모든 투자자들이 아주 처음부터의 CI 계획 예산 평가에 지원하도록 격려한다.

[39]

결론

핵심적으로 집합적 임팩트의 평가는 학습과 관련되어 있습니다. 즉 어떻게 의사소통을 하고, 부문 간 협력하고, 공유된 목표를 설정하고, 함께 진행과정을 평가하고, 결정을 위해 데이터를 사용할 지와 같은 CI를 수행하는 방법을 배우는 것과 어떻게 업무의 탄력을 높이고, 시스템을 이동시키고, 행동을 변화시키고, 궁극적으로 복잡한 문제들을 좀 더 효율적으로 해결할지에 대해 배우는 것입니다. 대규모 문제들을 해결하려는 CI 실행자들과 투자자들에게 이것은 학습이 동떨어진 일이 될 수 없다는 것을 의미합니다. 이것은 전략적인 결정 과정을 알리기 위한 적절하고, 믿을만하고, 유용한 정보를 제공하는 지속적인 과정임이 틀림없습니다. 결과적으로, 이것은 수행능력 측정과 평가가 어느 CI 계획이든지 필수적인 부분이라는 것을 의미합니다.

이 지침서가 그들 목표의 진보, 효과, 영향력을 측정하기 위한 다양한 평가 활동을 어떻게 계획하고 실행할지와 관련된 CI 파트너의 주요 질문들을 다루기를 바랍니다.

잠재적인 평가 질문, 성과, 그리고 지표에 대한 추가적인 지침이 이 지침서의 보충자료에 있습니다.

우리는 독자들이 이 지침서와 관련된 코멘트, 피드백, 제안, 실제 CI평가에 대한 적용 사례들을 집합적 임팩트 포럼, 온라인 커뮤니티, 집합적 임팩트 자원 센터에서 공유받기를 환영한다.

[40]

참고 자료

1. 카니아, 존, 페이 한레이브라운, 마크 크래머 저, “변화의 특성을 보이기 즉 집합적 파급력 만들기”, 2012년 1월 26일 스탠포드 사회 혁신 리뷰

2. 페이턴, 미첼 퀸 (2010) “발달 평가: 복잡한 개념을 혁신과 이용을 향상시키는 데에 적용하기” 뉴욕: 길포드 언론, 프레 스킬, 헬리 앤 타냐 비어 (2012) “사회적 혁신 평가하기” 화이트 페이퍼, 보스턴: FSG

3. 건강을 위한 미소리 재단 “ 유아 사망” (2013년 2월) n.d.

http://www.mffh.org/content/741/infant-morality.aspx (2013년12월 18일에 접근함)

4. 유아 카운트 데이터 센터 “인종에 따른 유아 사망” (2013년 2월) http://datacenter.kidscount.org.data/tables/21-infant-mortality-by-race?loc=1&loct=2#ranking2/any/true/133/9/284 (2013년 12월18일에 접근함)

5.건강을 위한 미소리 재단 “유아 사망”

6.메이어, 로스, 그리고 세리 캘리 마셀. “전 조직에 미치는 끊임없는 향상을 촉진하기 위한 공통적인 데이터를 수집하고 사용하기”, 2012년 경쟁력 있는 노동인구를 위한 파트너들 게시판에 있는 나라간 연합의 프레젠테이션

7. 이전의 실행 감독관이자 경쟁력 있는 노동자를 위한 파트너인 메이어, 로스. 2013년 3월 23일 가을 맥도날드와의 인터뷰

8. 경쟁력 있는 노동 인구를 위한 우바니크, 재니스, 실행 감독관, 파트너들. 매시 파크헐스트와 함께한 인터뷰 2013년 1월 24일

9.메이어 인터뷰

10.메이어 인터뷰

11.로드맵 프로젝트 2012년 결과 보고서, 화이트 페이퍼, 시애틀: 로드맵 프로젝트 2012년

12. “타마락: 공동체 참여를 위한 기관,  평가 바이블런트 공동체 2002-2010”, 화이트 페이퍼, 워털루, 온트리오: 타마락 2010

13. “타마락” (2010):91

14. “타마락: 공동체 참여를 위한 기관. 격려된 학습: 바이브랜드 공동체의 국가적인 지원에 대한 평가“(2012) 화이트 페이퍼, 워털루, 온트리오 :타마락 2012

15.다음과 같은 것으로부터 각색된 내용: 토리스, 로질, 헬리 프래스 그리고 매리 E, 피온텍, “의사소통하고 보고하기 위한 평가 전략” 2판, 뉴베리 파크: 세이지 2005

16. 위의 책

17. 매그노리아 장소 공동체 중요 기획 (2012년 2월 8일) “매르노리아 공동체 대시보드”

http://uwsemi.3cdn.net/0d067bd64684b79cab_0pm6iqfvk.pdf (2013년 12월 18일에 이용됨).

18. 야브로, 도날드 비, 린 엠 슈라, 로드니 케이 홉슨 그리고 플로라 에이 카루더스. “프로그램 평가 기준들: 평가자들과 평가 사용자들을 위한 가이드”, 3판. 천개의 오크나무, CA: 세이지 출판사 2010

19. 효과적인 조직을 위한 대규모마케터들. “평가를 위한 4번째 필수자료들”, 워싱턴 D.C : 효과적인 조직을 위한 대규모마케터들

[41]

저자들

핼리 프래스킬

경영감독

Hallie.Preskill@fsg.org

마시 파커스트

선임 상담사

Marcie.Parkhurst@fsg.org

제니퍼 스팬스키 주스터

집합적 임팩트 포럼의 감독

Jennifer.Juster@collectiveimpactforum.org

감사

FSG는 이 보고서의 연구, 작문 그리고 출판에 있어서 윌리엄과 플로라 히렛 재단의 지원을 매우 감사해하고 있습니다. 우리는 또한 이 보고서의 초안에서 통찰력, 지도 그리고 코멘트를 남겨주는 우리의 검토 위원들에게 감사해하고 있습니다. 마지막으로 우리는 이 보고서에 개략적으로 제시된 집합적 임팩트 계획의 업무에 감명 받았고 지도자들의 경험과 통찰력을 우리와 공유하고, 독자들에게 그들의 이야기를 공유할 수 있게 해 준 것에 대해 진정으로 감사합니다.

검토 위원들

·평가 혁신 센터의 타냐 비어

·젊은이의 투자를 위한 포럼(메리샤 리비, 브리스 존스, 라리 패스티 그리고 카렌 피트맨)

·효과적인 조직들을 위한 대규모마케터들(히드필러와 에밀리 웩슬러)

·교육부의 제인 호그든

·협력적인 학문을 위한 OMG센터의 메그 롱

·더 그레이터 신시네티 재단의 실로 터너

사건 연구 기여자들

·타마락 기관 협회의 마크 카베

·건강을 위한 미소리 재단 프로그램 감독인 카스린 홈스

·북서부 근거 사용, 정책, 교육의 감독 크리스터 마즈

·교육 결과 공동체 센터의 책임자인 린다 피터슨

·교육 결과 공동체 센터의 최종적 책임자인 매리 진 란

·빌&미린다 게이트 재단의 프로그램 직원인 켄 노마슨

·경쟁력 있는 노동인구를 위한 파트너의 최종적 책임자인 재니스 얼마니크

FSG에 의한 집합적 임팩트를 평가하는 안내서는 창의적 공유물 분배 하에서 자격을 갖추고 있습니다. 이 허가서 범위에서의 허가서는 www.fsg.org에서 이용할 수 있습니다.

[42]

집합적 임팩트 포럼에 참여하세요.

집합적 임팩트 포럼은 이 분야에서 집합적 임팩트를 행사하는 사람들의 요구를 충족시키기 위해 존재합니다. 집합적 임팩트의 기여가 크지만 그 업무는 종종 까다롭습니다. 그 업무를 수행하는 사람들과 그 팀은 스스로 동기부여를 하고 앞으로 나아가야 합니다.

집합적 임팩트 포럼은 사람들이 성공할 수 있도록 돕는 도구와 훈련을 알 수 있는 곳입니다. 이 포럼은 같은 마음을 가진 부문 간 다양한 사람들이 함께 모여 유용한 경험과 지식을 공유하고, 집합적 임팩트의 접근법의 효율성을, 더 나아가 채택을 가속화시키도록 하는 성장하고 있는 네트워크입니다.

collectiveimpactforum.org에서 우리와 만나요