*이 글은 2012년 2월 <스탠포드사회혁신리뷰(Stanford Social Innovation Review, SSIR)>에 매튜 포르티(Matthew Forti)가 기고한 <사회성과 평가를 주저하게 하는 7가지 잘못된 생각(Seven Deadly Sins of Impact Evaluation)>을 일부 번역, 편집한 내용입니다. 인용 및 배포 시 반드시 원문의 출처를 밝혀주시기 바랍니다.

▶원문 바로가기

사회성과에 대한 평가란, 일반적으로 제3자에 의해서 비영리활동 프로그램의 효과성을 증명하기 위한 연구적 활동입니다. 비영리활동의 효과성 증명은 프로그램 확대를 위한 근거가 되며, 사회적 성과의 확산의 배경이 되고, 더 많은 재원을 지원받을 수 있는 명분이 되는 일종의 “승인”의 역할을 하기 때문에 매우 중요합니다. 하지만 사회성과 평가를 전문적으로 수행해온 매튜는 이러한 중요성과 장점에도 불구하고, 평가에 대한 오해로 인해서 많은 비영리기관/단체가 평가를 주저하게 하거나, 평가를 “효과적인” 방향을 진행하지 못한다고 지적합니다.

매튜는 사회성과 평가와 관련해서 흔하게 범할 수 있는 잘못된 생각(?)이 대표적으로 7가지가 있다고 합니다.
 

1. 평가에 필요한 여건이 무엇인지 모르겠지만 일단 중요하다고 하니 사회성과를 평가해야겠다. Immaturity

매튜는 아래의 여건이 명확하게 준비되기 전까지는 섣불리 사회성과 평가를 추진하지 말라고 권고합니다.

- 기관/단체가 타겟으로 하는 집단의 명확화

- 대상 집단에 대한 프로그램(접근법, 개입)의 구체화

- 해당 활동(프로그램, 접근법, 개입)에 따른 성과(Outcomes)의 명확화

- 위의 3가지 내용에 대해서 기록되고 있는 정보의 보유

(해결방안) 매튜는 위의 사항이 조성되어 있지 않다면, 우선 외부의 제3자 평가자의 도움을 받고, 평가를 위한 개선사항을 도출하고 개선 이후에 평가를 할 것을 충고합니다.

2. 평가자가 평가에 대해서 모두 지시해야하고, 우리는 따라야 한다. Deference

흔히 평가시 평가의 “객관성”을 위해서 평가자가 평가에 대한 구체적인 모든 것을 지시해야하며, 피평가자는 무조건 따라야 한다고 생각하기 쉽습니다.

(해결방안) 하지만 매튜는 평가와 평가의 결과가 유용하게 사용되려면, 평가자와 피평가자(비영리기관/단체)가 ‘평가(또는 평가 결과)가 어떻게 사용될 것인지’, ‘평가를 바탕으로 기관/단체가 어떤 결정을 내릴 것인지’에 대해서 ‘명확하고 분명한 합의’를 해야 한다고 강조합니다.

3. 프로그램의 사회성과 달성 정도만 알면 된다. Narrowness

평가는 모든 것을 답을 할 수 없기 때문에 평가의 전제 질문이 반드시 명확해야합니다. 보통 평가에 대한 질문은 “우리 프로그램 수혜대상자가 그렇지 않은 대상집단 보다 더 나은 사회적 변화를 성취했는가?”에 집중합니다.

(해결방안) 하지만 매튜는 이 질문은 꼭 필요하지만, 이건만으로는 충분하지 않다고 합니다. 평가가 유용하기 위해서는 “달성 했는가?”라는 질문과 더불어 “왜 달성했는가?” “왜 달성하지 못했는가?”에 대한 답을 할 수 있는 평가여야 한다고 합니다. 더불어 단순히 양적 수치를 수집하고 분석해서는 안 되고, 반드시 양적 수치의 의미와 맥락을 해석할 수 있도록 질적 정보 수집 및 분석도 함께 이뤄져야 한다고 강조합니다.

4. 평가자와 피평가자를 엄격하게 분리해야 한다. Isolation

평가 체계를 구성할 때, 평가자와 피평가자로만 한정하는 경우가 있습니다.

(해결방안) 하지만 매튜는 유용한 결과를 도출하는 평가를 위해서는 “평가 자문위원회”를 함께 구성하는 것이 효과적이라고 합니다. 특히 “굉장히 중요한데 까다로운” 이슈가 있는 프로그램이라면 “평가 자문위원회”의 역할이 평가의 유요성을 향상시키는데 중요하다고 합니다. “평가 자문위원회”는 다른 평가전문가, 교수, 활동가, 정책입안자 등 다양한 수준과 역할, 전문성을 갖고 있는 사람들로 구성해야 한다고 강조합니다.

5. 우리 조직 평가에서 A+를 받지 못하면 실패한 것이다. Myopia

평가 결과가 보통 “합격” 또는 “불합격”과 같이 이분법적으로 도출 될 것이라는 생각, 또는 A등급부터 F등급 등으로 도출될 것이라고 예상할 것입니다. 문제는 평가 결과를 등급 자체로 받아들이는 태도와 그 등급을 받으면 프로그램이 실패했다고 단정 짓는 것입니다. 그리고 재원기부자들 또한 자신이 지원한 프로그램을 단 한 번의 평가로 판단해서 지원을 철회하는 태도 또한 문제입니다.

(해결방안) 매튜는 평가는 결과 자체가 중요한 것이 아니라고 강조합니다. 그보다 평가 이후 개선 활동과 노력, 이후 다음 평가까지의 개선 정도가 더욱 중요하며, 이것이 평가의 순기능이고 선순환이라고 말합니다.

6. 일단 도출된 평가 결과는 바뀌지 않는다. Finality

평가에 대해서 흔히 범하는 오해는 평가가 “단 한번”의 활동이라는 생각입니다.

(해결방안) 매튜는 그동안 자신의 성과평가 사례에 비추어, 성공적인 비영리 기관/단체는 평가를 이벤트성의 일회성 활동으로 간주하고 운영하지 않는다고 밝힙니다. 평가는 “계속적이고, 지속적인 과정의 활동”이라고 강조하면서, “정기적” “지속적” “일관되게” 평가를 진행하면서 도출사항을 반영하고, 실험하고 다시 평가하는 일련의 반복활동이라고 설명합니다.

7. 과학적 비교분석을 할 수 없기 때문에 사회성과 평가를 아예 시도할 수 없다. Self-exclusion

‘무작위 비교군 분석(Randomized controlled trials, RCT)’은 사회성과를 엄밀하게 측정/평가하는 방법입니다. 하지만 RCT를 하지 못하면 사회성과 평가 활동이 의미가 없는 것은 아닙니다.

(해결방안) RCT를 할 수 있으면 가장 좋지만, 그렇지 않더라고 사회성과를 측정할 수 있는 방법들이 존재합니다. 자신의 프로그램의 맥락과 여건을 살핀 후 현실성 있는 방법을 선택하는 것이 중요합니다. RCT를 하지 못한다고, 평가 자체를 단념하는 것은 바람직하지 않습니다.

 
*<[성과측정] 사회성과 측정 기법은 어떤 것이 있을까요?​> 이전 글 바로가기

매튜 포르티(Matthew Forti)는,