*이 글은 스탠포드사회혁신리뷰 (Stanford Social Innovation Review)에 수록된 <세상을 바꾼 진짜 영향 측정하기 (Real World Impact Measurement)>의 일부에 대한 번역/편집입니다. 배포시 원문 출처를 반드시 기재해주세요.

​▶원문 바로가기 

 ​
사회성과 측정은 쉽지 않습니다. 비용도 예상보다 많이 들어갈 뿐 아니라 들어가는 품도 많습니다. 복잡해지는 사회문제, 사회복지 및 안전망에 대한 수요의 급격한 증가는 더욱 많은 재원을 요구하며, 많은 재원기부자들이 자신의 재원이 사회에 끼친 긍정적 영향을 보고 싶어 합니다. 기획된 비영리활동이 성공했는지, 실패했는지, 적어도 어느 정도의 차이를 불러왔는지를 확인하고 싶어 합니다.

특정 비영리활동 프로그램이 사회에 끼친 영향력을 엄밀하게 파악하기 위해서는 “무작위 대조군 실험(Randomized Controlled Trials, RCT)”를 수행해야하지만, 비용이 만만치 않습니다. 그렇다고 논리적 연계성이 없이 단순히 기록/수집된 숫자는 활동이 나아가야할 방향을 위해 아무런 의미를 제공하지 못합니다. 교훈이 없는 측정과 평가는 안하느니만 못합니다.

수행 중인 비영리 활동/프로그램의 성과 측정은 누구나 수행할 수 있을 만큼 단순하지만, 교훈을 줄 수 있을 만큼 엄밀해야합니다. 이를 위해 평가과정을 프로그램 수행과정 안에 설계해야 합니다. 그리고 수행 과정의 결과물과 기록들이 평가의 요소 및 자료로 활용되며, 동시에 평가 결과물이 활동에 활용될 수 있어야 합니다.

성과측정기반 비영리활동을 지원하는 물라고 재단(Mulago Foundation)의 스타(Kevin Starr)와 헤이튼도프(Laura Hattondorf)는 간단하고 엄밀한 성과측정을 위해 4가지 단계를 제안합니다.
 

1. 당신이 달성하고자 하는 것을 정확하게 규명하라.

Figure out what you’re trying to accomplish

달성고자 하는 것을 정확하게 제시하는 것이 성과를 언급하는 것보다 우선입니다. 성과는 단체의 미션으로 갈음되지 않습니다. 성과목표는 1) 동사를 사용해서, 2) 정확한 목표 집단을 제시하고, 3) 측정할 수 있는 활동결과가 포함되어 있어야 합니다. 즉 성취하고자하는 목표의 내용 자체를 읽고 성공과 실패가 정의될 수 있어야 합니다.

예)

◾ 1에이커 미만의 농지를 보유한 소농의 빈곤 탈출

◾ 특정 지역에서 HIV 감염 예방

2. 적절하고 올바른 지표를 선정하라.

Pick the right indicator

당신의 팀구성원에게 다음과 같이 물어보세요. “오직 한 가지만 측정할 수 있다면, 어떤 것이겠는가?” 누군가의 답변에 반론을 하지마세요. 한 개의 지표만 가능할 수 있고, 그리고 그것이 의외로 적절할 수 있습니다. 그리고 때로는 심혈을 기울여 선택한 복수의 지표의 조합을 사용할 수도 있습니다.

성과와 논리적으로 연결된 특정 행위가 있다면, 그 행위의 수행을 성과의 대증물로서 측정할 수 있습니다. 성과로 이어지는 행위와 그 행위에 대한 측정여부를 밝히지 않는 프로젝트는 모호합니다. 행위는 “의식여부” 또는 “역량부여” 등의 세부적 단계로 구성될 수 있습니다. 반드시 명심해야할 것은 지표로서의 특정 “행위”의 결과가 1단계에서 규명한 목표 성과를 달성하도록 기능하느냐는 것입니다.

예) 1단계에서 수립한 성과목표 예시에 대한 지표는 다음과 같을 수 있습니다.

◾ 농부의 소득을 증대한다.

◾ HIV 감염율을 낮춘다.

3. (성과 논리적으로 관계된) 실질적인 숫자를 확보하라.

Get real numbers

세 번째 단계에서 1) 변화를 보여줄 수 있어야 하고, 2) 그 변화가 실제라는 신빙성을 줄 수 있어야 합니다. 위의 요구사항을 충족시키는 방법은 다음과 같습니다.

1) 기초선이 있어야 하며, 적절한 간격을 두고 반복적으로 측정한다.

2) (통계적 방법론 상에서 결함이 없도록) 올바른 방법으로 적절한 대상을 충분한 숫자의 규모로 표본을 추출해야 한다.

4. 인과성을 증명하라.
Show that it was you

‘진짜’ 성과는 당신의 비영리 프로그램의 개입이 있을 때와 없었을 때의 차이를 의미합니다. 즉 기획한 비영리활동이 숫자상으로 확인되는 변화를 이끌어냈다는 인과성을 보일 수 있어야 합니다. 물론 성과측정에서 이 단계가 가장 어렵습니다. 기획한 비영리활동이 없을 때 ‘나타났을’ 결과를 제시하는 것이 어렵기 때문입니다.

활동과 측정결과의 인과성을 확인하는 방법은 아래와 같이 3가지 있습니다.

1) 구술적 인과성 확인

이 방법은 성과로 이어지는 인과적 요인이 적을 때 또는 변화가 극명하게 드러나는 경우에 유용합니다.

2) 계획적 비교 실험

비영리 프로그램 착수 시점에 프로그램을 시행할 집단 또는 지역과 유사한 구성과 인구구성을 가진 비교 집단을 지정하는 것입니다. ‘계획적 비교 실험’은 인과적 요인이 많지 않을 때 효과적입니다. 또한 파악되지 않는 요인이 확실하고 유의미하게 목표로하는 성과에 영향을 끼치지 않을 것이라는 것이 확실할 때 유용합니다. 아주 정확하고 확실한 인과성 확인 방법은 아니나 제법 쓸모있긴 합니다.

3) 무작위 대조군 실험

‘무작위 대조군 실험’은 가장 이상적인 방법입니다. 성과에 영향을 미칠것으로 보이는 변수가 많은 상황에서는 되도록 ‘무작위 대조군 실험’을 해야지 프로그램과 성과의 인과성 파악이 가능합니다.

‘진짜’ 영향을 파악하는 것의 핵심 무엇보다도 정직하고(honest), 의문을 가지고(curious), 건설적으로 의심하는 것(constructive skepticism)입니다.

케빈 스타(Kevin Starr)는, 

로라 헤이튼도프(Laura Hattendorf)는, 

​▶재단 바로가기