어떤 CSR

■ 성과평가, 왜 중요한가요?

성과평가는 크게 2가지의 효용이 있습니다. 하나는 성과평가를 통해 개선점을 찾아내는 것입니다. 성과평가 과정은 사회공헌의 목적, 과정, 결과 모두를 리뷰할 수 있는 기회입니다. 전 과정 리뷰를 통해 개선점을 찾아내고, 이를 반영해 더 좋은 프로그램을 진행하는 기회를 얻을 수 있습니다. 또 하나는 성과를 내외부적으로 소통할 수 있다는 것입니다. 사회공헌 프로그램에 관심이 있는 이해관계자에게 프로그램을 통해 창출된 성과를 소통함으로써 기업, 파트너십, 프로그램의 신뢰도를 제고할 수 있습니다. 이러한 측면에서 최근의 성과평가는 ‘무엇을 했는가’보다는 ‘무엇이 변화했는가’가 중심이 되고 있습니다.

과거에도 평가가 없었던 것은 아닙니다. 다만 과거에는 주로 프로그램의 산출물(output)을 제시하는 것이 중심이었는데, 이러한 방식이 프로그램의 목적과 취지를 충분히 설명할 수 없다는 믿음이 확산되고 있습니다. 프로그램의 취지는 변화를 만들자는 것인데, 산출물은 변화를 보여주기엔 설득력이 부족하다는 것입니다. 
여기에서 오해하면 안 될 부분이 있습니다. 모든 프로그램에서 산출물 중심의 성과평가가 부족하다고 여겨지는 것은 아닙니다. 변화의 측정이 중심인 프로그램에서는 변화를 중심으로, 산출물이 중요한 프로그램에서는 산출물을 중심으로 평가하면 됩니다. 또한 평가의 대상인 프로그램이 ‘변화를 창출할 정도로 충분히’ 진행되었는지도 생각해 보아야 합니다.

성과측정의 한계도 역시 고민해 봐야 합니다. 성과평가에서는 사업의 구조와 내용, 방향 등을 쉽게 시각화하기 위해 흔히 논리모형(Logic Model)을 이용합니다. 투입, 과정, 산출, 결과(그리고 영향)로 이루어진 친숙한 도구입니다. 다만 논리모형은 일방향성(투입->과정->산출->결과)이라는 한계가 있습니다. 그러나 우리의 활동과 현장의 변화는 일방향적이지 않습니다. 진퇴를 반복하고, 때로는 아예 다른 차원과 국면으로 이동하기도 합니다. 그러다 보니, 현장에서 겪는 변화는 과정이 산출물로, 산출물이 결과물로 이전하는 것이 아니라, 산출물이 거꾸로 과정에 영향을 주고, 이를 통해 다시 과정이 결과에 영향을 미치는 복잡성을 띱니다. 그래서 성과측정이 성과나 (때론 성과보다 중요한) 실패를 온전히 담지 못하기도 합니다. 이런 한계가 있지만 성과평가는 유용합니다. 지도를 볼 줄 안다고 모두 목적지를 찾아갈 수 있는 것은 아니지만, 그래도 지도는 도움이 됩니다.  

■ 성과평가, 시작은 언제부터?

그렇다면, 프로그램으로 인한 변화를 파악할 수 있는 성과평가를 한다고 가정했을 때, 평가의 시작은 언제일까요? 정답은 프로그램을 기획하는 단계입니다. 프로그램을 기획하는 단계에서 이미 성과평가는 시작됩니다. 왜일까요?

현장에서 성과를 평가할 때 겪는 큰 어려움 중의 하나는, 프로그램의 성공(성과)에 대한 정의가 없다는 점입니다. 정의가 있더라도 모호한 경우가 많습니다. 프로그램의 성공 정의가 모호한 경우, 다시 말해 목표가 분명하지 않은 경우, 목표달성 전략 수립, 자원배분에 대한 의사결정, 변수에 대응하는 원칙 확인이 어려워진다는 문제가 있습니다. 그리고 양질의 평가지표를 만들기 어렵습니다. 무엇보다 프로그램의 기획단계에서 성공(성과)이 정의되지 않으면, 프로그램 진행 이후의 변화가 프로그램으로 인해 발생한 것인지, 프로그램과 무관한 것인지 식별하는 기본적인 확인조차 어려울 수 있습니다. 애초에 프로그램으로 인한 변화를 측정하고 평가하자는 것인데, 그 변화가 무엇인지조차 알 수 없게 되는 딜레마에 빠지게 됩니다. 따라서 기획 단계에서 성공(성과)을 정의하고, 이에 따라 전략과 실행계획을 갖추어야 합니다.

목표를 수립하는 단계에서 목표가 막연해지는 경우가 있습니다. 아래의 질문에 답하면서 이해관계자들과 목표를 토론해 볼 수 있습니다. 이때 목표가 불분명하거나 추상적으로 서술되지 않도록 유의해야 합니다. 그리고 성과목표는 환경 변화에 따라 수정이 가능합니다. 다만 환경 변화가 아닌 다른 이유(달성을 용이하게 하기 위해 성과목표를 낮추는 행위 등)로 수정하는 것은 유의해야 합니다.  

■ 성공 정의 이후, 지표와 근거 확보

프로그램의 기획 단계에서 성공에 대해 정의하고, 이에 맞게 목표를 설정하며, 이를 지표로 제시할 수 있습니다. 지표는 프로그램의 진행 과정에서 꾸준히 확인될 필요가 있습니다. 성과지표는 프로그램 목적의 달성 여부를 확인하는 것입니다. 사업을 통해 생성되는 투입, 과정, 산출, 결과 등의 지표들을 도출한 후, 성과지표를 확정할 수 있습니다.

측정지표는 목표의 달성도를 확인하고 관리하는데 이용됩니다. 따라서 앞서 말씀드린 것처럼 목표를 명확히 정의해야 지표가 도출될 수 있습니다. 지표는 측정가능하고, 신뢰할 수 있어야 하며, 목표와 관련성이 있어야 합니다. 측정지표는 지표명(목표), 산식(측정방법), 자료수집방법(출처)으로 이루어집니다. 
예를 들어 지표명(목표)이 “분리수거함 설치를 통한 폐기물 분리수거량의 증대”라고 한다면, 측정 방법은 목표 달성 여부를 판단할 수 있는 구체성을 띠어야 합니다. “요일별 분리수거량”, “분리수거함 별 분리수거량”, “폐기물 중 분리수거 비율” 등이 측정 항목이 될 수 있습니다. 자료수집방법은 구체적인 측정 방법을 결정하는 것입니다. 예를 들면 분리수거량은 무게를 측정할 수 있습니다. 데이터를 보유하고 있는 기관/조직의 협조를 받아 양을 측정한다면, 어떤 시스템을 통해 측정되는지 등을 미리 파악해 둘 필요가 있습니다. 지표 중 알고 싶지만, 확인할 방법이 없는 것도 있습니다. 이 경우엔 활용가능성이 낮다고 보고 제외할 수 있습니다.

성과지표의 기준¹⁾

성과지표는 명확한 개념과 측정산식으로 표현되어야 합니다. 따라서 성과지표의 측정방법(산식)이 성과지표명, 성과지표의 개념에 부합하지 않다면 수정해야 합니다. 
예를 들면, 어떤 프로그램에서 산출물로 교재를 개발했다고 가정해 보겠습니다. ‘교재의 활용도’를 성과지표로 제시하고, 이 지표의 측정방법으로 ‘선생님의 만족도를 5점 척도로 측정하여 100점 만점으로 환산’한다고 생각해 보겠습니다. 교재의 활용도와 선생님의 만족도는 전혀 무관하지는 않지만 양자는 다르게 측정되어야 합니다. 
성과지표와 측정방법이 부합하지 않습니다. 측정 산식에 투입·과정지표를 포함하는 것도 지양해야 합니다. 예를 들어, 측정하고자 하는 성과가 ‘표준 지표 개발’이라고 한다면, ‘지표 개발을 위한 위원회 구성 및 운영 건수’는 성과를 측정하는 산식이 아닙니다. 과정을 설명하는 지표이기 때문입니다. 무엇보다 측정산식은 객관적이어야 합니다. 성과가 외부 요인에 영향을 받는 측정은 피하는 것이 좋습니다. 특정 지역의 일부 학교에서 프로그램을 운영했는데, 지역 전체 청소년의 변화를 성과지표로 설정하는 것은 부적절합니다.

아래는 성과측정지표 중 기초연구 지원프로그램의 성과목표와 지표설정의 예시입니다²⁾.

평가 체계를 디자인했다면, 프로그램을 시작하기 전에 기초선(baseline)을 확인할 수 있습니다. 참여자들이 프로그램의 영향을 받기 전, 혹은 프로그램의 과정에서라도 측정하고자 하는 기준점을 설정하는 것입니다. 성과는 기초선으로부터의 변화나 차이를 측정하여 분석하고 평가합니다. 그 때문에 기초선의 결과가 성과에 미치는 영향은 큽니다. 같은 프로그램을 운영하더라도, 기초선이 낮을 경우 성과가 큰 것으로 오해될 수 있고, 기초선이 높으면 성과가 낮게 판단될 수 있습니다. 따라서 기초선은 프로그램의 목적과 성격에 맞추어 체계적으로 측정되어야 합니다. 
예를 들면 멸균팩을 줄이는 행동을 촉진하는 프로그램의 성과를 멸균팩의 수거량으로 측정하고자 한다면, 프로그램을 시행하기 전 멸균팩이 수거되는 양을 미리 측정해 두어야 합니다. 이때 몇 시간을 관찰한 결과로 기초선을 확정하는 것과 며칠에 걸쳐 관찰한 결과로 기초선을 확정하는 것 사이에는 분명한 차이가 있습니다.

데이터수집에는 여러 방법이 동원됩니다. 사전사후 설문, 인터뷰 등으로 데이터를 생성할 수도 있고, 참여도에 대한 관찰과 기록 등이 모두 데이터 수집에 활용될 수 있습니다.

이렇게 수집된 데이터를 분석하면, 프로그램 중간에 사업이 목표 달성이 가능한 수준으로 진행되고 있는지, 목표 달성을 위해 변경하거나 개선할 부분은 없는지 판단할 수 있습니다. 필요하다면 보충적인 지표를 도출하거나 측정방법 개선에 대한 아이디어를 얻을 수도 있습니다. 프로그램 종료 후에는 프로그램의 전후 비교를 할 수 있으며, 프로그램으로 인한 변화가 있는지, 변화가 있다면 그 크기는 어느 정도인지, 누구에게 어떻게 변화가 발생했는지 등을 파악할 수 있습니다.

■ 결과에 대한 분석과 해석

프로그램을 통해 다양한 데이터를 얻었다면, 이를 분석해야 합니다. 분석 과정에서 데이터는 여러 차원의 수치로 정리될 수 있습니다. 다만 이런 양적인 표현만으로는 프로그램을 충분히 해석하기 어렵습니다. 프로그램을 통해 나타난 변화와 그 이유는 참여자의 목소리를 참고하거나 사례를 탐색하면서 더 선명하게 밝힐 수 있습니다.

분석과 해석 과정에서 결과를 어떻게 표현할지도 함께 고민합니다. 시각화할 수 있는 데이터가 있다면 시각화하고, 참여자 인터뷰나 스토리텔링이 풍부한 해석에 도움이 된다면 인용합니다.

측정 결과를 화폐적으로 표현할 수도 있습니다. 성과로 도출된 것들이 시장에서 거래되고 있다면 시장의 거래가격에 비추어 합리적인 산식을 구성해 그 결괏값을 도출할 수 있습니다. 성과로 도출된 것들이 시장에서 거래되지 않은 것이라면, 이런 성과를 창출하기 위해 공공예산이 어느 정도 투입되어야 하는지 등을 계산해, 프로그램을 통해 절감된 공공예산의 규모를 대신 제시할 수 있습니다. 다만 프로그램으로 인해 산출된 결과와 시장에서의 거래 품목, 공공사업이 완벽히 일치할 수는 없으므로 최대한 보정된 결과를 제시하면 더 신뢰받을 수 있을 것입니다.

■  성과평가를 위해 유의할 점

첫 번째는 ‘이해관계자의 참여’입니다. 성과평가는 평가자나 관리자만의 일이 아닙니다. 이해관계자가 충분히 참여해 의견을 수렴해야 합니다. 그래야 성과목표나 지표가 합리적으로 설정되고, 각자의 역할과 관점 속에서 실질적인 성과 관리가 가능해집니다.

또 하나 조심할 부분이 있습니다. 바로 워싱(washing)입니다. 성과평가를 하는 과정에서 가끔 평가와 워싱의 경계에 놓일 수 있습니다. 워싱은 프로그램의 실제 성과를 부풀리거나 왜곡하는 것입니다. 이는 의도된 행위로 드러나기도 하고, 부주의의 결과로 나타나기도 합니다.

성과에 대한 워싱이 나타나면 우선 프로그램에 대한 이해관계자의 신뢰도가 낮아집니다. 실제 성과보다 과장된 성과를 보여주거나, 허위 정보를 제공하거나, 측정방법을 의도적으로 유리하게 조작하거나, 결과를 자의적으로 해석하거나, 측정산식 등을 숨기는 행위는 결과적으로 프로그램 전 과정의 투명성에 대한 의문으로 이어집니다. 그리고 워싱이 발생하는 순간 프로그램을 개선할 방법이 사라지게 됩니다. 정보가 오염돼서 믿을 수 있는 근거가 사라지기 때문입니다. 이미 낮은 성과에 대한 책임을 회피하겠다는 강한 의도로 워싱이 실현되기 때문에 평가의 결과가 개선으로 이어질 가능성 자체가 높지 않다고 판단할 수 있습니다. 결과적으로 워싱된 평가결과에 근거한 잘못된 의사결정이 이루어질 경우, 자원 낭비를 피할 수 없습니다.

그래서 의식적으로 워싱을 피하기 위한 노력을 해야 합니다. 우선 성과평가의 과정과 결과에 대한 정보를 공개해서 신뢰도를 높여야 합니다. 성과평가를 설계할 때 지표가 명확하고 정확할수록 객관적인 평가가 가능합니다.  

■ 당장의 성과평가가 쉽지 않다면

엄밀하게 성과를 평가할 수 없는 상황이라면, 대신 프로그램의 진행 과정에서 지속적으로 모니터링을 하는 것도 방법입니다. 프로그램 기획 단계에서 예상할 수 없었던 문제점들을 조기에 발견하고, 해결할 수 있습니다. 그리고 모니터링 사항들이 잘 아카이빙 된다면 프로그램의 개선을 위한 자료로 활용할 수 있습니다.

위에 서술한 내용을 읽다 보면, 당연히 성과평가가 어렵다고 생각하게 됩니다. 정확히 표현하자면, 성과평가를 위해 노력을 해야 한다는 생각을 하게 됩니다. 성과 평가에 들이는 노력은 프로그램의 기획과 실행에 들이는 노력 못지않게 큽니다. 다만 성과평가를 거창하게 해야 한다는 부담감보다는, 우선 평가를 프로그램의 자연스러운 업무로 받아들일 수 있도록 체질을 바꿔볼 것을 제안합니다. 작은 규모의 평가라도 직접 해본다면, 우리의 프로그램은 더 높은 수준의 변화를 만들 수 있습니다.

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

1) 출처: 국가연구개발사업 표준성과지표(5차)[성과목표·지표 설정 안내서] (2020, 과학기술정보통신부) 재구성

2) 출처: 국가연구개발사업 표준성과지표(5차)[성과목표·지표 설정 안내서] (2020, 과학기술정보통신부)

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
<기초 자료>
국가연구개발사업 표준성과지표(5차)[성과목표·지표 설정 안내서] (2020, 과학기술정보통신부)

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

<이미지 출처>
pixabay.com

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

     기획 : 서울시공익활동지원센터, 이노소셜랩

     작성 : 이노소셜랩

     디자인 : 슬로워크