민간위탁으로 운영 중인 문화시설 3개 대상의 운영성과를 100점 만점 지표로 평가하였음. 정량평가는 제출 자료의 비교 검증으로, 정성평가는 평가연구소와 외부 평가위원의 결과에 가중치를 적용해 산출하였으며, 세 대상 모두 82점에서 85점 사이로 보통 수준으로 검토되었음.
연구 개요
문화시설을 민간위탁으로 운영하는 경우, 위탁 기간 중 수탁기관이 협약대로 사업을 수행하고 있는지 확인하는 절차가 필요함. 성과평가는 그 확인 절차이며 재계약 판단의 근거로도 활용됨.
본 연구에서는 관내 문화시설 3개 대상에 대해 성과평가 지표를 개발하고 평가를 시행하였음. 시설별로 예산 현황, 주요 사업 실적, 운영인력 현황을 먼저 확인한 뒤 평가를 진행하였음.
평가 결과를 바탕으로 시설별 개선사항을 도출하고 효율적 운영방안을 함께 검토하였음.
연구 배경과 핵심 쟁점
문화시설의 성과에는 사업 실적처럼 수치로 확인되는 부분과 프로그램의 질이나 운영 노력처럼 판단이 필요한 부분이 함께 있음. 정성적 판단이 들어가는 항목은 평가자에 따라 결과가 달라질 수 있으므로 평가 주체와 가중치를 미리 정해 둘 필요가 있음.
- 세 시설의 운영성과를 어떤 지표로 평가할 것인가?
- 정성평가의 객관성을 어떻게 확보할 것인가?
- 과정과 결과 중 어느 부문이 취약한가?
- 평가 결과를 무엇에 연계할 것인가?
- 시설별로 개선이 필요한 부분은 무엇인가?
분석 범위와 대상
관내 민간위탁으로 운영 중인 문화시설을 대상으로 하였음.
평가 대상은 미디어문화센터와 영화관, 생활문화센터를 함께 운영하는 시설군과 문화예술 창작공간, 농어촌 공공도서관임. 시설별로 개요와 시설현황, 예산현황, 주요 사업 실적, 운영인력 현황을 먼저 조사하였음.
연구 설계와 분석 방법
배점 체계의 구성
평가 지표는 과정평가 45점, 결과평가 40점, 만족도평가 15점으로 구성하고 가감점 ±4점을 두어 총 100점으로 산정하였음. 과정평가의 배점이 가장 크게 설정되어 있었음.
정량·정성 평가의 구분
정량평가는 수탁기관이 제출한 보고서와 증빙자료를 비교 검증하는 방식으로 수행하였고, 정성평가는 평가연구소와 외부 평가위원의 평가 결과를 가중치로 종합하는 방식으로 수행하였음.
시설별 성과평가 결과
세 대상의 부문별 득점과 최종 결과는 다음과 같았음.
평가 대상별 부문 득점 (단위: 점)
| 구분 | 배점 | A 시설군 | B 창작공간 | C 도서관 |
|---|---|---|---|---|
| 과정평가 | 45 | 32.7 | 33.3 | 32.1 |
| 결과평가 | 40 | 35.3 | 38.5 | 37.6 |
| 만족도평가 | 15 | 13.6 | 12.5 | 13.7 |
| 가감점 | ±4 | +1.00 | 0.5 | 0.5 |
| 합계 | 100±4 | 82.6 | 84.8 | 83.9 |
세 대상의 최종 점수는 82.6점에서 84.8점 사이에 분포하였음. 판정 기준에 따라 세 대상 모두 보통 수준인 것으로 최종 검토되었음.
부문별로는 결과평가의 득점률이 가장 높았음. 배점 40점 중 35.3점에서 38.5점을 득점하여 88%에서 96% 수준이었음. 반면 과정평가는 배점 45점 중 32.1점에서 33.3점을 득점하여 71%에서 74% 수준에 그쳤음.
지표별 평가 결과
A 시설군의 지표별 득점률과 주요 평가 내용은 다음과 같았음.
지표별 득점률
| 지표 | 득점률 |
|---|---|
| 주요 사업목표 달성도 | 90.6% |
| 만족도 | 88.2% |
| 예산 | 78.8% |
| 사업활성화 | 76.9% |
| 사업계획 | 75.0% |
| 사회적 책임 | 72.5% |
| 성과목표의 적정성 | 71.5% |
| 인력 및 조직 | 70.0% |
| 사업관리 | 65.0% |
주요 사업목표 달성도가 90.6%, 만족도가 88.2%로 높게 나타난 반면 사업관리 65.0%, 인력 및 조직 70.0%, 성과목표의 적정성 71.5%가 상대적으로 낮았음.
사업계획 부문에 대해서는 시설별 주요 사업의 사업계획서가 충실하게 작성되어 있고 필수 사항이 모두 기재되어 있으며, 자체 운영사업과 공모사업, 누적 참여자 등 연도별 주요 지표를 통해 정량적 목표를 확인할 수 있는 점이 확인되었음. 다만 시설운영계획과 내외부 환경 분석 등 계획의 구체성이 다소 아쉬운 것으로 평가되었음.
수치로 보는 주요 결과
평가 결과의 판정 기준과 타 지자체의 활용 사례는 다음과 같았음.
평가 결과 판정 기준과 활용
| 구분 | 내용 |
|---|---|
| 세 대상 판정 | 82.6점, 84.8점, 83.9점 — 모두 보통 수준 |
| 우수사례 선정 | 상대평가로 3건 선정하되 최소 80% 이상 득점자로 제한 |
| 재계약 제한 | 미흡 이하에 제한을 두어 운영 |
| 가감점 반영 | A 시설군 +1.00점, 나머지 두 대상 각 0.5점 |
본 연구에서 기준으로 삼은 성과평가 모델에서는 연간 수행되는 종합성과평가 대상 중 상대평가로 우수사례를 선정하되 최소 80% 이상 득점자로 제한하고, 재계약의 경우 미흡 이하에 제한을 두어 운영하는 것으로 확인되었음.
세 대상 모두 80%를 넘겨 우수사례 선정 자격 요건은 충족하였으나, 판정 구간으로는 보통 수준에 해당하였음. 가감점에서는 세 대상 모두 가점이 적용되었음.
개선방안과 실행과제
세 대상 모두 과정평가의 득점률이 가장 낮았음. 배점이 가장 큰 부문이므로 계획 수립과 관리 절차를 보완하면 총점 개선 효과가 큼.
정성평가는 평가연구소와 외부 평가위원의 결과를 가중치로 종합하는 방식으로 수행하였음. 평가 주체와 가중치를 사전에 정해 두어야 결과의 일관성이 확보됨.
정량평가는 수탁기관이 제출한 보고서와 증빙자료를 비교 검증하는 방식임. 자료 제출 기준을 협약에 명시해 두면 평가 절차가 간소화됨.
우수사례 선정과 재계약 제한 기준을 함께 두면 평가가 확인 절차에 그치지 않음. 판정 구간별 후속 조치를 규정으로 정할 필요가 있음.
평가 방법의 구성
정량평가와 정성평가의 수행 방식은 다음과 같이 구분하였음.
평가 방법별 수행 방식
| 구분 | 수행 방식 | 주관 |
|---|---|---|
| 정량평가 | 수탁기관 제출 보고서 및 증빙자료 비교 검증 | 평가연구소 |
| 정성평가 | 평가연구소 50%, 외부 평가위원 각 25% 가중치 적용 | 독립적 평가 |
정량평가는 제출 자료를 검증하는 방식이므로 평가연구소가 주관하였고, 정성평가는 평가연구소 외에 외부 평가위원 2인이 함께 참여하는 방식을 취하였음.
가중치를 평가연구소 50%, 외부 평가위원 각 25%로 설정하여 어느 한쪽의 판단이 결과를 좌우하지 않도록 구성하였음.
연구 시사점
세 평가 대상의 최종 점수는 82.6점, 84.8점, 83.9점으로 모두 보통 구간에 해당하였음. 부문별로는 결과평가와 만족도평가의 득점률이 높고 과정평가의 득점률이 낮은 구조가 세 대상에서 공통으로 나타났음.
평가 방법에서는 정량평가와 정성평가를 나누고, 정성평가에 외부 평가위원을 참여시켜 가중치를 배분하는 방식을 적용하였음.
배점이 큰 부문의 득점률이 총점을 좌우함
과정평가는 배점 45점으로 가장 크지만 득점률은 71~74%로 가장 낮았음. 세 대상 모두 같은 구조를 보여 이 부문의 관리가 개선 과제로 도출되었음.
정성평가는 평가 주체와 가중치를 사전에 정해 두어야 결과의 일관성이 확보됨. 본 평가에서는 평가연구소와 외부 위원의 가중치를 나누어 적용하였음.
