사회적 약자의 생활 문제를 해결하기 위해 추진된 지능정보서비스 12개의 사회성과를 측정하였음. 화폐로 환산 가능한 성과와 그렇지 않은 성과를 분리하고, 다시 이용자가 체감하는 성과와 체감하지 못하는 성과로 나누어 네 갈래로 분석하는 다차원 모델을 개발하여 적용하였음.
연구 개요
발주기관은 생활양식 변화와 기술 발전 과정에서 사회적 약자가 겪는 어려움을 해결하기 위해 지능정보서비스를 발굴·지원하는 사업을 추진해 왔음. 청각장애인 응급안내, 발달장애 인지학습, 치매 돌봄, 독거노인 생활지원 등 대상과 기술이 각기 다른 서비스가 포함되어 있었음.
이러한 사업의 성과는 통상 이용 건수나 만족도 점수로 보고되나, 그것만으로는 서비스가 실제로 어떤 변화를 만들었는지 설명되지 않음. 특히 사회적 약자를 대상으로 하는 서비스는 수혜 인원이 적어 규모 기준으로는 성과가 작아 보이는 문제도 있었음.
이에 본 연구에서는 서비스가 창출한 가치를 화폐 단위로 환산하는 한편, 화폐로 표현되지 않는 이용자의 체감 변화까지 별도로 측정하여 사업의 성과를 다각도로 제시하고자 하였음.
연구 배경과 핵심 쟁점
디지털 기반 공공서비스는 일반 공공서비스와 성격이 다름. 물리적 시설이 필요 없어 확산 속도가 빠르고, 이용자가 늘어날수록 추가 비용 없이 성과가 커지는 구조임. 그러나 기존 성과측정 방식은 확산 가능성을 반영하지 못해 시범사업 단계의 작은 수치만으로 사업의 가치를 판단하게 되는 한계가 있었음.
- 서비스가 만든 변화를 어떤 단위로 측정할 것인가?
- 화폐로 환산되지 않는 성과는 어떻게 다룰 것인가?
- 이용자가 체감하는 성과와 그렇지 않은 성과를 구분해야 하는가?
- 서비스마다 대상이 다른데 동일 기준으로 비교할 수 있는가?
- 확산 시 예상되는 성과를 어떻게 추정할 것인가?
- 측정 결과를 어떻게 축적하고 관리할 것인가?
분석 범위와 대상
발주기관이 추진한 지능정보서비스 12개 전체를 대상으로 하였음. 서비스 대상은 청각·시각·발달장애인, 치매 노인, 독거노인, 취약계층 등으로 서로 달랐음.
일부 서비스는 이용자 개인정보 파기, 설문 응답 부재, 서비스 종료 등의 사유로 체감성과 측정이 불가능하였음. 이 경우 화폐 환산이 가능한 재무성과만 산출하고 체감 분석은 수행하지 않은 것으로 명시하였음.
연구 설계와 분석 방법
다차원 분석 모델의 구조
서비스별로 이해관계자와 투입·산출·결과를 정리한 임팩트맵을 먼저 작성하고, 여기서 도출된 성과를 두 개의 기준으로 나누었음. 첫째 기준은 경제적 가치로 전환할 수 있는지 여부이며, 둘째 기준은 서비스 이용자가 그 변화를 직접 체감하는지 여부였음.
두 기준을 교차하면 네 개의 성과 유형이 나오며, 각 유형에 서로 다른 측정 도구를 적용하였음. 하나의 지표로 모든 성과를 담으려 하면 어느 한쪽이 왜곡되기 때문임.
확산 시나리오 분석 방법
디지털 서비스는 이용자가 늘어도 추가 투입이 크게 늘지 않으므로 확산 시 성과가 비례하여 증가함. 이 특성을 반영하기 위해 비용편익 분석과 사회투자수익률 기법을 함께 적용하여 전국 확산 시 예상되는 성과 규모를 추정하였음.
성과 분류체계
도출한 네 개 성과 유형과 각각의 측정 대상은 다음과 같음.
성과 유형별 측정 대상
| 구분 | 성과 유형 | 측정 대상 |
|---|---|---|
| 재무성과 | 체감 재무성과 | 만족감 향상, 외로움 감소, 자립도 개선 등 이용자가 느끼는 변화 |
| 비체감 재무성과 | 매출 부가가치, 일자리 보전, 기술개발, 치료비용 절감 | |
| 비재무성과 | 이용자 체감성과 | 서비스를 통해 실제로 달라진 생활의 변화 정도 |
| 서비스 포용성과 | 접근성, 사용성, 이용역량, 서비스 가치 |
비체감 재무성과에서는 대부분의 서비스에서 매출 부가가치가 가장 큰 비중을 차지하였고, 일자리 보전과 기술개발이 그 뒤를 이었음. 반면 체감 재무성과는 서비스 성격에 따라 편차가 컸음. 응급안내 서비스는 안전 불안감 해소가, 돌봄 서비스는 사회복지서비스 의존 감소가 가장 큰 가치를 만들었음.
재무성과 분석 결과
12개 서비스 모두 투자 금액을 넘어서는 가치를 창출한 것으로 분석되었음. 투자 대비 총가치의 비율은 1.45배에서 2.44배 사이에 분포하였음.
투자 대비 성과 상위 서비스
| 서비스 유형 | 투자 대비 성과 |
|---|---|
| 발달장애 인지학습 지원 | 2.44배 |
| 휠체어 이용자 실외 길안내 | 2.40배 |
| 시각장애 학생 독서 지원 | 1.99배 |
| 키오스크 접근성 개선 | 1.84배 |
| 스마트 안심요양 | 1.72배 |
가장 높은 비율을 기록한 발달장애 인지학습 서비스는 치료비용 절감이 성과의 상당 부분을 차지하였음. 서비스 이용으로 별도 치료에 지출될 비용이 줄어드는 구조여서, 절감액이 그대로 성과로 환산되었기 때문임.
반대로 가장 낮은 1.45배를 기록한 돌봄 서비스들도 투자 이상의 가치를 만들었음. 다만 이들 서비스는 성과가 이용자의 정서적 변화에 집중되어 있어 화폐 환산 과정에서 값이 보수적으로 산출되는 특성이 있었음.
비재무성과 분석 결과
이용자 체감성과와 서비스 포용성과를 5점 척도로 측정한 결과, 재무성과 순위와 다른 양상이 나타났음.
비재무성과 상위 서비스
| 서비스 유형 | 이용자 체감 | 서비스 포용 | 평균 |
|---|---|---|---|
| 키오스크 접근성 개선 | 4.1 | 4.0 | 4.05 |
| 시각장애 학생 독서 지원 | — | — | 3.85 |
| 청각장애인 응급안내 | 4.1 | 3.4 | 3.75 |
| 취약계층 행정복지 안내 | 2.9 | 3.2 | 3.05 |
| 치매 돌봄 지원 | 2.9 | 1.4 | 2.15 |
개선방안과 실행과제
서비스 종료 후 측정하면 이용자 정보가 파기되어 체감성과를 확인할 수 없음. 실제로 일부 서비스가 이 사유로 분석에서 제외되었음. 발주 시점에 성과분석 계획을 함께 수립할 필요가 있음.
재무성과가 양호해도 접근성과 사용성이 낮으면 대상자에게 도달하지 못함. 포용성과 점수가 낮은 서비스는 기능 추가보다 이용 장벽 제거를 우선해야 함.
서비스별 성과 산정에 사용한 지표와 환산계수를 축적해 두어야 이후 사업에서 재사용할 수 있음. 매번 새로 설계하면 서비스 간 비교가 불가능해짐.
디지털 서비스는 확산 시 성과가 비례해 커지므로, 시범 단계의 절대 금액이 아니라 확산 시나리오 결과를 사업 지속 여부의 판단 근거로 삼아야 함.
확산 시나리오 분석
각 서비스가 전국으로 확산될 경우 예상되는 사회성과를 추정하였음. 시범 단계의 성과 규모와 확산 시 규모의 순위가 크게 달라졌음.
확산 시 기대성과 상위 서비스
| 서비스 유형 | 확산 시 기대성과 |
|---|---|
| 취약계층 행정복지 안내 | 약 33조원 |
| 독거노인 생활지원 | 약 9조 8,000억원 |
| 지능형 민원처리 | 약 4조 5,000억원 |
확산 기대성과가 가장 큰 서비스는 시범 단계의 투자 대비 성과가 1.66배로 중간 수준이었음. 순위가 뒤바뀐 이유는 잠재 이용자 규모의 차이임. 특정 장애 유형을 대상으로 하는 서비스는 수혜 대상이 한정되는 반면, 취약계층 전반을 대상으로 하는 서비스는 확산 여지가 훨씬 크기 때문임.
이는 시범사업 성과만으로 사업의 지속 여부를 판단하면 확장성이 큰 서비스가 과소평가될 수 있음을 보여줌.
연구 시사점
사회성과를 하나의 금액으로 환산하면 비교는 쉬워지지만 서비스가 실제로 어떤 상태인지는 가려짐. 이 연구에서 재무성과와 비재무성과의 순위가 어긋난 사례가 그것을 보여줌. 투자 대비 가치가 양호한 서비스가 접근성 평가에서는 최하위였고, 그 사실은 금액을 합산했다면 드러나지 않았을 것임.
확산 시나리오 역시 같은 맥락에 있음. 시범 단계의 수치는 서비스가 도달한 이용자 수에 좌우되므로, 대상이 넓은 서비스일수록 초기 성과가 작아 보임. 디지털 서비스의 특성상 확산에 따른 성과 증가를 함께 보지 않으면 지속 여부 판단이 왜곡됨.
성과는 합산할수록 정보가 줄어듦
화폐 환산은 비교를 가능하게 하지만, 환산되지 않는 성과를 함께 제시해야 서비스의 실제 상태가 보임.
측정 시점을 사업 종료 후로 미루면 확인할 수 있는 것 자체가 사라지므로, 성과분석은 사업 설계 단계의 과제로 다루어야 함.