초록
자동화를 도입한 조직에서 가장 흔한 상태는 실패도 성공도 아닌 "모르겠음" 입니다. 뭔가 편해진 것 같긴 한데 시간이 얼마나 줄었는지 아무도 대답하지 못하고, 그래서 다음 자동화를 어디에 붙여야 할지도 정하지 못합니다. 원인은 단순합니다. 도입 전 상태를 아무도 기록하지 않았기 때문입니다. 이 글은 측정을 세 단계로 나눕니다. ① 도입 전 30분이면 끝나는 기준선 측정, ② 검토·수정·예외 처리까지 포함해 실제 절감을 계산하는 식, ③ 분기마다 돌려 "켜 두고 잊은 자동화"를 걸러내는 점검 절차. 이어서 시간 외에 함께 봐야 할 세 지표(누락률·응답 지연·품질 편차)를 다루고, 마지막으로 측정하면 안 되는 것과 숫자가 나빠도 유지할 가치가 있는 경우를 정리합니다.
1. 서론
자동화를 붙인 뒤 3개월쯤 지나 이런 대화가 오갑니다.
"그거 효과 있어요?" "음... 좀 편해진 것 같긴 해요."
이 대답이 문제인 이유는 겸손해서가 아니라, 다음 결정을 못 내리게 만들기 때문입니다. 효과가 있었다면 비슷한 업무에 더 붙여야 하고, 없었다면 꺼야 합니다. "좀 편해진 것 같다"에서는 어느 쪽으로도 갈 수 없습니다.
그리고 이 상태의 진짜 위험은 따로 있습니다. 효과가 없는 자동화가 계속 돌아간다는 것입니다. 자동화는 꺼 달라고 말하지 않습니다. 비용은 매달 나가고, 잘못 돌아도 조용합니다.
측정이 필요한 이유입니다. 어렵지 않습니다. 도입 전 30분이면 충분합니다.
2. 1단계 — 도입 전 기준선 (30분)
이 30분을 건너뛰면 이후 측정이 전부 불가능해집니다. 자동화를 붙인 뒤에는 "전에는 얼마나 걸렸더라"를 정확히 복원할 수 없습니다. 기억은 대체로 부풀려집니다.
무엇을 재나
한 가지만 재면 됩니다. 작업 한 건당 소요 시간.
측정 대상: 고객 문의 답변 작성
측정 방법: 10건을 처리하며 각각 시작·종료 시각 기록
결과: 평균 6분 20초 (최소 2분, 최대 18분)
측정일: 2026-08-17
최소·최대를 함께 적으십시오. 평균만 보면 놓치는 것이 있습니다. 18분짜리가 섞여 있다는 사실이 나중에 중요해집니다. 자동화가 잘 듣는 것은 대개 2분짜리이고, 18분짜리는 그대로 남기 때문입니다.
함께 기록할 세 가지
| 항목 | 왜 |
|---|---|
| 하루 평균 건수 | 절감 시간을 계산하려면 필요 |
| 담당자 수 | 여러 명이면 사람마다 다를 수 있음 |
| 측정한 날의 특수성 | 성수기·연휴 직후면 표시 |
10건 처리하면서 시간만 적는 일이라 실제로 30분이면 끝납니다.
3. 2단계 — 도입 후 계산
여기서 대부분의 계산이 틀립니다. "자동화가 30초 만에 처리했으니 6분이 30초가 됐다"고 계산하기 때문입니다.
실제로는 이렇습니다.
자동화 후 한 건당 실제 소요
= 결과 확인 시간
+ 수정 시간
+ 자동화가 못 한 건을 직접 처리한 시간(그 비율만큼)
숫자를 넣어 보겠습니다.
| 항목 | 값 |
|---|---|
| 도입 전 평균 | 6분 20초 |
| 자동화 결과 확인 | 40초 |
| 수정 (평균) | 1분 30초 |
| 자동화 제외 건 비율 | 20% (그 건은 여전히 6분 20초) |
한 건당 평균 = (0.8 × 2분 10초) + (0.2 × 6분 20초) = 약 3분
절감은 6분 20초 → 3분, **약 53%**입니다. "30초로 줄었다"는 인상과는 꽤 다릅니다. 그래도 절반은 줄었으니 충분히 성공입니다.
이 계산의 요점은 절감을 깎아내리는 게 아니라, 부풀린 숫자로 다음 결정을 하지 않게 하는 것입니다. 53%라는 숫자를 알고 있으면 "비슷한 업무에 하나 더 붙이자"는 판단이 근거를 갖게 됩니다.
월 단위로 환산하기
월 절감 시간 = 절감 시간/건 × 하루 건수 × 근무일
= 3분 20초 × 30건 × 22일
≈ 36시간
이 숫자를 유지 비용과 나란히 놓으십시오.
| 값 | |
|---|---|
| 월 절감 | 약 36시간 |
| 자동화 도구 요금 | (월 O원) |
| AI 호출 비용 | (월 O원) |
| 관리·개선에 쓰는 시간 | 월 O시간 |
마지막 줄을 꼭 넣으십시오. 자동화는 만들고 끝나지 않습니다. 자료를 갱신하고, 예외를 처리하고, 이상한 결과를 고치는 시간이 매달 듭니다. 이 시간이 절감보다 크면 그 자동화는 손해입니다.
4. 3단계 — 분기 점검 (30분)
3개월에 한 번, 돌고 있는 자동화 전부를 표에 올립니다.
| 자동화 | 월 절감 | 월 관리시간 | 마지막 확인 | 표본 정확도 | 판정 |
|---|---|---|---|---|---|
| 문의 분류 | 36시간 | 2시간 | 8/10 | 9/10 | 유지 |
| 일일 리포트 | 4시간 | 0.5시간 | 8/14 | — | 유지 |
| 주간 집계 | 2시간 | 2시간 | 5/2 | 6/10 | 중단 |
세 번째 줄 같은 것을 찾아내는 게 이 점검의 목적입니다. 관리 시간이 절감과 같고, 3개월간 아무도 안 봤고, 정확도도 떨어진 자동화요. 이런 것이 조용히 돌면서 비용을 쓰고 있습니다.
판정 기준
| 상황 | 판정 |
|---|---|
| 절감 > 관리시간 × 3, 정확도 8/10 이상 | 유지 |
| 절감 > 관리시간이지만 정확도 미달 | 고치기 (지시문·자료) |
| 절감 ≈ 관리시간 | 중단 검토 |
| 최근 3개월간 결과를 아무도 안 봄 | 중단 |
마지막 줄이 가장 중요합니다. 아무도 안 보는 자동화는 효과가 없는 것이 아니라 위험한 것입니다. 잘못 돌고 있어도 아무도 모른다는 뜻이니까요.
5. 시간 말고 함께 볼 세 가지
시간만 보면 놓치는 효과가 있습니다. 실제로는 이쪽이 더 큰 경우도 있습니다.
누락률. 자동화 전에는 바쁘면 놓치던 것이 이제 안 놓쳐지는가. 문의 누락 한 건이 줄어드는 가치는 몇 분의 시간보다 클 수 있습니다. 재는 법: 접수 대비 응대 완료 비율.
응답 지연. 평균 응답까지 걸린 시간. 분류·알림이 자동화되면 "본 사람이 없어서 반나절 방치"가 사라집니다. 시간 절감은 크지 않은데 고객 경험은 크게 달라지는 구간입니다.
품질 편차. 담당자나 요일에 따라 결과가 들쭉날쭉하던 것이 고르게 되는가. 이건 사람이 늘어날 때 특히 값집니다.
세 가지 모두 시트에 기록만 쌓여 있으면 나중에 계산할 수 있습니다. 그래서 자동화에 기록 단계를 반드시 넣으라고 하는 것입니다.
6. 측정하면 안 되는 것
숫자를 붙이기 시작하면 엉뚱한 곳까지 재려는 유혹이 생깁니다. 두 가지는 피하십시오.
직원별 처리 시간 비교. 도구 효과를 재려던 측정이 사람 평가로 바뀌면, 사람들은 측정을 왜곡하기 시작합니다. 측정 단위는 업무여야지 사람이 아닙니다.
절감 시간을 인력 감축 근거로 쓰는 것. 그 순간부터 아무도 자동화 아이디어를 내지 않습니다. 실무에서 자동화가 조직에 정착하는 조건은 줄어든 시간이 그 사람에게 돌아간다는 신뢰입니다.
7. 숫자가 나빠도 유지할 만한 경우
기계적으로 자르면 안 되는 것도 있습니다.
- 누락이 사라진 경우 — 시간 절감은 작아도 사고 예방 가치가 큽니다
- 야간·주말을 커버하는 경우 — 그 시간대 사람 대기 비용과 비교해야 합니다
- 담당자가 바뀌어도 품질이 유지되는 경우 — 인수인계 비용을 줄입니다
- 다른 자동화의 기반이 되는 경우 — 기록을 쌓는 흐름은 그 자체로는 절감이 작아도 뒤따르는 것들을 가능하게 합니다
반대로, 시간이 줄었는데도 중단해야 하는 경우가 하나 있습니다. 정확도가 낮은데 아무도 검토하지 않는 자동화입니다. 이건 시간을 아끼는 게 아니라 틀린 결과를 빠르게 만들어 내는 장치입니다.
8. 결론
세 문장으로 정리합니다.
첫째, 도입 전 30분이 전부입니다. 10건을 처리하며 시간을 적어 두는 것. 이걸 안 하면 이후 어떤 측정도 추정이 되고, 추정은 대개 자동화에 유리하게 부풀려집니다.
둘째, 절감은 확인·수정·예외까지 포함해 계산하십시오. "6분이 30초가 됐다"가 아니라 "6분 20초가 3분이 됐다"가 실제입니다. 절반이면 충분히 훌륭하고, 정확한 절반이 부풀린 90%보다 다음 결정에 도움이 됩니다.
셋째, 분기마다 한 번 전부 올려놓고 보십시오. 자동화는 스스로 꺼지지 않습니다. 최근 3개월간 아무도 결과를 안 본 자동화는 효과 여부와 무관하게 정리 대상입니다.
자동화를 만드는 절차와 안전장치는 AI 자동화 실무 7편에 정리해 두었고, 특히 깨진 걸 알아채기 편이 이 글의 측정과 짝을 이룹니다. 도구 선택 기준은 비개발자 자동화 도구 고르기에서 다룹니다.