AI 실무AI 자동화 실무 · 6기초

깨진 걸 알아채기 — 실패 알림·중복 실행·비용 한도

자동화모니터링비용관리노코드비개발자

① 이 편에서 만드는 것

자동화가 잘못됐을 때 내가 알게 되는 구조. 그리고 폭주해도 피해가 한정되는 한도.

② 준비물 · 시간

  • 지금까지 만든 흐름들
  • 소요 40분

③ 자동화의 세 가지 사고 유형

유형겉모습위험도
A. 멈춤아무 일도 안 일어남중간
B. 잘못 돎결과가 나오는데 틀림높음
C. 폭주같은 일이 수백 번높음 (비용·신뢰)

B가 가장 위험합니다. 멈추면 언젠가 알아채지만, 잘못 도는 것은 결과가 계속 나오기 때문에 이상함을 못 느낍니다. 잘못 분류된 문의가 두 달간 엉뚱한 담당자에게 가고 있어도 아무도 모릅니다.

세 가지를 각각 다룹니다.


④ A. 멈춤 — 실패를 알게 만들기

1. 도구의 실패 알림을 켜십시오. 대부분의 자동화 도구가 실행 실패 시 메일을 보내는 기능을 갖고 있습니다. 기본값이 꺼져 있거나 알림을 안 보는 메일함으로 가는 경우가 많으니 확인하십시오.

2. 0건 리포트를 보내십시오. 5편에서 다룬 방법입니다. 일이 없어도 신호를 보내면, 신호가 끊긴 것이 곧 이상 신호가 됩니다.

3. 하트비트를 만드십시오. 흐름이 여러 개라면 각각에 알림을 붙이는 대신, 주 1회 "지난주 자동화 실행 요약" 을 받는 편이 관리하기 쉽습니다.

[자동화 주간 점검] 8/11~8/17
문의분류: 실행 42회 / 실패 0회
일일리포트: 실행 7회 / 실패 0회
미처리알림: 실행 7회 / 실패 2회  ← 확인 필요

⑤ B. 잘못 돎 — 결과를 표본으로 확인하기

이건 알림으로 못 잡습니다. 실패가 아니라 성공적으로 틀린 것이기 때문입니다. 세 가지 장치를 씁니다.

1. 원본을 함께 기록하십시오.

AI가 판단한 값만 저장하면 나중에 검증할 수 없습니다. 원문과 판단 결과를 같은 행에 두십시오. 4편의 시트 구조가 그렇게 되어 있습니다.

2. 주 1회 표본 검사.

일주일에 한 번, 10건만 눈으로 확인하십시오. 5분이면 됩니다.

확인할 것:
- 유형 분류가 맞는가
- 긴급도가 과장·축소되지 않았는가
- 요약이 원문과 다르지 않은가

10건 중 2건 이상 틀리면 지시문을 손볼 때입니다. 비서 시리즈 6편의 증상별 처방을 그대로 쓰십시오.

3. 값의 목록을 벗어난 것을 잡아내기.

시트에 조건부 서식을 걸어 두면 눈에 띕니다. 유형 칸에 정해진 여섯 값이 아닌 게 들어오면 빨갛게 표시되도록요. 형식이 깨지기 시작하는 것은 지시문이 흔들린다는 신호입니다.


⑥ C. 폭주 — 중복과 한도

중복 실행을 막는 규칙

같은 일이 두 번 처리되는 것은 자동화에서 매우 흔한 사고입니다. 원인은 다양합니다(도구 재시도, 계기 중복 등록, 수동 실행과 예약 실행의 겹침).

해법은 하나입니다. 처리 여부를 기록하고, 안 한 것만 처리하십시오.

조건: I열(처리상태)이 비어 있는 행만 가져온다
처리 후: I열에 "처리완료" 기록

이 구조면 흐름이 두 번 돌아도 두 번째는 할 일이 없습니다. 자동화를 만들 때 가장 먼저 넣어야 할 안전장치입니다.

비용 한도

AI를 부르는 비용은 자동화 도구 요금과 별개로 내 계정에서 나갑니다. 형태 3(이벤트 실행)에서 입력이 폭주하면 그대로 비용이 됩니다.

세 가지를 걸어 두십시오.

1. 사용량 알림·상한. AI 서비스 계정 설정에서 월 한도나 알림을 설정할 수 있는 경우가 많습니다. 확인해서 켜 두십시오.

2. 흐름 자체에 건수 제한. "한 번 실행에 최대 20건까지만 처리" 같은 조건을 넣으면, 이상 상황에서 한 번에 수백 건이 나가는 일을 막습니다. 남은 것은 다음 실행에서 처리됩니다.

3. 입력 길이 제한. 문의 내용이 비정상적으로 길면(예: 5,000자 초과) 잘라서 보내거나 사람에게 넘기십시오. 긴 입력은 비용이 그만큼 큽니다.

스팸 대비

공개된 폼은 반드시 스팸이 들어옵니다. 자동화가 스팸까지 성실하게 처리하면 비용과 알림이 함께 늘어납니다.

  • 폼에 최소한의 봇 방지 설정
  • 흐름 앞단에서 명백한 스팸 걸러내기 (URL만 있는 내용, 특정 패턴)
  • 그래도 새면 ⑥의 건수 제한이 마지막 방어선입니다

⑦ 따라 하기 (40분)

  1. 만든 흐름 전부에 대해 실패 알림이 내가 보는 곳으로 오는지 확인
  2. 중복 방지 조건(처리상태) 적용 — 없는 흐름이 있으면 지금 추가
  3. AI 계정에서 사용량 알림·한도 설정
  4. 흐름에 1회 처리 건수 제한 추가
  5. 주간 점검용 알림 하나 만들기
  6. 일부러 깨뜨려 보기 — 시트 이름을 바꾸거나 권한을 뺏어 실패를 만들고, 알림이 실제로 오는지 확인

6번을 꼭 하십시오. 알림을 설정만 하고 작동 확인을 안 하면, 정작 필요할 때 안 옵니다.


성공 판정

  • 실패했을 때 내가 하루 안에 알게 된다 (실제로 깨뜨려 확인함)
  • 같은 흐름을 두 번 돌려도 중복 처리되지 않는다
  • AI 사용량 한도 또는 알림이 설정되어 있다
  • 주 1회 표본 검사 일정이 정해져 있다

흔한 실패

"알림이 스팸함으로 갔다." 첫 알림을 받아 보고 수신 확인까지 해야 완료입니다.

"한도를 걸었더니 일부가 처리 안 됐다." 정상 동작입니다. 다음 실행에서 처리되는지 확인하십시오. 계속 밀린다면 한도를 올리는 게 아니라 왜 그렇게 많이 들어오는지 봐야 합니다.

"표본 검사를 안 하게 된다." 주간 점검 알림에 "표본 10건 확인" 항목을 넣어 두십시오. 알림에 적혀 있으면 합니다.


다음 편미니 프로젝트와 자동화하면 안 되는 것

궁금한 점이 있으신가요?

협업·의뢰는 아래로, 가벼운 소통은 인스타그램 @bluefox._.hi도 환영이에요.

비용이 궁금하면 외주 계산기로 먼저 확인해보세요.