AI 실무나만의 AI 비서 만들기강의 8개 중 6번째난이도 입문

안 될 때 고치는 법 — 헛소리·못 찾음·말투·길이

발행 읽는 시간 약 4 분

  • 트러블슈팅
  • 환각
  • 프롬프트
  • AI비서
  • 비개발자
  • 실습

강의 소개

AI 비서가 말을 안 들을 때 나타나는 증상은 대개 네 가지입니다. 증상별로 원인이 다르고 처방도 다릅니다. 지시문을 무작정 길게 쓰기 전에 어디를 손봐야 하는지 순서로 정리합니다.

① 이 편에서 얻는 것#

5편 시험지에서 × 가 난 항목을 증상별 처방으로 고치는 방법. 지시문을 무작정 길게 쓰는 대신 원인에 맞는 곳을 손봅니다.

② 준비물 · 시간#

  • 5편에서 만든 시험지와 1차 결과
  • 소요 30분

③ 증상은 네 가지로 나뉜다#

실무에서 나오는 문제는 거의 이 네 가지입니다. 원인이 다르므로 처방도 다릅니다.

증상겉모습진짜 원인
A. 헛소리없는 규정·가격을 자신 있게 말함자료 부족 + 모름을 표현할 통로 없음
B. 못 찾음자료에 있는데 "모른다"고 함자료 형태·표현 불일치
C. 말투 이상내용은 맞는데 못 씀예시 부재
D. 길이 문제너무 길거나 짧음기준이 모호함

가장 위험한 것은 A이고, 가장 흔한 것은 D입니다. A부터 처리하십시오.


④ 증상 A — 헛소리 (없는 걸 지어냄)#

왜 생기나#

AI는 "모른다"보다 "그럴듯한 답"을 내놓도록 만들어진 도구입니다. 그래서 자료에 없으면 주변 정보로 추측해서 채웁니다. 그리고 그 답은 확신에 찬 문장으로 나옵니다.

처방 (효과 순)#

1. 모름을 표현할 자리를 만들어 주기 — 가장 효과가 큽니다.

출력 형식에 확인 필요: 칸을 두면 AI가 불확실한 것을 그곳에 적습니다. 칸이 없으면 갈 곳이 없어서 답변 안으로 섞여 들어갑니다.

Text
출력 형식:
답변 초안: (3~4문장)
확인 필요: (자료에서 확인 못 한 항목. 없으면 "없음")

2. 근거를 밝히게 하기

Text
- 답변에 사용한 근거를 자료의 어느 부분에서 가져왔는지 한 줄로 표시한다

근거를 못 대면 그 문장은 지어낸 것입니다. 검토가 빨라집니다.

3. 금지 규칙을 판별 가능한 형태로

Text
✕ 부정확한 정보를 말하지 마라        ← AI는 자기가 틀린 줄 모릅니다
○ 숫자(가격·기간·수량)는 자료에 그대로 적힌 값만 쓴다.
   자료에 없으면 숫자를 쓰지 말고 "확인 필요"에 적는다

4. 그래도 안 되면 범위에서 빼기

특정 영역(예: 환불 금액, 납기 확약)은 아예 답하지 말고 사람에게 넘기게 하십시오. 못 하게 만드는 것도 설계입니다.


⑤ 증상 B — 자료에 있는데 못 찾음#

왜 생기나#

질문에 쓴 말과 자료에 쓰인 말이 다르면 못 찾습니다. 고객은 "택배 언제 와요"라고 묻는데 자료에는 "배송 소요 기간"이라고만 적혀 있는 경우입니다.

처방#

1. 자료에 실제로 쓰는 말을 넣기

Text
## 배송 소요 기간 (택배, 언제 오나요, 도착일)
평일 오후 2시 이전 결제 시 당일 출고, 보통 2~3일 소요.

제목에 고객이 실제로 쓰는 표현을 함께 적어 두면 크게 개선됩니다.

2. 질문·답변 쌍으로 다시 쓰기 — 4편에서 다룬 방법이 여기서도 최선입니다.

3. 자료 줄이기. 후보가 많으면 엉뚱한 조각을 물어 옵니다. 안 쓰는 문서를 빼십시오.

4. 파일을 주제별로 나누고 이름을 명확히. 환불규정.txt가 회사자료_v3.docx보다 훨씬 잘 찾힙니다.


⑥ 증상 C — 말투가 안 맞음#

처방: 설명하지 말고 보여 주기#

말로 아무리 설명해도 잘 안 맞습니다. 좋은 예를 하나 붙여넣는 것이 열 줄의 설명보다 낫습니다.

Text
[좋은 답변 예시]
문의: 어제 주문했는데 아직 배송 시작이 안 됐어요.
답변: 확인해 보니 아직 출고 전 상태입니다. 평일 오후 2시 이전 결제 건은
당일 출고되며, 주말·공휴일 결제 건은 다음 영업일에 나갑니다.
오늘 중 출고 예정이며 송장번호는 문자로 안내드리겠습니다.

위 예시의 길이와 어조를 기준으로 삼는다.

나쁜 예를 함께 주면 더 정확해집니다.

Text
[피해야 할 답변 예시]
"고객님 정말 죄송합니다ㅠㅠ 불편을 드려 대단히 죄송합니다.
최대한 빠르게 처리해 드리도록 하겠습니다!!"
→ 사과 반복, 느낌표, 구체적 정보 없음

⑦ 증상 D — 길이 문제#

처방: 셀 수 있는 단위로 지정#

✕ 모호함○ 판별 가능
간결하게3문장 이내
자세히항목 5개 이상, 각 2문장
적당히300자 내외

그리고 규칙끼리 충돌하지 않는지 확인하십시오. "친절하고 상세하게" + "3문장 이내"는 서로 다투는 지시입니다. 이럴 때 AI는 둘 중 하나를 임의로 버립니다.


⑧ 고치는 순서#

증상이 여러 개일 때의 순서입니다.

  1. A(헛소리) 먼저 — 사고로 이어지는 유일한 증상
  2. B(못 찾음) — 자료 형태 문제이므로 고치면 다른 것도 같이 좋아짐
  3. D(길이) — 한 줄로 해결됨
  4. C(말투) — 마지막. 예시 하나 붙이면 끝

그리고 5편의 규칙을 반복합니다. 한 번에 한 곳만 고치고, 시험지 10개를 다시 돌립니다.


성공 판정#

  • 시험지에서 모름·금지 4문항이 전부 ○
  • 전체 8/10 이상
  • 고칠 때마다 회차가 시트에 기록되고 있다

흔한 실패#

"고칠수록 나빠진다." 규칙이 서로 충돌하고 있을 가능성이 큽니다. 지시문을 처음부터 읽으며 모순되는 두 줄을 찾으십시오. 그래도 안 되면 점수가 가장 높았던 회차로 되돌리고 거기서 다시 시작하십시오.

"지시문이 100줄이 넘었다." 규칙을 더하는 대신 자료를 고치는 편이 나은 경우가 많습니다. 특히 B 증상은 지시문으로 해결되지 않습니다.

"어떤 날은 잘 되고 어떤 날은 안 된다." 같은 입력에도 답이 조금씩 달라지는 것은 이 도구의 성질입니다. 그래서 한 번의 결과로 판단하지 말고 시험지로 판단하는 것입니다.


다음 편 — 팀에 나눠 주기와 회사 자료의 선

관련 자료: 프롬프트를 더 정교하게 다루는 기법은 고급 프롬프트 기법에 정리되어 있습니다.

Follow · Ask · Work

이 글이 도움이 됐다면

짧은 작업 기록과 데모는 인스타그램에 올립니다. 만들고 싶은 것이 있다면 프로젝트 의뢰나 협업 제안도 편하게 보내 주세요.

글쓴이

파란여우

직접 만든 AI 앱·제품의 개발·배포를 공개하는 실전형 테크 크리에이터

파란여우 소개 Instagram @bluefox._.hi

이어서 보기

만들고 싶은 것이 있다면 프로젝트 의뢰로 알려 주세요.