두 문장은 실제 기록보다 결과를 좋게 표현했고, 한 문장은 원문에 정해 둔 점검 문항을 비슷한 표현으로 바꿨습니다. 문법도 맞고 소재도 원문에 있어서 초안만 읽을 때는 발견하기 어려웠습니다.
숫자는 같았지만 문장의 범위가 달라졌습니다
초안과 원문을 다시 읽으니 차이가 보였습니다.
| AI 초안 | 원문에서 확인한 내용 | 판정 |
|---|---|---|
| 17개가 등록되어 계속 사용된다 | 등록된 17개 중 9개는 사용 기록이 없었다 | 과장 |
| 사용하지 않던 도구를 다시 쓰게 만들었다 | 변경 효과를 증명하지 못했다고 기록했다 | 과장 |
| 점검 문항 4개를 비슷한 문장으로 수정했다 | 원문에 정해 둔 문항이 따로 있었다 | 문구 변형 |
'17개가 등록됐다'는 사실이 '17개가 계속 사용됐다'는 성과로 바뀌었습니다. 숫자는 그대로였지만 동사가 달라지면서 의미가 커졌습니다. 효과를 증명하지 못한 기록도 성공 사례처럼 정리돼 있었습니다.
이름을 붙여 반복해서 사용하는 점검 문항은 뜻이 비슷해도 임의로 바꾸지 않기로 했습니다. 브랜드가 정한 표현은 자연스러움보다 일관성을 먼저 확인해야 했습니다.
새 초안 밖에서도 오래된 숫자가 발견됐습니다
같은 날 공개 중인 회사 사이트를 확인하다가 다른 오류를 찾았습니다. 최신 기록의 에이전트 수는 33개였지만 이전 문서에는 15개라는 숫자가 남아 있었습니다.
사이트 전체에서 15를 검색해 보니 오래된 숫자가 들어간 곳은 모두 3곳이었습니다. 새 초안만 확인했다면 찾지 못했을 오류였습니다.
그래서 검수 절차를 두 가지로 나눴습니다.
- 새 초안은 근거가 된 원문을 읽으며 사실과 의미가 달라진 부분이 없는지 확인합니다.
- 회사 소개나 주요 수치가 바뀌면 기존 공개 문서에서 같은 숫자를 검색합니다.
AI는 초안과 원문에서 다른 부분을 찾고 근거 없음, 과장, 문구 변형으로 표시합니다. 수정 여부와 공개할 표현은 사람이 원문을 확인한 뒤 결정합니다.
AI는 차이를 세 가지로 표시합니다
근거 없음
과장
문구 변형
수정 여부 · 공개 표현 결정
( PROMPT — 검수 AI에게 주는 대조 지시문 · 그대로 복사해 쓰세요 )
너는 내용 검수 담당이다. 원문(사실 기록)과 초안을 함께 받아, 문체는 손대지 말고 사실만 대조한다. 1. 대조 규칙 - 초안의 단정(딱 잘라 말한 문장)마다 원문에서 근거 문장을 하나씩 찾아라. 못 찾으면 그 단정에 "근거 없음"을 표시하라. - 원문이 "증명하지 못했다"고 쓴 것이 성과처럼 바뀌어 있으면 "과장"으로 판정하라. - 이름 붙은 목록과 수치는 문구까지 원문과 같은지 대조하라. 다르면 "변형"으로 판정하라. 2. 회사 기준 (이 칸은 회사가 채운다 — 네가 추측으로 늘리지 마라) - 쓰면 안 되는 표현: (예: 가격 숫자, 동의 전 고객사 이름) - 과장으로 판정할 표현: (예: "최초", "보장", "완벽") 3. 보고 - 걸린 문장마다 초안 문장 | 원문 근거 | 판정(근거 없음·과장·변형) | 수정 제안 표로 보고하라. - 직접 고치지 마라 — 판정과 제안까지만. 수정은 초안 AI가 반영하고, 사람이 승인한다. - 원문에 없는 새 사실은 추가하지 마라.
AI가 자연스러운 문장을 만드는 것과 회사가 실제로 한 말을 지키는 것은 다른 작업이었습니다. 사람은 브랜드가 지켜야 할 사실과 표현의 범위를 정하고, 김자매주식회사는 그 기준을 반복해서 확인할 수 있는 검수 과정으로 만듭니다.
| ( 이 기록 요약 — 문제 · 한 일 · 달라진 것 ) | |
|---|---|
| 문제 | AI 초안에 원문과 의미가 달라진 문장 3건(과장 2 · 문구 변형 1) + 옛 문서 3곳에 낡은 수치 15 |
| 저희가 한 일 | ① 새 초안은 근거가 된 원문을 읽으며 사실·의미 차이를 확인 ② 회사 소개·주요 수치가 바뀌면 기존 공개 문서에서 같은 숫자를 검색 AI는 차이를 표시만 하고, 수정·공개 표현은 사람이 결정 |
| 달라진 것 | 과장·문구 변형이 발행 전에 걸러지고, 수치가 바뀌면 연계 문서를 함께 확인 — 회사 문서가 같은 숫자를 말하게 됨 |