그럴듯한 문장이 원문을 보증하지 않는다
NIST의 생성형 AI 위험관리 문서는 자신 있게 제시되지만 틀리거나 사실이 아닌 출력을 confabulation으로 설명합니다. 흔히 환각이라고 부르는 현상입니다. 문서 안의 정보만 요약하라는 지시도 결과가 정확하다는 보증은 아닙니다. 특히 문서의 확정·예정·제안 상태가 뒤바뀌면 단어 몇 개의 차이가 업무 판단을 바꿉니다.
짧은 원문으로 오류 세 가지 찾기
다음은 가상 회의 메모입니다. “출시 여부는 금요일까지 검토한다. 예산은 최대 300만원이며 승인 전 집행할 수 없다. 기존 고객만 시범 대상이고 일반 공개일은 미정이다.” 이를 “금요일에 300만원을 집행해 전 고객에게 출시한다”라고 줄이면 세 군데가 틀립니다.
| 검토 항목 | 잘못된 요약 | 원문이 말하는 범위 |
|---|---|---|
| 일정 | 금요일 출시 | 금요일까지 출시 여부 검토 |
| 예산 | 300만원 집행 | 최대 300만원, 승인 전 집행 금지 |
| 대상 | 전 고객 공개 | 기존 고객 시범, 일반 공개일 미정 |
출처 링크 대신 근거 문장을 짝짓기
요약의 핵심 주장마다 원문 위치와 근거 문장을 한 줄씩 붙입니다. 주장: 출시 여부를 금요일까지 검토한다. 근거: 첫 문장의 '출시 여부는 금요일까지 검토한다'. 상태: 원문과 일치. 주장: 금요일에 정식 출시한다. 근거: 없음. 상태: 삭제하거나 미확인으로 표시. 실제 업무에서는 페이지·문단·영상 시각처럼 다시 찾아갈 수 있는 위치를 남기세요. 문서 링크가 있다는 것과 그 문서가 해당 주장을 지지한다는 것은 다릅니다.
빠진 예외도 오류 목록에 넣는다
사실이 틀리지 않았어도 “승인 전 집행 금지” 같은 조건을 빼면 행동을 오도합니다. 원문을 기준으로 금액의 상한·하한, 날짜의 마감·예정, 대상의 포함·제외를 각각 확인하세요. 이 예제의 안전한 요약은 “기존 고객 대상 시범 출시 여부를 금요일까지 검토한다. 예산 상한은 300만원이며 승인 전 집행할 수 없다. 일반 공개일은 미정이다”입니다.
AI에게 재확인시켜도 원문 검토는 남는다
같은 도구에 맞는지 다시 묻는 작업은 오류 후보를 찾는 보조 수단입니다. 같은 오해를 반복할 가능성까지 없어지지는 않습니다. NIST 문서도 생성 결과의 출처와 인용을 검토·확인하는 작업을 권고합니다. 중요한 공지, 계약, 건강·안전 정보는 요약만 전달하지 말고 원문과 검토 범위를 함께 전달하세요.