검색·요약: 답보다 원문을 찾기 쉬운가
첫 과제는 공개 안내문 하나에서 필요한 정보를 뽑는 일입니다. 예를 들어 도서관 행사 공지를 골라 '신청 마감, 참가 대상, 비용과 각각의 근거 문장을 정리하고, 없는 정보는 미기재로 표시해줘'라고 요청할 수 있습니다. 비교할 도구에는 같은 공지와 같은 질문을 사용하세요. 웹 검색을 지원하지 않는 도구에 최신 검색까지 맡긴 것으로 평가하지 않습니다. 정답표는 원문에서 직접 만듭니다. 행사 날짜와 신청 마감을 혼동하지 않았는지, 무료라는 말이 없는데 무료라고 채우지 않았는지, 링크를 열면 실제 근거가 있는지 대조하세요. 요약이 매끄러워도 대상·기간·예외가 빠지면 다시 확인하는 시간이 늘어납니다. 답을 받는 속도와 검증을 끝내는 속도를 따로 적어야 합니다.
문서 작성: 입력하지 않은 사실을 보태지 않는가
두 번째 과제는 짧은 안내문 초안입니다. 실제 고객 정보 대신 '가상 독서 모임, 10월 20일 오후 7시, 장소 미정, 참가비 미정'처럼 시험용 메모를 만들고, 확정된 내용과 미정 항목을 나눠 초안을 요청하세요. 날짜는 테스트용 가정이며 실제 행사 안내가 아닙니다. 원하는 말투보다 먼저, 없는 장소·금액·신청 링크를 만들어 넣지 않았는지 확인합니다. 그다음 길이, 읽는 순서, 내가 평소 쓰지 않는 과장 표현을 고치는 데 걸린 시간을 재세요. 문장 후보가 많다는 사실보다 최종 문서까지 손이 얼마나 가는지가 선택 기준입니다. 이 초안을 실제로 발송하거나 게시하는 단계는 별도 확인 뒤에 진행합니다.
자료 정리: 합계와 누락을 직접 대조할 수 있는가
세 번째 과제는 작은 표 정리입니다. 개인정보가 없는 가상 지출 세 줄을 준비할 수 있습니다. 교통 3,000원, 도서 12,000원, 교통 2,000원을 분류하면 교통 5,000원, 도서 12,000원, 전체 17,000원입니다. 원래 세 줄이 빠짐없이 반영됐는지도 확인하세요. 이 값은 설명용 산술 예시로, 특정 도구가 정답을 냈다는 실험 결과는 아닙니다. 실제 비교에서는 내가 처리하는 자료와 비슷한 형식을 쓰되 입력 권한이 있는 데이터만 사용합니다. 표의 단위가 유지되는지, 빈칸을 임의로 채우지 않는지, 결과를 쓰던 문서나 스프레드시트로 옮겨도 열이 맞는지 기록하세요. 단순 합계나 정렬은 기존 스프레드시트 기능으로 충분할 수 있습니다. AI가 낸 숫자는 계산식과 원자료로 다시 대조합니다.
| 비교 과제 | 원문·입력과 대조할 부분 | 함께 잴 수고 |
|---|---|---|
| 공개 공지 요약 | 마감·대상·비용·근거 위치 | 원문 확인과 누락 보완 시간 |
| 가상 안내문 작성 | 확정 사실과 미정 항목 구분 | 문장 수정과 최종 확인 시간 |
| 가상 지출 정리 | 세 줄 보존·교통 5,000원·전체 17,000원 | 계산 검증과 파일 이동 시간 |
한 번 잘 나온 답과 계속 쓸 도구는 다름
NIST AI RMF 1.0은 사용 맥락에 맞는 평가와 측정하지 못한 한계의 기록을 강조합니다. 아래 방식은 이를 참고한 개인용 비교 제안이며 NIST 인증이나 공식 평가 절차가 아닙니다. 도구 이름·이용 요금제·확인 날짜, 입력 자료·요청 문장, 나온 결과, 발견한 오류, 수정·검증 시간, 파일 이동 시간을 함께 남기세요. 서로 다른 질문을 던진 뒤 답변 길이만 비교하면 무엇이 더 나은지 판단하기 어렵습니다. 한 과제에서 괜찮았더라도 다른 길이·형식의 자료로 다시 시험하고, 안 해본 작업은 '미확인'으로 남깁니다. 결제 전에는 실제 내 계정에서 필요한 언어·파일 형식·내보내기를 쓸 수 있는지, 사용량 제한과 갱신·해지 조건이 무엇인지 확인하세요. 가령 월 총액 27,000원을 내고 검토까지 끝낸 작업이 6건이라면 한 건당 구독료 배분은 4,500원입니다. 30건이면 900원입니다. 모두 가정값이며 공식 요금이나 절약 효과가 아닙니다. 수정에 쓴 내 시간과 다른 비용은 별도이고, 도구 두 개를 번갈아 썼다면 양쪽 비용이 남습니다. 같은 일을 하는 구독을 추가할 때는 기존 도구로 못 끝낸 작업이 무엇인지부터 적으세요.
비교 시험에 메일함 전체를 연결할 필요는 없음
도구를 고르는 단계에서는 공개 자료나 시험용 자료로 시작하세요. 업무 자료라면 회사가 허용한 서비스·계정·입력 범위인지부터 확인하고, 고객 원문·비밀번호·비공개 계약서를 시험 삼아 넣지 않습니다. 데이터 보관·학습 이용·삭제 조건은 서비스와 요금제별로 직접 확인할 항목입니다. 유료라는 말만으로 같다고 가정하지 마세요. 파일 수정, 메시지 전송 같은 행동을 대신하는 에이전트는 초안만 만드는 도구와 구분해야 합니다. NCSC는 에이전트를 작은 범위에서 도입하고 필요한 최소 접근 권한과 사람의 통제를 유지하도록 안내합니다. 개인용 시험도 특정 자료의 읽기와 초안 작성부터 분리해 시작할 수 있습니다. 연결 범위와 실행 내용을 확인하거나 중단할 수 없다면 실제 계정 자동화는 보류하세요. 답변 품질이 좋았다는 이유만으로 메일 발송·파일 삭제 권한까지 넓힐 필요는 없습니다.