2주차 · 출처를 따라가고, 넣지 말 것을 먼저 가리기
넣으면 안 되는 정보를 먼저 가리고, AI 답의 주장을 원래 출처까지 따라가 판정합니다.
모임 60분 · 혼자 60분
이 페이지 목차 (5)
목표와 준비
목표. 지어낸 메일에서 AI에 넣으면 안 되는 정보를 가려 사본을 만들고, AI 답의 사실 주장을 원래 출처까지 따라가 '원문 확인됨 / 원문과 다름 / 출처를 찾지 못함'으로 판정합니다.
남길 것. 모임에서 가린 사본 1개와 주장 추적표, 개인 연습에서 출처 판정이 들어간 검증 카드 1장.
검색하는 AI, 기억으로 답하는 AI
- 어떤 채팅 도구는 답하기 전에 웹을 검색하고 링크를 붙이고, 어떤 도구는 검색 없이 이미 학습한 내용만으로 답합니다. 같은 도구도 설정이나 요금제에 따라 다릅니다. 이번 답에 검색 표시나 출처 링크가 있는지 먼저 봅니다.
- 링크가 붙어 있어도 그 페이지가 정말 그 말을 하는지는 따로 확인해야 합니다. 존재하지 않는 자료명이나 저자를 지어내는 경우도 있습니다.
- 검색해서 찾아온 웹 페이지도 확인할 자료일 뿐 정답이 아닙니다. 누가 언제 쓴 글인지 봅니다.
- 입력한 글은 도구를 만든 회사의 서버로 갑니다. 대화 기록 저장이나 학습 활용 설정은 도구마다 다르니 쓰기 전에 확인하고, 넣지 말아야 할 정보는 넣기 전에 가립니다.
준비
- 지난주 검증 카드를 열어 둡니다. 첫 5분에 잡은 오류 하나를 말합니다.
- 내 도구에서 '대화 기록'이나 '학습에 사용' 같은 설정이 어디 있는지 한 번 찾아봅니다. 찾지 못해도 괜찮습니다. 모임에서 같이 봅니다.
- 진행자: 연습 메일, 원문 A–C, 지어낸 AI 답을 공유 문서에 붙여 둡니다. 모임에서는 결과가 매번 달라지는 실제 AI 답 대신 이 고정 자료로 추적을 연습합니다.
연습 자료
이 페이지의 연습 자료는 모두 지어낸 것입니다. 실제 개인정보나 회사 자료로 바꿔 쓰지 마세요.
(연습용으로 지어낸 메일입니다. 이름·번호·계좌는 모두 가짜 값입니다.) 보낸 사람: 가나다 (gana@example.com) 받는 사람: 독서 동호회 총무 제목: 9월 회비 정산 부탁드립니다 총무님, 9월 회비 정산 부탁드려요. - 회원 가나다, 전화 010-0000-0001, 9월 5일 20,000원 입금 완료 - 회원 라마바, 전화 010-0000-0002, 아직 입금 전 - 입금 계좌: 연습은행 000-00-000000 (예금주 가나다) - 모임 장소 예약 사이트: 아이디 gana_book / 비밀번호 Practice-0000 - 예약 확인 문자 인증번호: 000000 - 라마바 님은 이번 달 병원 치료 때문에 두 번 빠진다고 하셨어요. - 10월 모임은 셋째 주 토요일 오후 3시, 햇살시 달빛로 00 카페 2층입니다. 회비가 남으면 연말 모임 간식비로 쓰자는 의견이 많았습니다.
[원문 A] 햇살시 작은도서관 이용 규칙 (2026년 3월 개정) (연습용으로 지어낸 문서입니다.) 제3조 대출 1. 한 사람이 한 번에 5권까지 14일 동안 빌릴 수 있다. 2. 예약한 사람이 없으면 1회에 한해 7일 연장할 수 있다. 3. 반납이 늦으면 늦은 날수만큼 대출이 정지된다. 제4조 반납 1. 무인 반납함은 24시간 이용할 수 있다. 2. 부록, DVD, 다른 도서관에서 빌려 온 책은 무인 반납함에 넣지 않고 안내데스크에 반납한다.
[원문 B] 햇살시 소식지 2026년 9월호 기사 일부 (연습용으로 지어낸 기사입니다.) 햇살시는 10월부터 작은도서관 세 곳에서 스마트폰 앱 대출증을 시범 운영한다. 시범 기간에도 기존 플라스틱 대출증은 그대로 쓸 수 있다.
[원문 C] 개인 블로그 글 "햇살시 도서관 알뜰 이용법" (2024년 5월 작성) (연습용으로 지어낸 글입니다.) 햇살시 도서관은 한 번에 10권까지 빌릴 수 있어서 방학 때 정말 좋아요! 반납은 무인 반납함에 뭐든 넣으면 끝이라 편해요.
(연습용으로 지어낸 AI 답입니다. 실제 AI 도구의 출력이 아닙니다.) 질문: 햇살시 작은도서관에서 책을 빌리고 반납하는 규칙을 출처와 함께 알려 줘. ① 한 사람이 한 번에 5권까지 14일 동안 빌릴 수 있습니다. [원문 A] ② 대출 기간은 2회까지 연장할 수 있습니다. [원문 A] ③ DVD도 24시간 무인 반납함에 넣을 수 있습니다. [원문 A] ④ 10월부터 모든 작은도서관에서 앱 대출증만 쓸 수 있습니다. [원문 B] ⑤ 반납이 늦으면 하루에 100원의 연체료가 있습니다. [원문 A] ⑥ 「햇살시 도서관 운영 백서 2025」에 따르면 작년 이용자가 30% 늘었습니다. ⑦ 최대 10권까지 빌릴 수 있다는 안내도 있습니다. [원문 C]
| 동작 | 할 일 |
|---|---|
| 멈추기 | 그럴듯하다고 바로 받아들이거나 퍼뜨리지 않습니다. 내가 무엇을 확인하려는지 먼저 정합니다. |
| 출처 알아보기 | 이 글을 누가, 언제, 왜 썼는지 봅니다. 공식 규칙인지 개인 후기인지에 따라 무게가 다릅니다. |
| 더 나은 출처 찾기 | 같은 내용을 더 공식적이거나 더 최신인 다른 출처에서도 찾아봅니다. |
| 원래 맥락까지 따라가기 | 인용이나 요약이 원래 문서에서 정말 그 뜻인지, 조건이 빠지지 않았는지 원문 위치까지 갑니다. |
| 수칙 | 이번 주에 하는 일 |
|---|---|
| 쓰기 전에 설정 확인 | 대화 기록 저장과 학습 활용 설정을 찾아봅니다. |
| 아예 넣지 않을 정보 | 주민등록번호, 계좌번호, 비밀번호, 인증번호 같은 값은 지우고 보냅니다. |
| 나와 가족 정보가 담긴 답 | 그런 답은 공유·전송·게시하지 않습니다. |
| 온라인에 공개할 때 | 공개한 글이 AI 학습에 쓰일 수 있다는 점을 생각합니다. |
아래는 이름과 연락처를 가린 동호회 메일이야. 총무가 읽을 9월 회비 정산 요약을 표로 만들어 줘. - 표의 칸은 회원, 입금 여부, 금액, 날짜로 해 줘. - 메일에 없는 내용은 추측하지 말고 "메일에 없음"이라고 써 줘. [메일] (가린 사본을 붙여넣기)
[주장 추적표] 번호 | AI 답의 주장 | AI가 댄 출처 | 내가 실제로 연 출처(주소 또는 원문 A–C) | 판정(원문 확인됨 / 원문과 다름 / 출처를 찾지 못함) | 메모 1 | | | | | 2 | | | | | 3 | | | | |
생성형 AI를 쓸 때 개인정보를 보호하려면 무엇을 해야 하는지 알려 줘. 한국 공공기관 자료를 출처로 달고, 각 주장 끝에 출처 이름과 주소를 붙여 줘.
생성형 AI를 쓸 때 개인정보를 보호하는 방법을 다섯 줄로 알려 주고, 참고 문헌 3개를 저자(또는 발행 기관), 제목, 발행 연도, 주소와 함께 붙여 줘.
내려받아 쓰는 파일:
- 지어낸 연습 자료 모음 (samples.md)
- 진행자용 수업안과 정답 (facilitator.md)
모임 60분
0–5분 · 지난주 오류 한 줄씩
각자 검증 카드에서 잡은 오류 하나를 한 문장으로 말합니다.
5–12분 · 넣지 말 것 가리기
각자 연습 메일에서 AI에 넣으면 안 되는 곳에 표시합니다(4분). 짝과 비교하며 다르게 표시한 곳을 이야기합니다(3분). 기준은 '넣기 전에 가리기' 표입니다.
12–20분 · 시연: 검색 여부 보기와 따라가기
진행자가 자기 도구의 답에 검색 표시나 출처 링크가 있는지 보여 줍니다. 이어서 지어낸 AI 답의 주장 ①을 원문 A 제3조 1항까지 따라가 판정하는 과정을 소리 내어 보여 줍니다.
20–42분 · 역할 실습: 주장 추적
주장 ②–⑦을 원문 A–C와 대조해 추적표를 채웁니다. 11분에 운전자와 확인자를 바꿉니다. 원문에 적혀 있더라도 더 믿을 만한 원문과 어긋나면 메모 칸에 적습니다. 시간이 남으면 가린 사본으로 정산 요약을 부탁해 봅니다.
42–55분 · 공유: 가장 그럴듯했지만 틀린 주장
조마다 4분: 가장 그럴듯했지만 확인되지 않은 주장 하나와 그걸 알아챈 방법. 다른 조 2분 피드백(확인됨·질문·다음 한 가지). 남은 시간에 가리기 표시 차이를 전체로 짧게 봅니다.
55–60분 · 개인 연습 안내
층을 고르고, 개인 연습에서는 자기 도구가 검색을 했는지부터 기록한다고 알립니다.
막힐 때 — 처음 하는 사람을 위한 도움
- 처음에는 주장 하나만 끝까지 따라가도 됩니다. 원문 A–C에서 같은 단어(권, 연장, 반납함)를 찾아 밑줄을 긋는 것부터 시작합니다.
- 가리기가 헷갈리면 이렇게 묻습니다: 이 값이 새어 나가면 누가 곤란해지나? 이 값이 없어도 요약을 만들 수 있나?
- "출처를 찾지 못함"은 정당한 판정입니다. 찾지 못했는데 맞다고 쓰는 것만 실패입니다.
같은 시간 안에서 더 해 보기 — 익숙한 사람용
- 주장마다 '원문에 적혀 있는가'와 '그 원문이 믿을 만한가'를 따로 적습니다. 주장 ⑦처럼 둘이 갈리는 경우를 찾습니다.
- 가린 사본으로 정산 요약을 받아, 요약이 원래 메일의 금액·날짜와 같은지 대조합니다.
개인 연습 60분
세 층 중 하나를 고릅니다. 층은 같은 60분 안에서 깊이만 다릅니다. 고른 층의 '끝났다는 표시'가 그 주 개인 연습의 완료입니다. 기초를 고른 사람이 핵심을 따로 더 해야 하는 것은 아닙니다. 처음이면 기초로 시작해도 됩니다.
기초 — 질문 하나를 보내고, 주장 2개를 서울시 보호수칙 게시물 한 곳과만 대조합니다.
- 내 도구 살피기 (10분): 답에 검색 표시나 출처 링크가 나오는지, 대화 기록·학습 활용 설정이 어디 있는지 적습니다.
- 질문 보내고 답 저장 (10분): 개인 연습 질문을 그대로 보내고, 답 전체를 공유 문서에 붙입니다.
- 주장 2개 대조 (30분): 답에서 주장 2개를 골라 서울시 보호수칙 게시물과만 대조해 판정합니다. 게시물이 열리지 않으면 판정은 "출처를 찾지 못함"으로 두고, 모임 자료 원문 A–C로 추적을 한 번 더 합니다.
- 검증 카드 정리 (10분): 추적표 2줄을 카드의 확인표 칸에 옮깁니다.
끝났다는 표시: 주장 2개마다 실제로 연 출처 주소와 판정.
핵심 — 궁금한 공개 사실 질문 하나로 주장 3개를 추적하고, 하나는 다른 출처에서도 찾습니다.
- 질문 고르기 (5분): 생활·제도·공개 통계처럼 개인 사정이 드러나지 않는 질문을 고릅니다. 개인 연습 질문을 써도 됩니다.
- 보내고 답·검색 여부 저장 (10분): 답과 함께 이번 답에 검색 표시가 있었는지 적습니다.
- 주장 3개 추적 (35분): 주장마다 AI가 댄 출처를 직접 엽니다. 적어도 1개는 AI가 대지 않은 다른 출처에서도 찾아봅니다.
- 검증 카드 정리 (10분): 판정과 연 주소를 카드에 옮기고, 확인하지 못한 것을 한계 칸에 씁니다.
끝났다는 표시: 주장 3개마다 실제로 연 출처 주소와 판정, 다른 출처 1개 이상.
도전 — 참고 문헌 3개가 실제로 있는지와, 정말 그 말을 하는지를 따로 판정합니다.
- 부탁 준비 (5분): 도전 부탁문을 그대로 쓰거나 주제만 바꿉니다.
- 참고 문헌 받기 (10분): 답과 문헌 목록을 공유 문서에 붙입니다.
- 존재와 내용을 따로 판정 (35분): 문헌마다 ① 그런 문헌이 실제로 있는지 ② 있다면 답의 주장을 정말 말하는지를 따로 판정합니다. 둘은 다른 확인입니다.
- 검증 카드 정리 (10분): 문헌 3개 × 판정 2개를 표로 남깁니다.
끝났다는 표시: 문헌 3개마다 존재 여부와 내용 일치 판정.
확인 방법과 근거
확인하는 방법
- 넣기 전: 비밀번호·인증번호·계좌번호·주민등록번호 같은 값은 지우고, 이름과 연락처는 '회원A' 같은 역할로 바꿉니다. 건강 같은 개인 사정은 과제에 필요 없으면 뺍니다.
- 받은 뒤: 주장 하나씩, AI가 댄 출처를 직접 열어 그 문장이 실제로 있는지 봅니다.
- 출처가 말하는 내용과 AI 답이 숫자·조건·범위까지 같은지 봅니다. '1회'가 '2회'로, '세 곳 시범'이 '모든 곳'으로 바뀌는 식의 차이를 찾습니다.
- 출처에 적혀 있다고 끝이 아닙니다. 누가 언제 쓴 글인지 보고, 더 공식적이거나 더 최신인 출처와 맞는지 봅니다.
- 찾지 못했으면 '출처를 찾지 못함'이라고 씁니다.
완료 기준
- 모임: 가린 사본 1개와 주장 추적표.
- 개인 연습: 주장 3개(기초 2개)마다 실제로 연 출처와 판정이 적힌 검증 카드 1장.
진행자용 정답과 해설 — 공개 페이지에 있으므로 먼저 풀어 본 뒤 여세요
이 정답은 비공개 자료가 아닙니다. 누구나 열 수 있으니, 연습의 의미를 살리려면 모임과 개인 연습을 마친 뒤에 확인하세요.
제목: 9월 회비 정산 부탁드립니다 9월 회비 정산 부탁드려요. - 회원A, 9월 5일 20,000원 입금 완료 - 회원B, 아직 입금 전 - 회원B는 이번 달 개인 사정으로 두 번 빠진다고 함 - 10월 모임은 셋째 주 토요일 오후 3시, 카페 2층 회비가 남으면 연말 모임 간식비로 쓰자는 의견이 많았습니다.
| 메일의 항목 | 처리 | 이유 |
|---|---|---|
| 비밀번호, 인증번호 | 지운다 | 아예 넣지 않을 정보. 정산 요약에 필요 없음 |
| 계좌번호와 예금주 | 지운다 | 아예 넣지 않을 정보. 정산 요약에 필요 없음 |
| 이름 | 회원A, 회원B로 바꾼다 | 누가 냈는지 구분만 되면 요약을 만들 수 있음 |
| 전화번호, 이메일 | 지운다 | 정산 요약에 필요 없음 |
| 병원 치료 | '개인 사정'으로 바꾸거나 뺀다 | 건강 정보는 과제에 필요 없음(우리 판단) |
| 구체적 주소 | '카페 2층'처럼 줄이거나 뺀다 | 정산 요약에 필요 없음 |
| 금액, 날짜, 입금 여부, 모임 시간 | 남긴다 | 요약에 꼭 필요한 정보 |
| 주장 | 판정 | 함께 인정 | 근거 |
|---|---|---|---|
| ① 5권, 14일 | 원문 확인됨 | 원문 A 제3조 1항 | |
| ② 2회 연장 | 원문과 다름 | 원문 A 제3조 2항: 예약자가 없을 때 1회, 7일 | |
| ③ DVD도 무인 반납함 | 원문과 다름 | 원문 A 제4조 2항: DVD는 안내데스크에 반납 | |
| ④ 모든 곳에서 앱 대출증만 | 원문과 다름 | 원문 B: 세 곳 시범, 기존 대출증도 사용 가능 | |
| ⑤ 하루 100원 연체료 | 원문과 다름 | 출처를 찾지 못함 | 원문과 다름으로 적으려면: AI가 댄 원문 A 제3조 3항은 늦은 반납을 대출 정지로 정하고 있어 연체료라는 주장과 다름. 출처를 찾지 못함으로 적으려면: 100원이라는 금액이나 연체료를 뒷받침하는 문장을 원문 A–C 어디에서도 찾지 못함. 어느 쪽이든 이 주장이 맞다는 뜻은 아님 |
| ⑥ 운영 백서 2025, 30% 증가 | 출처를 찾지 못함 | 출처 표시가 없고 받은 자료에 그런 문서가 없음. 지어낸 자료명일 수 있음 | |
| ⑦ 최대 10권 | 원문 확인됨 | 원문 C에 적혀 있음. 그러나 2024년 개인 블로그이고, 더 최신인 공식 규칙(원문 A)은 5권이라 답에 쓰면 안 됨 |
- 주장 ⑤는 두 판정을 모두 인정합니다. AI가 댄 조항을 열어 대출 정지라는 다른 내용을 찾았다면 '원문과 다름', 금액을 뒷받침하는 문장이 어디에도 없다는 데 초점을 두었다면 '출처를 찾지 못함'입니다. 판정 옆에 그 근거를 적어야 하고, '원문 확인됨'은 틀린 판정입니다.
- 주장 ⑦은 '원문에 적혀 있다'와 '맞다'가 다르다는 것을 보여 주려고 넣었습니다. SIFT의 '출처 알아보기'와 '더 나은 출처 찾기'로 이어집니다.
- 지어낸 AI 답은 모임에서 모두가 같은 자료로 연습하도록 만든 것입니다. 실제 도구의 답은 개인 연습에서 다룹니다.
근거 자료
- SIFT (The Four Moves), Mike Caulfield (새 창) 영어 · 선택 읽기
확인 네 동작은 SIFT(멈추기, 출처 알아보기, 더 나은 보도 찾기, 원래 맥락까지 따라가기)를 우리 말로 줄인 것입니다. 원래 웹 정보 평가용이며 AI 답에 쓰는 것은 우리 판단입니다.
- 생성형 AI 개인정보 보호수칙 안내, 서울특별시 (새 창) 한국어 · 필수 대조 자료
넣기 전에 가리기 표의 네 수칙을 우리 말로 줄였습니다. 기초 층 개인 연습의 대조 대상입니다. 원래 발행 기관은 게시물에 적혀 있지 않습니다.
- Hallucinations, University of Illinois Library (새 창) 영어 · 선택 읽기
인용을 요청하면 존재하지 않는 제목·저자를 만들 수 있다는 설명의 근거입니다.
링크는 2026-09-24에 확인했습니다. 과제에 꼭 필요한 외부 자료는 한국어 게시물 하나뿐이고, 나머지 읽기는 선택입니다.
한계
- 링크는 2026년 9월 24일에 확인했습니다. 모임 전에 다시 열어 봅니다.
- 설정 메뉴의 이름과 위치는 도구와 시점마다 다릅니다. 이 자료는 특정 도구의 메뉴를 안내하지 않습니다.
- 건강 정보를 빼는 기준은 우리 판단이며 법령 해설이 아닙니다.
- 개인 연습에서 받는 실제 AI 답은 사람마다 다르므로 정답표가 없습니다. 판정의 근거(연 주소)를 적는 것이 기준입니다.