4. AI는 여러 파일을 한꺼번에 정말 다 읽을까?

파일 다섯 개 올렸다.

PDF 두 개, 워드 하나, 엑셀 하나, 또 PDF 하나.

총 다섯 개. 업로드 완료.

“이 다섯 개 비교해서 공통점, 차이점 알려줘.”

…치고 커피 한 모금 마시는 사이 답이 딱 나온다.

문장은 깔끔하고, 톤은 자신만만하고, 파일 속 숫자까지 콕 집어서 말해준다.

완벽해 보인다.

그런데 여기서 조금 찜찜한 질문 하나.

“…너 다섯 개 진짜 다 읽은 거 맞아?” 👀

답이 훌륭한 것 ≠ 다 읽었다는 증거

억울한 얘기지만, “그럴듯한 답변”과 “실제로 모든 파일이 확인되고 반영됐는지”는 다른 얘기다.

파일을 A, B, C, D, E라고 불러보자. 이름 붙이고 나니 갑자기 수사물 느낌이 난다.

A 내용 있음. ✅
B 내용 있음. ✅
E의 숫자까지 정확하게 언급함. ✅

C는…? 👻
D는…?

C와 D, 어디 갔어.

여기서부터 미스터리다.

C와 D도 확인했지만 질문과 관련된 내용이 없어서 언급하지 않았을 수도 있다. 내용은 처리됐지만 이번 답변을 만드는 과정에서 관련 부분이 선택되지 않았을 수도 있다. 파일의 형식이나 구조 때문에 필요한 내용을 제대로 활용하지 못했을 수도 있다. 아니면 단순히 “이건 답에 넣지 않아도 되겠다”고 판단했을 수도 있다.

문제는 완성된 답변만 보고서는 이런 경우를 쉽게 구분하기 어렵다는 것.

답변은 매끈하다. 그 매끈함 뒤에서 어느 파일이 어떻게 반영됐는지는 잘 보이지 않는다.

그래서 뭘 어떻게 물어봐야 할까?

결론만 달라고 하지 말고, 파일별 근거를 먼저 보여달라고 요청하면 훨씬 낫다.

“각 파일을 A–E로 구분하고, 파일별로 이 질문과 관련해 확인한 핵심 내용을 하나씩 적어줘. 그다음 다섯 파일을 비교해줘.”

이렇게 물으면 최소한 하나는 훨씬 보기 쉬워진다.

누가 출석했고 누가 안 보이는지.

좀 더 빡세게 확인하고 싶다면:

“파일명, 확인한 내용, 관련 페이지·시트 또는 위치를 표로 정리해줘.”

이것도 완벽한 증명은 아니다. 하지만 하나의 매끈한 종합 답변만 받는 것보다는 각 파일이 답변에 남긴 흔적을 확인하기가 훨씬 쉽다.

범인을 못 잡더라도 CCTV는 켜놓는 셈이다.

상황별 질문 치트키 🎯

진짜 핵심

답이 아무리 자연스러워도, 결과만으로는 각 파일이 어떻게 사용됐는지 분명하지 않을 수 있다.

그러니까 다음부터는 이렇게 한번 던져보자.

“답하기 전에 내가 올린 파일을 하나씩 나열해줘. 각각에서 이 질문과 관련해 확인한 내용을 한 줄씩 적고, 관련 내용을 찾지 못한 파일도 따로 표시해줘.”

그리고 답이 나오면 중요한 내용 몇 개는 원본에서 직접 확인한다.

그러면 질문이

“AI가 답을 잘했나?”

에서

“이 답은 실제로 어떤 파일들을 바탕으로 만들어진 거지?”

쪽으로.

파일이 하나일 때는 굳이 이런 생각까지 하지 않을 수 있다. 그런데 다섯 개, 열 개, 스무 개를 한꺼번에 올리기 시작하면 이야기가 달라진다.