AI에게 공부시키기 전에, 무엇을 질문하게 할지 봐야 한다

제일 먼저 든 생각

요즘 업무 지식관리에서 자주 나오는 상상은 이렇다. 문서를 많이 넣고, AI가 질문과 답변을 만들어 학습하고, 나중에는 그 조직의 지식을 더 잘 꺼내게 한다. 교육 쪽으로 옮기면 사내 매뉴얼, 강의 자료, 평가 문항, FAQ를 AI가 스스로 읽고 문제를 만들어주는 그림이다. 효율은 좋아 보인다.

그런데 이 논문은 그 앞단의 질문을 건드린다. AI가 문서를 읽고 스스로 질문-답변(QA) 데이터를 만들 때, 그 과정은 중립적인 전처리가 아니다. 모델은 문서 전체를 고르게 보지 않고 눈에 띄는 구간을 반복해서 묻는다. 더 나쁜 경우, 문서 안에 숨어 있는 지시문처럼 보이는 문장을 사실 대신 명령으로 받아들여 답변을 만들고, 그 답변이 다시 학습 신호가 된다.

HRD 관점에서는 꽤 불편한 메시지다. 좋은 학습은 좋은 질문에서 시작하는데, 질문을 만드는 주체가 편향되어 있으면 이후의 평가와 교육도 같이 기울어진다.

자기 생성 QA는 비용을 줄여주지만, 무엇을 묻고 무엇을 무시하는지 자체가 학습 정책이 된다.

질문 생성은 ‘자료 정리’가 아니라 ‘학습 정책’이다

논문은 synthetic question–answer supervision, 즉 모델이 문서에서 질문을 만들고 같은 문서에서 답을 만든 뒤 그 쌍을 학습·증류·압축에 쓰는 흐름을 다룬다. 저자들은 이때 질문 생성 단계가 단순한 준비 작업이 아니라, 어떤 증거가 학습 신호가 될지를 고르는 정책이라고 본다.

이 생성 단계는 중립적인 전처리가 아니다. 그것은 어떤 증거가 학습 신호가 될지 선택하고, 그 증거가 어떻게 답해질지 결정하는 암묵적 정책이다.

This generation step is not neutral preprocessing. It is an implicit policy that both selects which evidence becomes training signal and decides how that evidence is answered.

이 말은 교육 평가에도 그대로 이어진다. 조직의 지식 문서에서 AI가 자동으로 퀴즈를 만든다고 할 때, AI는 중요한 내용을 고르는 것이 아니라 “자기 눈에 질문처럼 보이는 것”을 고를 수 있다. 문서의 앞부분, 표면적으로 두드러진 문장, 정리가 잘못된 마크업, 반복되는 문구가 과대표집될 수 있다. 그러면 교육생이 푸는 문제는 자료의 핵심이라기보다 모델이 편하게 잡은 흔적일 수 있다.

답변 단계의 위험은 RAG와도 닮아 있다

논문은 또 하나의 위험을 본다. 답변을 생성하는 모델이 문서 안의 instruction-like passage, 즉 지시문처럼 보이는 구간을 만나면 그것을 사실 텍스트가 아니라 따라야 할 명령으로 받아들이는 경우가 있다. 저자들은 필터링 전 평균 injection compliance가 높게 나타났고, 지시문처럼 보이는 구간을 제거하면 크게 낮아졌다고 보고한다.

논문 초록에는 이런 결과가 나온다.

답변 전에 지시문처럼 보이는 구간을 필터링하면, 평가에서 평균 인젝션 순응률이 88%에서 13%로 낮아졌고, 깨끗한 텍스트는 거의 유지되었다.

Filtering instruction-like spans before answering lowers mean injection compliance from 88% to 13% in our evaluation while retaining nearly all clean text.

이 대목은 RAG 시스템을 운영하는 사람에게도 익숙하다. 외부 문서, 웹페이지, 업로드 파일을 검색해 모델에게 넣을 때 그 문서가 언제나 순수한 지식이라고 볼 수 없다. 교육·HRD 문맥에서는 더 조심해야 한다. 사내 문서 자동 퀴즈 생성, 교육 챗봇, 지식베이스 요약기가 문서 속 장난스러운 지시문이나 템플릿 잔해를 학습·평가 신호로 삼으면, 사람에게도 잘못된 학습 경험이 간다.

HRD 업무에 붙이면 어디를 봐야 하나

이 논문을 교육 자동화에 붙이면 “AI가 문제를 잘 만들어주는가”보다 먼저 봐야 할 것이 생긴다.

• 자동 생성 문항이 문서의 어느 구간에서 나왔는지 추적되는가?
• 같은 구간만 반복해서 문제화하지 않는지 커버리지(coverage)를 보는가?
• 문서 안의 템플릿, 시스템 안내문, 개인정보·주의문이 학습 신호로 들어가지 않게 거르는가?
• 문항 난이도와 정답률뿐 아니라, 어떤 근거가 교육 내용으로 선택되었는지 평가하는가?

이 논문이 보여준 것은 특정 QA 생성 절차의 취약성이다. 모든 synthetic QA가 위험하다는 결론으로 읽을 필요는 없다. 다만 “AI가 만든 학습 자료”를 검수할 때 결과물만 보지 말고, 질문을 고른 과정까지 봐야 한다는 기준은 꽤 실용적이다.

원문 첫 페이지. 이 글에서는 공개 논문의 첫 페이지를 출처 확인용으로만 사용했다.

오늘의 작은 실험

사내 문서로 자동 퀴즈나 FAQ를 만들고 있다면, 샘플 30개만 뽑아 질문의 출처 문단을 표시해보면 좋겠다. 질문이 문서 전체에 퍼져 있는지, 특정 제목·표·템플릿에 몰리는지, 그리고 답변 생성 전에 제거해야 할 instruction-like 문장이 있는지 보는 것이다. 학습 자동화의 품질은 답안의 유창함보다 먼저, 질문의 분포에서 드러날 수 있다.

원문 정보

• 제목: Self-Study Reconsidered: The Hidden Fragility of Learning from Self-Generated QA
• 저자: Ekaterina Alimaskina, Denis Shveykin, Gleb Molodtsov, Igor Shalygin, Alexey Kadeishvili, Aleksandr Beznosikov
• 연도/게시일: 2026, arXiv:2606.32002
• PDF: https://arxiv.org/pdf/2606.32002

원문 논문: Self-Study Reconsidered: The Hidden Fragility of Learning from Self-Generated QA