좋은 피드백은 전문가 점수만으로 완성되지 않는다
논문 『How Well Does AI-Generated Feedback Work? Intrinsic and Extrinsic Evaluation across more than 20,000 EFL Essay Drafts』를 읽고
1,899명의 대학생과 2만여 편의 영어 글쓰기 초안을 통해, 교사가 높게 평가한 AI 피드백과 학습자가 실제로 쓰는 피드백이 왜 다를 수 있는지 읽었습니다.
제일 먼저 든 생각
피드백 시스템을 평가할 때 가장 쉬운 방법은 전문가에게 점수를 부탁하는 것이다. 사실에 맞는가, 오류와 관련 있는가, 무엇을 고쳐야 하는지 설명하는가. 모두 필요한 질문이다. 하지만 학습자가 실제로 열어보고, 이해하고, 다음 초안에 반영하는가는 다른 질문이다.
이 논문은 두 평가를 같은 현장에 놓았다. 대학 영어 수업에 AI 기반 문법 피드백 시스템 세 가지를 배치하고, 1,899명의 학생이 제출한 20,255개 초안과 14만4,790개의 서면 교정 피드백(written corrective feedback)을 분석했다. 경력 9년 이상의 영어 교사 네 명이 일부 피드백을 루브릭으로 평가했고, 학생의 조회·좋아요·싫어요 기록도 함께 봤다.
논문 내용을 바탕으로 재구성한 연구 브리프. 전문가의 내재적 평가(intrinsic evaluation)와 학습자의 사용·반응이라는 외재적 평가(extrinsic evaluation)를 나란히 둔다.
정확한 피드백과 쓰이는 피드백 사이
교사 평가는 대체로 AI 피드백의 타당성, 관련성, 사실성, 이해 가능성을 본다. 세 시스템 가운데 두 LLM 기반 방식은 전반적으로 비슷했고, 단순한 규칙 템플릿 방식보다 높은 평가를 받았다. 오류 범위를 정확히 표시하는 품질에서는 원자적 편집(Atomic Edit) 방식이 유의하게 좋았다.
그러나 학생 반응과 교사 점수의 정렬은 약했다. 좋아요를 받은 피드백의 교사 평균은 4.12, 싫어요는 3.83, 조회했지만 반응하지 않은 피드백은 4.04였고, 이 차이는 통계적으로 뚜렷하지 않았다(p=0.0625). 세부 이진 기준과 좋아요·싫어요의 관계도 유의하지 않았다.
“전통적인 전문가 평가만으로는 학습자 관점에서 교정 피드백의 사용 가능성이나 유용성을 충분히 포착하지 못할 수 있다.”
“Traditional expert evaluation alone may not fully capture WCF’s usability or helpfulness from the learner’s perspective.”
성과관리에서도 익숙한 장면이다. 좋은 코멘트를 작성했다는 사실과 상대가 행동을 바꿨다는 사실은 같지 않다. 피드백 품질을 측정하려면 내용의 정확성과 함께 열람, 이해, 수정, 재시도의 흐름을 봐야 한다.
사용 로그도 저절로 학습 효과가 되지는 않는다
수치에는 주의가 필요하다. 학생의 49.76%는 문법 피드백 탭을 한 번도 열지 않았다. 반응 버튼을 누른 비율은 전체 조회의 약 3%였고, 반응의 92.35%는 좋아요였다. 좋아요가 많다는 사실만으로 피드백이 학습을 만들었다고 말하기 어렵다. 만족한 학생만 버튼을 눌렀을 수도 있고, 보기는 했지만 실제 수정에는 쓰지 않았을 수도 있다.
교사 사이의 일치도도 모든 항목에서 높지 않았다. 논문은 이를 단순한 평가 잡음이 아니라, 교육적으로 무엇이 좋은 설명인지에 관한 실제 판단 차이일 수 있다고 본다. 전문가 평가를 버리라는 뜻이 아니라, 하나의 점수로 압축하지 말라는 쪽에 가깝다.
원문 첫 페이지. 완전 온라인 대학 영어 수업이라는 특정 맥락에서 관찰한 결과이므로 다른 학습·조직 환경에는 추가 검증이 필요하다.
교육평가에 두 개의 화면을 만들자
AI 코칭이나 사내 교육 피드백을 운영한다면 대시보드를 둘로 나눠볼 수 있다.
- 내용 품질 화면: 사실성, 관련성, 설명의 명료성, 수정 행동의 구체성
- 학습 사용 화면: 열람률, 수정 시도, 재제출, 같은 오류의 반복, 학습자의 짧은 이유
이번 주에는 좋아요 버튼만 두지 말고 이 피드백으로 무엇을 바꿨나요?를 선택지 하나로 받아보면 좋겠다. 바로 수정함 / 이해했지만 수정하지 않음 / 이해하기 어려움 / 상황에 맞지 않음 정도면 충분하다. 좋은 피드백의 기준은 전문가의 문장 품질에서 시작하지만, 학습자의 다음 행동에서 완성된다.
원문: Coyne et al., 『How Well Does AI-Generated Feedback Work?』, arXiv:2607.14591v1 / AIED 2026 Late Breaking Results.