AI 피드백은 많이 쓰는 것보다 무엇을 놓쳤는지가 먼저다

제일 먼저 든 생각

교육평가나 성과관리에서 AI를 쓰면 가장 먼저 떠오르는 장면은 “피드백을 많이 만들어준다”이다. 그런데 많이 만들어준다는 말은 생각보다 위험하다. 학습자나 직원에게 필요한 것은 문장의 양이 아니라, 지금 고쳐야 할 우선순위를 정확히 짚는 일일 수 있기 때문이다.

SEFORA 논문은 이 지점을 정면으로 건드린다. 학생 에세이와 실제 강사 피드백을 묶은 공개 말뭉치를 만들고, LLM이 생성한 피드백이 강사가 중요하게 본 피드백과 얼마나 맞는지를 UniMatch라는 방식으로 평가한다. 결과는 꽤 차갑다. 여러 모델과 설정을 돌려도 F1이 0.4를 넘지 못했고, 모델은 강사가 우선시했을 피드백을 잘 잡지 못했다.

논문을 바탕으로, 실제 강사 피드백 단위와 LLM 생성 피드백 단위를 맞춰보는 평가 구조를 업무 평가 관점에서 다시 정리했다.

좋은 피드백은 ‘그럴듯한 말’보다 우선순위다

논문이 출발하는 문제는 분명하다. 글쓰기 피드백은 학습에 큰 영향을 주지만, 실제 강사가 학생 글을 읽고 구체적으로 피드백을 주는 일은 비용이 크다. LLM은 이 비용을 줄일 수 있어 보인다. 하지만 두 가지가 부족하다. 하나는 실제 수업 맥락에서 강사가 어떻게 피드백을 주는지 담은 공개 데이터이고, 다른 하나는 생성된 피드백이 정말 강사 피드백과 맞는지 평가하는 방법이다.

“LLM은 글쓰기 지원을 확장할 자연스러운 경로를 제공하지만, 두 가지 간극이 가로막고 있다.”

LLMs offer a natural path to scaling writing support, but two gaps stand in the way.

SEFORA는 564개 초안과 8,240개 강사 주석을 포함한다. 단순 점수 데이터가 아니라 과제 지시문, 루브릭, 점수, 여러 차례의 수정 초안, 문장이나 단락에 붙은 강사 피드백을 함께 본다. 이 점이 중요하다. 실제 교육 피드백은 “틀렸다/맞다”보다, 특정 글의 위치와 수정 단계, 과제 목표 안에서 어떤 코멘트가 필요한지에 가깝다.

UniMatch가 보는 것은 누락과 과잉이다

UniMatch는 생성 피드백과 강사 피드백을 통째로 비교하지 않는다. 피드백을 작은 단위로 나눈 뒤, 의미적으로 대응되는 단위를 최적으로 맞춘다. 그래서 정밀도, 재현율, F1을 계산한다. Deciflow식으로 바꾸면 “AI가 무슨 말을 많이 했는가”보다 “강사가 중요하게 봤을 말을 얼마나 회수했고, 불필요한 말을 얼마나 덧붙였는가”를 보는 방식이다.

논문의 실험에서 모델 성능은 기대보다 낮았다. 74개 설정을 비교했지만 어떤 설정도 0.4 F1을 넘지 못했다. 특히 모델이 더 많은 코멘트를 생성할수록 성능이 나빠지는 경향이 나타났다. 여기서 조심해야 할 것은 “AI 피드백은 쓸모없다”는 결론이 아니다. 이 조건에서 보여주는 것은, 피드백 자동화의 핵심 품질 지표가 문장량이 아니라 우선순위 정렬과 누락 관리라는 점이다.

“모델은 강사가 우선시했을 피드백을 식별하는 데 어려움을 보였고, 더 많이 생성할수록 성능이 나빠졌다.”

Models struggle to identify the feedback instructors would prioritize, and performance degrades as models generate more.

이 문장은 HRD와 성과관리에도 바로 연결된다. AI가 직원에게 코칭 문장을 길게 써주는 것은 쉽다. 어려운 일은 지금 그 사람에게 가장 중요한 행동 변화가 무엇인지, 관리자나 코치가 실제로 짚었을 포인트가 무엇인지 맞추는 것이다.

원문 첫 페이지. SEFORA는 실제 강사 피드백과 루브릭, 수정 이력을 함께 묶고, UniMatch는 피드백 단위의 대응 관계를 평가한다.

평가 자동화는 기준을 더 작게 쪼개야 한다

이 논문에서 가져갈 실무 포인트는 “LLM-as-judge로 한 번 물어보면 된다”가 아니라 그 반대다. 피드백 품질은 추상적이다. 좋다, 구체적이다, 친절하다 같은 전체 평점만으로는 어떤 피드백이 빠졌고 어떤 피드백이 과잉인지 보기 어렵다.

그래서 조직의 교육평가나 업무 코칭에 AI를 붙일 때도 피드백 단위를 먼저 쪼개야 한다.

• 관찰: 실제 산출물에서 무엇을 봤는가.
• 기준: 어떤 루브릭이나 기대 행동과 연결되는가.
• 조언: 다음 수정 행동은 무엇인가.
• 우선순위: 지금 반드시 말해야 하는가, 나중에 말해도 되는가.
• 과잉: 학습자를 압도할 만큼 많이 말하고 있지는 않은가.

이런 단위가 없으면 AI 피드백은 쉽게 “좋은 말 대잔치”가 된다. 말은 많지만 무엇부터 바꿔야 할지 남지 않는다.

내 업무에 붙여본다면

오늘의 작은 실험은 교육 피드백 템플릿 하나를 UniMatch식으로 다시 보는 것이다.

1. 실제 사람이 쓴 좋은 피드백 20개를 모은다.
2. 각 피드백을 관찰 / 기준 / 제안 / 우선순위 단위로 나눈다.
3. 같은 과제에 대해 AI가 만든 피드백도 같은 단위로 나눈다.
4. AI가 맞힌 것, 놓친 것, 불필요하게 추가한 것을 세어본다.
5. “문장 품질”보다 “누락된 핵심 피드백”을 먼저 개선한다.

성과관리에도 같은 질문을 던질 수 있다. 우리 조직의 AI 코칭 문장은 많이 쓰는가, 아니면 관리자가 실제로 말했어야 할 핵심을 놓치지 않는가.

원문 정보

• 제목: SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework
• 저자: Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li
• 게시일: 2026년 6월 30일
• 출처: arXiv
• PDF: https://arxiv.org/pdf/2607.00274

원문 논문: SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework