평가 문항을 AI와 만들 때, 작은 모델이 더 현실적일 수 있다
논문 『Small, Private Language Models as Teammates for Educational Assessment Design』를 읽고
교육평가 문항 설계에서 소형·로컬 언어모델을 대형 모델과 비교한 연구. 품질, 개인정보, 비용, 사람의 검토를 함께 보는 평가 업무 설계 노트.
제일 먼저 든 생각
교육평가에서 AI를 쓴다고 하면 대개 더 큰 모델, 더 똑똑한 모델부터 떠올린다. 그런데 이 논문은 반대쪽 질문을 던진다. 평가 문항을 설계하는 실제 현장에서는 작고 사적인 모델이 더 쓸 만한 동료가 될 수도 있지 않을까?
저자들은 평가 문항 생성(automated educational question generation, AEQG)에서 대형 언어모델(LLM)과 소형 언어모델(SLM)을 비교한다. 단순히 “문항이 그럴듯한가”를 보는 데서 멈추지 않고, 블룸의 교육목표분류(Bloom’s taxonomy)에 맞는지, 평가 지표가 재현 가능한지, 모델 기반 채점이 전문가 판단과 얼마나 어긋나는지도 함께 본다.
교육평가 문항 설계에서 생성 품질, 모델 판단, 전문가 검토, 배포 제약을 함께 놓고 본다.
평가 업무에서 중요한 것은 성능표 하나가 아니다
논문이 다루는 문제는 HRD와 교육평가 현장에 꽤 직접적이다. AI는 문항 초안을 빠르게 만들 수 있지만, 교육 목표와 난이도, 문항의 타당도, 학습자 개인정보, 비용 문제는 여전히 남는다. 특히 학교나 조직 교육에서는 외부 API로 학습자 데이터와 평가 맥락을 보내기 어려운 경우가 많다.
“소형 언어모델은 주요 교육학적 품질 차원에서 경쟁력 있는 성과를 보이면서도, 로컬·개인정보 민감 배포를 가능하게 했다.”
Results show that SLMs achieve competitive performance across key pedagogically motivated quality dimensions while enabling local, privacy-sensitive deployment.
이 문장은 “작은 모델이 항상 더 낫다”는 뜻은 아니다. 이 조건에서 보여준 것은 평가 업무의 기준이 모델 크기 하나로 정리되지 않는다는 점이다. 실제 현장에서는 다음 네 가지가 같이 움직인다.
- 문항이 교육 목표와 맞는가
- 난이도와 인지 수준이 의도대로 잡히는가
- 학습자·조직 데이터가 안전하게 다뤄지는가
- 사람이 검토할 수 있는 형태로 산출물이 남는가
작은 모델이 경쟁력을 갖는 지점은 바로 여기다. 최고의 답을 혼자 내는 모델이 아니라, 민감한 평가 업무 안에서 사람과 같이 일할 수 있는 배포 조건을 만든다.
AI 채점자도 편향될 수 있다
논문은 모델 기반 평가가 전문가 평정과 체계적으로 어긋나거나 편향될 수 있다고 말한다. 평가 자동화에서 자주 놓치는 대목이다. 생성 모델을 문항 작성자이자 심사자로 동시에 쓰면, 빠르기는 하지만 같은 blind spot을 반복할 수 있다.
“모델 기반 평가는 전문가 평정에 비해 체계적인 불일치와 편향을 보이기도 했다.”
However, model-based evaluations also exhibit systematic inconsistencies and bias relative to expert ratings.
이 대목은 성과관리나 교육평가 자동화에도 그대로 이어진다. AI가 루브릭을 적용한다고 해서 평가가 곧 객관적이 되는 것은 아니다. 루브릭 자체가 모호하거나, 모델이 특정 표현 양식을 과대평가하거나, 실제 학습 목표와 무관한 유창성을 높게 볼 수 있다.
그래서 사람의 개입(Human-in-the-Loop)은 형식적인 승인 버튼이 아니라 설계 요소여야 한다. 누가 어떤 표본을 검토할지, 모델 판단과 사람 판단이 갈릴 때 무엇을 기록할지, 그 차이가 다음 프롬프트·루브릭·교육목표 수정으로 이어지는지가 중요하다.
HRD 업무에 붙이면 이렇게 바뀐다
이 논문을 조직 교육에 가져오면 “AI로 문항 자동 생성”이라는 프로젝트명이 조금 달라진다. 더 적절한 이름은 “문항 설계 검토 흐름 재설계”에 가깝다.
작게 시작한다면 이런 실험이 가능하다.
- 기존 교육자료 한 단원에서 문항 20개를 SLM과 LLM으로 각각 생성한다.
- 블룸의 교육목표분류 기준으로 목표 수준을 먼저 사람이 표시한다.
- 모델이 제안한 문항을 전문가·강사·운영자가 따로 평가한다.
- 모델 평가와 사람 평가가 갈린 문항만 모아 루브릭을 수정한다.
- 개인정보가 들어가는 업무에서는 로컬 모델 사용 가능성을 별도로 검토한다.
핵심은 AI를 “문항 공장”으로 두지 않는 것이다. AI는 초안을 만들고, 사람은 교육 목표와 맥락을 붙잡고, 시스템은 그 차이를 기록해야 한다. 그래야 평가 자동화가 속도만이 아니라 신뢰를 조금씩 쌓을 수 있다.
원문 첫 페이지. 소형 언어모델을 교육평가 설계의 제한된 동료로 볼 수 있는지 실험한다.
원문 정보
- 제목: Small, Private Language Models as Teammates for Educational Assessment Design
- 저자: Chris Davis Jaldi, Anmol Saini, Shan Zhang, Noah Schroeder, Cogan Shimizu, Eleni Ilkou
- 출처: arXiv, 2026
- arXiv: 2605.15015v1