AI 채점은 점수보다 ‘넘길 때’를 알아야 한다

제일 먼저 든 생각

평가 자동화에서 제일 무서운 장면은 AI가 틀리는 순간보다, 틀렸을 가능성을 모른 채 점수를 확정하는 순간이다. 이 논문은 중학생 과학 수업의 학생 그림을 자동 채점하는 연구지만, HRD와 교육평가 쪽으로 읽으면 질문이 꽤 선명해진다. AI 평가 시스템은 “몇 점인가”만 말해서는 부족하다. “이 답안은 내가 봐도 될 만큼 확신이 있는가, 아니면 사람에게 넘겨야 하는가”를 함께 말해야 한다.

연구진은 학생이 그린 과학 모델 그림을 Vision Transformer(ViT) 기반 모델로 채점하고, LoRA로 과업에 맞게 가볍게 적응시킨다. 여기에 핵심 장치를 하나 더 붙인다. 테스트 시점의 예측 분포를 이용해 응답 단위 신뢰도(confidence)를 계산하고, 신뢰도가 낮은 그림은 자동 채점하지 않고 사람 검토로 넘긴다.

자동 채점의 목표를 ‘전부 채점’이 아니라 ‘확신 있는 것은 처리하고 애매한 것은 넘기는 구조’로 바꾼다.

그림 평가는 정답-오답보다 애매함이 많다

학생이 그린 과학 모델은 텍스트 답안보다 해석 여지가 크다. 같은 개념을 서로 다른 도식으로 표현할 수 있고, 중요한 관계를 화살표·위치·상징으로 드러내기도 한다. 논문은 이런 그림 평가가 교사의 전문적 판단을 필요로 하기 때문에 대규모 수업에서는 비용과 시간이 커진다고 본다.

기존 자동 채점 접근은 보통 하나의 점수나 숙련도 라벨을 낸다. 하지만 형성평가(formative assessment)에서는 점수 자체만큼이나 그 점수를 수업에서 써도 되는지가 중요하다. 그래서 이 논문은 신뢰도 기반 선택적 자동화(selective automation)를 제안한다.

“평가 맥락에서 핵심 질문은 모델이 점수를 낼 수 있는가뿐 아니라, 그 점수를 추가 검토 없이 사용해도 되는가이다.”
“In assessment contexts, the key question is not only whether a model can generate a score, but whether that score should be acted upon without further review.”

이 문장이 좋았다. 평가 자동화의 실무 기준을 바꿔주기 때문이다. 자동화율 100%는 멋져 보이지만, 교육 현장에서는 오히려 위험할 수 있다. 애매한 답안을 사람에게 넘길 수 있어야 자동화가 교사의 판단을 침식하지 않고 보조한다.

신뢰도는 ‘AI의 겸손함’을 설계하는 방법이다

논문은 여섯 개의 NGSS 기반 중학교 과학 모델링 문항에서 실험했다. 결과적으로 confidence-aware 방식은 표준 미세조정보다 평균 성능을 높였고, 특히 사람 채점과의 일치도를 나타내는 Cohen’s kappa와 F1에서 개선을 보였다. CA-Selective 방식은 평균적으로 가장 좋은 결과를 냈다.

또 하나 중요한 결과는 신뢰도와 실제 정확도 사이의 관계다. 논문은 평균 신뢰도와 예측 정확도 사이에 유의미한 양의 상관이 있었다고 보고한다.

“평균 신뢰도와 예측 정확도 사이에는 유의미한 양의 상관이 있었다(r = 0.649, p < 0.01).”
“We find that there is a significant positive correlation (r = 0.649, p < 0.01) between the two.”

물론 이 결과는 이 데이터와 과업 조건 안에서 읽어야 한다. 미국 한 지역의 중학교 과학 교실 데이터이고, 전문가 점수 자체의 경향도 모델 성능에 반영될 수 있다. 그래도 실무적으로 남는 메시지는 분명하다. 신뢰도는 단순한 보조 숫자가 아니라, AI가 어디까지 하고 어디서 멈출지 정하는 운영 규칙이 될 수 있다.

원문 첫 페이지. 학생 생성 그림을 대상으로 신뢰도 기반 자동 채점 구조를 제안한다.

HRD 평가에도 같은 질문이 필요하다

이 논문은 학교 과학 그림 평가를 다루지만, HRD의 과제 평가·코칭 피드백·역량 진단에도 그대로 옮겨 생각할 수 있다. 특히 서술형 과제, 포트폴리오, 실습 결과물처럼 정답이 하나가 아닌 평가는 AI가 “맞다/틀리다”를 강하게 말할수록 위험해진다.

업무에 붙이면 다음과 같은 설계가 필요하다.

• AI가 모든 결과물을 채점하지 않고, 신뢰도 기준 이하 결과물은 평가자에게 넘긴다.
• 평가 화면에는 점수뿐 아니라 “자동 채점 근거”와 “사람 검토 필요 이유”가 함께 보인다.
• 자동화율과 정확도를 동시에 보되, 낮은 신뢰도 샘플의 사람 검토 시간을 별도 지표로 관리한다.
• 평가자가 AI 점수를 수정한 사례를 다시 수집해, 어떤 유형에서 AI가 자주 멈춰야 하는지 학습한다.

Deciflow 쪽으로는 “평가 자동화”를 만들 때 기본값을 이렇게 잡고 싶다. AI가 점수를 내는 기능보다 먼저, **보류 큐(defer queue)**를 만든다. 좋은 평가 자동화는 사람을 빼는 시스템이 아니라, 사람이 봐야 할 것을 더 빨리 드러내는 시스템에 가깝다.

오늘 남길 질문

다음 평가 자동화 실험에서는 정확도만 묻지 말고 이렇게 물어보자. “AI가 자신 없어 하는 답안을 제대로 골라내는가?” 이 질문이 들어가면, 평가 자동화는 성급한 채점기가 아니라 교사의 판단을 아껴 쓰는 분류기가 된다.

원문 정보

• 제목: Confidence-Aware Automated Assessment of Student-Drawn Scientific Models
• 저자: Luyang Fang, Yingchuan Zhang, Jongchan Park, Zhaoji Wang, Ping Ma, Xiaoming Zhai
• 출처: arXiv
• arXiv: 2606.20264v1

원문 논문: Confidence-Aware Automated Assessment of Student-Drawn Scientific Models