AI 채점은 종이를 없애는 일이 아니라 검토 지점을 좁히는 일이다

제일 먼저 든 생각

평가 자동화는 자주 “종이를 없애는 일”처럼 말해진다. 시험지를 태블릿으로 바꾸고, 객관식·단답형을 늘리고, 시스템이 바로 점수를 내면 효율이 올라간다는 식이다. 그런데 실제 교육평가에서 중요한 문제는 매체가 종이냐 화면이냐보다 더 앞에 있다. 좋은 문항이 열려 있는 사고 과정을 요구할수록, 완전 자동 채점은 좁은 답 형식으로 평가를 밀어 넣기 쉽다.

이 논문은 그 지점을 정면으로 다룬다. 저자들은 고등교육의 총괄평가(summative assessment)에서 완전 디지털 시험과 부분 디지털 시험이 가진 한계를 짚고, 종이 기반의 문제 해결형 문항을 유지하면서도 채점의 일부를 자동화하는 하이브리드 e-평가(hybrid e-assessment)를 제안한다. 핵심은 종이를 없애는 것이 아니라, 사람이 봐야 할 검토 지점을 좁히는 것이다.

문항은 문제 해결형으로 유지하되, 평가에 필요한 중간 결과를 구조화된 칸에 쓰게 하고 인식·검증·사람 검토로 나누는 접근이다.

자동화가 문항을 좁히면 평가가 약해진다

논문이 먼저 비판하는 것은 디지털 평가가 가져오는 교수학습적 축소(didactic narrowing)다. 대규모 시험에서 자동 채점을 하려면 닫힌 문항 형식이 편하다. 하지만 학습자가 풀이 과정에서 어떤 판단을 했는지, 어느 중간 단계에서 이해가 흔들렸는지를 보려면 단순한 정답 선택만으로는 부족하다.

저자들이 제안하는 방식은 절충에 가깝다. 학생은 여전히 종이에 문제를 풀고, 평가에 중요한 중간 결과를 표 형태의 구조화된 답안 칸에 손으로 적는다. 이후 시스템이 그 칸을 이미지로 읽어 문자 인식을 수행하고, 정답 키와 비교한다. 여기서 비전이 가능한 대형언어모델(vision-capable LLM)은 손글씨 인식의 보조 수단으로 쓰인다. 다만 논문은 한 번의 자동 판정에 모든 것을 맡기지 않고, 두 번의 검증 원칙(two-pass validation principle)과 정답 키 비교를 결합한다.

논문에서 걸린 문장은 이 부분이다.

“Summative e-assessment must be designed in a way that reconciles automated evaluation with learning-oriented task formats.”

총괄 e-평가는 자동 평가와 학습 지향적 과제 형식을 조화시키는 방식으로 설계되어야 한다.

교육평가나 HRD 평가에서도 이 문장은 그대로 들어맞는다. 자동화가 평가의 목적을 바꾸면 안 된다. 자동화가 해야 할 일은 좋은 평가 문항을 객관식으로 납작하게 만드는 것이 아니라, 사람이 꼭 봐야 할 모호한 사례를 더 잘 골라내는 것이다.

사람의 역할은 사라지는 것이 아니라 위치가 바뀐다

이 연구가 조심스러운 이유는 자동 채점을 만능으로 말하지 않기 때문이다. 논문의 병목은 현실적인 손글씨 인식이다. 학생이 실제 시험장에서 적는 숫자와 문자는 깔끔한 데이터셋의 샘플처럼 나오지 않는다. 잘못 읽은 글자 하나가 점수의 공정성과 타당성에 영향을 줄 수 있다.

그래서 이 접근에서 사람의 역할은 사라지지 않는다. 오히려 더 명확해진다. 시스템이 신뢰도 높게 처리할 수 있는 항목은 자동으로 넘기고, 인식 불확실성이 있거나 정답 키와 충돌하는 항목을 사람이 검토한다. 평가자의 노동은 전체 답안을 반복해서 훑는 일에서, 오류 가능성이 높은 지점을 판정하는 일로 옮겨간다.

이 관점은 기업 교육 평가에도 쓸 수 있다. 예를 들어 리더십 교육, 데이터 분석 교육, 업무 자동화 교육의 실습 과제를 평가할 때 모든 산출물을 사람이 같은 강도로 볼 필요는 없다. 대신 사전에 구조화된 관찰 칸을 만들고, 자동 판정 가능한 부분과 사람이 해석해야 할 부분을 나누면 된다.

원문 첫 페이지. 논문은 완전 디지털 평가 대신, 지필 문제 해결과 반자동 채점을 결합하는 하이브리드 구조를 제안한다.

HRD 평가에 붙여볼 질문

이 논문을 HRD 쪽으로 옮기면 가장 중요한 질문은 “무엇을 자동화할 것인가”가 아니라 “어떤 판단을 사람에게 남길 것인가”다. 교육 효과 측정에서 AI를 쓰려면 먼저 평가 문항을 세 조각으로 나눠볼 수 있다.

첫째, 규칙 기반으로 확인 가능한 결과다. 계산값, 선택한 절차, 필수 항목 포함 여부처럼 비교적 명확한 부분이다. 둘째, 자동 인식은 가능하지만 오류 검토가 필요한 결과다. 손글씨, 화면 캡처, 표 입력, 짧은 서술 답변이 여기에 들어간다. 셋째, 사람의 맥락 판단이 필요한 결과다. 왜 그렇게 판단했는지, 실제 업무 상황에 맞게 설명했는지, 위험을 알고 있는지는 자동 점수보다 평가자의 루브릭이 필요하다.

작은 실험으로는 다음을 해볼 수 있겠다. 다음 교육 평가지를 만들 때 답안 전체를 자유 서술로 두지 말고, 중간 판단, 근거 데이터, 최종 선택, 불확실한 점을 분리해 적게 한다. 그런 다음 자동화는 네 칸 중 어디까지 맡길 수 있고, 어디서 사람 검토가 필수인지 표시한다. AI 채점의 출발점은 모델 성능표가 아니라, 사람이 평가하고 싶은 사고 과정을 망가뜨리지 않는 답안 구조일 수 있다.

원문 정보

• 제목: Hybrid E-Assessment in Higher Education: Semi-Automated Grading of Paper-Based Written Examinations
• 저자: Hartwig Grabowski, Michael Canz
• 연도/게시일: 2026
• 게재/출처: arXiv
• arXiv: 2606.08855v1
• PDF: https://arxiv.org/pdf/2606.08855

원문 논문: Hybrid E-Assessment in Higher Education: Semi-Automated Grading of Paper-Based Written Examinations