AI 채점은 점수보다 먼저, 무엇을 읽고 있는지 물어야 한다
논문 『From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models』를 읽고
LLM이 에세이 품질을 내부 표현으로 어느 정도 포착한다는 분석을, 교육평가·HRD 평가 자동화에서 신뢰와 검토 기준을 세우는 문제로 읽었다.
제일 먼저 든 생각
AI로 평가를 자동화하자는 말은 빠르게 매력적으로 들린다. 교육 현장에서는 에세이 채점, 조직에서는 서술형 교육 과제나 리더십 피드백, 성과 리뷰 코멘트까지 모두 “많고 느리고 주관적인” 일처럼 보이기 때문이다. 그런데 정말 중요한 질문은 “AI가 점수를 잘 맞히는가”에서 끝나지 않는다. 그 점수는 무엇을 근거로 만들어지는가가 남는다.
이 논문은 자동 에세이 채점(automated essay scoring, AES)에서 LLM 내부 표현을 들여다본다. 여덟 개 모델, 두 개의 영어 에세이 데이터셋(ASAP++, CSEE), 한 개의 포르투갈어 데이터셋(ENEM)을 놓고, 선형 프로빙(linear probing), 교차 프롬프트 일반화(cross-prompt generalization), 차원 축소, 뉴런 수준 분석을 수행했다. 결론은 조심스럽지만 흥미롭다. 에세이 품질 정보가 모델 내부에 어느 정도 선형적으로 읽을 수 있는 형태로 나타난다는 것이다.
평가 자동화의 쟁점은 점수 산출 속도만이 아니다. 모델이 어떤 품질 신호를 잡고 있는지, 그리고 그 신호가 다른 과제에도 버티는지를 함께 봐야 한다.
점수는 결과이고, 표현은 흔적이다
논문이 보는 대상은 LLM이 최종적으로 내놓는 점수만이 아니다. 각 층의 hidden representation에서 사람 점수를 어느 정도 복원할 수 있는지 본다. 단순한 선형 프로브로도 에세이 품질 정보가 깊은 층으로 갈수록 점점 더 잘 읽히고, 비선형 프로브가 늘 일관되게 큰 이득을 주지는 않았다고 보고한다.
“에세이 품질 정보는 층을 거치며 점진적으로 구성되고, 대체로 hidden representation에서 선형적으로 해독 가능했다.”
“essay quality information is progressively constructed across layers and is largely linearly decodable from hidden representations.”
이 말은 “AI 채점이 이제 안전하다”가 아니다. 오히려 평가 시스템을 설계할 때 봐야 할 체크포인트가 하나 더 생겼다는 뜻에 가깝다. 점수가 사람 점수와 맞는지만 볼 것이 아니라, 모델이 잡아낸 품질 신호가 과제, 언어, 루브릭이 바뀌어도 어느 정도 유지되는지 확인해야 한다.
HRD 평가에서는 ‘그럴듯한 코멘트’가 더 위험할 수 있다
조직 교육에서는 점수보다 피드백 문장이 더 설득력 있게 보일 때가 많다. LLM은 루브릭을 읽고, 긴 설명을 붙이고, 학습자에게 친절한 문장으로 되돌려줄 수 있다. 그래서 내부 기준이 불안정해도 겉으로는 더 신뢰할 만해 보일 수 있다.
논문도 기존 LLM 기반 자동 채점이 프롬프트 설계에 민감하고, 블랙박스라는 문제가 남아 있다고 짚는다. 이번 연구는 그 블랙박스를 조금 열어 보려는 시도다. 다만 연구가 다룬 것은 에세이 데이터셋과 모델 내부 표현이지, 실제 조직의 승진·평가·보상 의사결정이 아니다. 따라서 HRD나 성과관리로 옮길 때는 훨씬 낮은 위험도의 장면부터 시작해야 한다.
예를 들면 다음 정도가 현실적이다.
- 교육 과제의 1차 분류와 피드백 초안 생성
- 평가자 간 기준 차이를 줄이기 위한 루브릭 점검
- 서술형 답변에서 반복되는 강점·오해 패턴 탐색
- 사람이 최종 판단하기 전, 근거 문장 후보를 모아주는 보조 기능
반대로 점수 하나로 사람을 줄 세우는 고위험 의사결정에는 바로 붙이면 안 된다. 이 논문이 보여준 것은 “품질 신호가 내부에 존재할 수 있다”이지, “그 신호가 공정하고 충분하며 제도적 판단을 대신할 수 있다”는 뜻은 아니다.
평가 자동화의 최소 질문
Deciflow식으로 가져오면, 평가 자동화 PoC는 모델 성능표보다 먼저 다음 질문을 가져야 한다.
- 이 평가는 학습 피드백용인가, 선발·보상·승진 같은 고위험 판단인가.
- 사람 평가자 점수와 맞는 것 외에, 어떤 품질 차원을 설명해야 하는가.
- 루브릭이 바뀌거나 과제 유형이 바뀌면 점수 기준이 얼마나 흔들리는가.
- AI 코멘트가 실제 답안의 어떤 문장에 근거하는지 추적 가능한가.
- 최종 점수를 사람이 뒤집을 수 있는 절차가 있는가.
논문에서 말하는 에세이 채점 뉴런(essay scoring neurons)도 과장해서 읽지 않는 편이 좋다. 몇몇 뉴런의 활성과 점수가 강하게 관련될 수 있다는 관찰은 해석 가능성의 단서이지, 인간의 평가 기준이 그대로 모델 안에 들어 있다는 증거는 아니다.
작은 실험으로 바꾼다면
교육 운영자가 바로 해볼 수 있는 실험은 간단하다. 같은 서술형 과제 30개를 두고, 사람 루브릭 점수, LLM 점수, LLM이 제시한 근거 문장을 나란히 놓는다. 그리고 점수 일치율보다 먼저 “근거 문장이 실제 루브릭 차원을 설명하는가”를 본다.
오늘 남길 질문은 이것이다.
AI가 점수를 맞혔을 때, 우리는 그 점수가 어떤 읽기의 결과인지 설명할 수 있는가?
원문 정보
- 제목: From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models
- 저자: Jiaxu Zuo, Mu You, Kaixin Lan, Tao Fang, Yujia Huo, Henghua Shen, Lidia S. Chao, Derek F. Wong
- 연도/게시일: 2026
- 게재/출처: arXiv
- arXiv: 2606.20152v1
- PDF: https://arxiv.org/pdf/2606.20152