평가문항의 난이도는 정답률만이 아니라 풀이의 흐름에 있다

제일 먼저 든 생각

평가를 만들다 보면 “이 문항은 어렵다”는 말을 너무 빨리 한다. 정답률이 낮으면 어렵다고 하고, 텍스트가 길면 어렵다고 하고, 복잡한 개념이 들어 있으면 어렵다고 한다. 그런데 실제 학습자의 어려움은 문항 표면에만 있지 않다. 문제를 풀 때 무엇을 먼저 분해하고, 어디서 검증하고, 어느 지점에서 같은 시도를 반복하는지에 난이도의 단서가 남는다.

이 논문은 그 단서를 LLM, 더 정확히는 대규모 추론 모델(Large Reasoning Models, LRMs)의 추론 흔적(reasoning traces)에서 꺼내보려 한다. 연구진은 문항 난이도를 단순한 문항 속성이 아니라 “그 문항이 유발하는 문제 해결 부담”으로 보고, 모델의 풀이 과정을 인지 에피소드(cognitive episodes)로 나눈 뒤 난이도 예측에 사용한다.

Epi2Diff는 추론 흔적을 에피소드 흐름으로 구조화한 뒤 문항 난이도 예측에 붙인다.

문항을 보는 눈을 표면에서 과정으로 옮긴다

논문의 출발점은 교육평가에서 익숙한 문제다. 문항 난이도를 정확히 추정해야 공정한 시험과 효과적인 문항 구성이 가능하지만, 전통적인 방식은 실제 응답 데이터를 모으는 사전검사에 비용과 시간이 많이 든다. 자동화된 예측 방식도 있었지만, 텍스트 임베딩이나 모델 출력에 기대면 “왜 어려운지”를 설명하기 어렵다.

논문은 이렇게 정리한다.

핵심 과제는 모델의 능력만이 아니라, 인간의 문항 난이도를 예측에서 어떻게 다루고 모델링할 것인가에 있다.

“The key challenge for existing approaches lies not only in model capacity, but also in how human item difficulty is treated and modeled in prediction.”

이 문장은 HRD에도 그대로 온다. 교육과정이나 역량평가에서 “어려운 과제”를 찾고 싶을 때, 우리는 종종 평균 점수나 완료율만 본다. 하지만 현장에서 필요한 것은 조금 더 구체적인 설명이다. 학습자가 어디서 계획을 못 세우는지, 계산보다 검증에서 무너지는지, 개념 이해보다 표현 전환에서 막히는지 알아야 피드백과 보완 교육을 설계할 수 있다.

Epi2Diff가 하는 일

연구진이 제안한 Epi2Diff(Episode to Difficulty)는 LRM이 문제를 푸는 과정에서 남긴 긴 추론 흔적을 그대로 쓰지 않는다. 먼저 문장 단위의 인지 에피소드로 분류한다. 예를 들면 문제 분해, 구현·풀이, 수정, 검증처럼 기능이 다른 상태로 나누는 식이다. 그다음 에피소드의 길이, 분포, 전환 패턴 같은 compact feature를 만들고, 문항 내용의 의미 표현과 결합해 난이도를 예측한다.

논문은 SAT 파생 데이터, Cambridge English Qualifications, USMLE 등 네 종류의 실제 난이도 데이터셋에서 이 방법이 여러 기준선보다 나은 결과를 보였다고 보고한다. 특히 SAT 파생 분류 벤치마크에서는 LLM supervised fine-tuning 기준선 대비 평균 8.1% 상대 향상을 보였다고 한다.

중요한 해석은 성능 수치보다 그 다음이다. 어려운 문항은 단지 답변이 길어지는 것이 아니라, 더 노력적이고 반복적이며 구현 중심적인 에피소드 흐름을 유발했다는 분석이다.

더 어려운 문항은 단순히 더 긴 응답이 아니라, 더 노력적이고 반복적이며 구현 중심적인 에피소드 동역학을 유발했다.

“Harder items induce more effortful, iterative, and implementation-centered episode dynamics, rather than merely longer responses.”

HRD에서는 ‘점수 예측’보다 ‘피드백 설계’가 더 중요하다

이 연구를 조직 교육에 그대로 가져오면 위험한 방향도 있다. AI가 문항 난이도를 예측하니 사람의 학습 능력까지 빨리 판정하자는 식으로 가면 곤란하다. 논문 자체도 LRM의 추론 흔적을 인간 인지의 직접 관찰로 보지는 않는다. 모델이 만든 과정 증거는 확장 가능한 대리 신호(proxy)에 가깝다.

그래도 실무적 가치는 있다. 평가문항이나 과제형 테스트를 만들 때, 다음 질문을 던질 수 있기 때문이다.

• 이 문항이 요구하는 부담은 지식 기억인가, 절차 실행인가, 검증인가.
• 낮은 점수가 나온 문항은 학습자가 모르는 문항인가, 풀이 과정이 길고 반복되는 문항인가.
• 교육 피드백은 정답 해설보다 “어떤 단계에서 다른 전략이 필요한지”를 보여주고 있는가.
• 성과평가 과제에서도 결과 점수만이 아니라 문제 해결 흐름의 병목을 설명할 수 있는가.

Deciflow식으로 말하면, 평가는 결과표가 아니라 다음 학습 행동을 설계하기 위한 관찰 장치여야 한다. 이 논문은 그 관찰 장치를 조금 더 과정 중심으로 만들 수 있다는 가능성을 보여준다.

원문 첫 페이지. 난이도를 문항 표면이 아니라 문제 해결 부담으로 보려는 문제의식이 먼저 나온다.

조심해서 읽을 점

이 연구의 추론 흔적은 LRM이 생성한 것이다. 따라서 인간 학습자의 머릿속 과정을 그대로 본 것으로 해석하면 안 된다. 또한 데이터셋과 문항 유형, 에피소드 분류 방식에 따라 결과는 달라질 수 있다. 논문이 보여준 것은 “이 조건에서 추론 과정의 구조화가 난이도 예측과 해석에 도움이 될 수 있다”는 쪽에 가깝다.

그래도 HRD와 평가 설계에는 좋은 자극이 된다. 난이도를 낮은 정답률로만 보지 말고, 어떤 사고 단계가 부담을 만드는지 묻는 평가가 필요하다.

내일 해볼 작은 실험

사내 교육 퀴즈나 평가 과제 10개를 골라, 각 문항을 “이해·분해·실행·검증·전환” 같은 풀이 부담으로 다시 태깅해본다. 그리고 낮은 정답률 문항을 바로 삭제하지 말고, 어떤 에피소드에서 학습 지원이 필요한지 먼저 적어본다.

원문 정보

• 제목: Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
• 저자: Chenguang Wang, Ming Li, Xinyue Zeng, Zhuochun Li, Hong Jiao, Tianyi Zhou, Dawei Zhou
• 출처: arXiv
• arXiv: 2606.28186v1

원문 논문: Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction