쉬운 문제와 좋은 문제는 다르다

제일 먼저 든 생각

평가에서 자주 놓치는 구분이 있다. 어려운 문제와 좋은 문제는 다르다. 모두가 틀리는 문제는 어려울 수 있지만, 그 문제가 실제 역량 차이를 잘 보여준다는 뜻은 아니다. 반대로 정답률이 비슷한 두 문항도, 한 문항은 숙련자를 잘 가려내고 다른 문항은 우연과 배경지식에 더 흔들릴 수 있다.

이 논문은 그 차이를 LLM에게 물어본다. 현재 LLM이 독해 평가 문항의 **문항 변별도(item discrimination)**를 얼마나 잘 추정할 수 있는지 본 것이다. 결론은 조심스럽다. 모델 안에 완전히 무작위가 아닌 신호는 있지만, 인간 응답 데이터로 보정된 변별도를 안정적으로 맞히기에는 아직 부족했다.

교육평가에서 LLM을 쓸 때 “정답을 맞히는가”만 보아서는 문항이 사람의 숙련 차이를 드러내는지 알기 어렵다.

변별도는 평가의 숨어 있는 품질이다

문항 난이도(item difficulty)는 비교적 직관적이다. 몇 명이 맞혔는가, 모델이 맞힐 것 같은가, 정답률이 어느 정도인가를 보면 된다. 하지만 문항 변별도(item discrimination)는 조금 다르다. 높은 숙련도의 응시자가 낮은 숙련도의 응시자보다 실제로 더 잘 맞히는지, 즉 문항이 능력 차이를 의미 있게 갈라내는지를 본다.

논문은 이 속성을 이렇게 설명한다.

문항 변별도는 교육평가의 기본적인 심리측정 속성으로, 한 문항이 높은 숙련도의 학생과 낮은 숙련도의 학생을 의미 있게 구분하는지를 측정한다.

Item discrimination is a fundamental psychometric property of educational assessment, which measures whether an item meaningfully distinguishes students with higher proficiency from students with lower proficiency.

HRD와 성과관리에서도 이 구분은 중요하다. 교육 퀴즈, 역량 진단, 리더십 평가, 업무 시뮬레이션 과제가 모두 “어려운가”보다 “필요한 차이를 잘 드러내는가”를 물어야 한다. 쉬운 문항만 모으면 모두가 잘해 보이고, 어려운 문항만 모으면 모두가 못해 보인다. 둘 다 좋은 측정은 아니다.

LLM은 힌트를 보지만, 아직 사람 반응을 대신하지 못한다

저자들은 42개 상용·오픈 가중치 LLM을 대상으로 두 가지 방식을 실험했다. 첫째, 모델에게 문항 내용과 정답을 주고 변별도 값을 직접 예측하게 했다. 둘째, 모델을 여러 수준의 가상 학생처럼 응답하게 한 뒤 고전검사이론(Classical Test Theory, CTT) 방식으로 변별도를 계산했다.

결과는 꽤 차갑다. 직접 예측에서 가장 좋은 모델도 인간 보정 변별도와의 Spearman 상관이 0.152에 그쳤다. 응답 기반 CTT 보정은 조금 나았지만, 모든 페르소나를 합친 조건에서도 0.241 수준이었다.

직접 변별도 예측은 인간 보정 변별도와 약한 정렬을 보였고, 최고 성능 모델도 Spearman 상관 0.152에 그쳤다. 응답 기반 CTT 보정은 더 강하지만 여전히 제한적인 신호를 제공했다.

Direct prediction yields weak alignment with human-calibrated discrimination: the best-performing model reaches only a Spearman correlation of 0.152. Response-based CTT calibration provides a stronger but still limited signal…

이 결과를 “LLM은 평가에 못 쓴다”로 읽고 싶지는 않다. 더 정확한 해석은 “LLM은 문항 품질의 일부 신호를 볼 수 있지만, 사람 집단의 실제 반응 패턴을 대체하기에는 아직 약하다”에 가깝다. 특히 변별도는 개인 한 명의 지식이 아니라 모집단의 응답 구조에서 나오는 값이다. 그 구조를 텍스트만 보고 맞히기는 쉽지 않다.

논문 첫 페이지. 연구는 LLM이 독해 문항의 변별도를 직접 예측하거나 가상 응답을 통해 보정할 수 있는지 비교한다.

성과관리 지표에도 같은 문제가 있다

이 논문을 교육평가 밖으로 가져오면, 성과관리와 피플 애널리틱스에도 좋은 경고가 된다. 조직은 종종 “좋은 평가 문항”, “좋은 KPI”, “좋은 역량 질문”을 AI에게 만들게 하려 한다. 그런데 그 지표가 실제 고성과자와 저성과자를 잘 구분하는지, 성장 가능성과 단순 노출 차이를 헷갈리지 않는지, 직무군별로 공정하게 작동하는지는 별도의 검증 문제다.

예를 들어 영업 역량 진단에서 AI가 그럴듯한 시나리오 문항을 만들 수 있다. 하지만 그 문항이 정말 숙련 영업자의 판단을 드러내는지, 아니면 특정 산업 경험이 있는 사람에게만 유리한지, 혹은 문장 독해력이 높은 사람을 더 잘 가려내는지는 실제 응답 데이터 없이는 알기 어렵다.

그래서 AI 평가 자동화의 안전한 역할은 세 단계로 나뉘어야 한다.

1. 초안 생성: 평가 목적과 역량 정의에 맞는 문항 후보를 만든다.
2. 전문가 검토: 내용 타당도, 편향 가능성, 현장 언어를 점검한다.
3. 응답 기반 보정: 실제 학습자·직원 응답으로 난이도와 변별도를 다시 계산한다.

LLM은 1단계에서 강하고, 2단계에서 보조가 될 수 있다. 그러나 3단계를 완전히 대체한다고 말하기에는 이 논문의 수치가 아직 조심스럽다.

다음 작은 실험

다음 교육평가 설계에서는 AI가 만든 문항마다 “예상 난이도”와 “예상 변별도”를 분리해 기록해보고 싶다. 그리고 파일럿 응답이 쌓이면 실제 변별도와 비교한다. 오늘의 질문은 이렇다. 우리는 AI에게 좋은 문제를 만들게 하고 있는가, 아니면 그럴듯하게 어려운 문제를 만들게 하고 있는가.

원문 정보

• 제목: LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment
• 저자: Han Chen, Ming Li, Chenguang Wang, Yijun Liang, Dawei Zhou, Hong jiao, Tianyi Zhou
• 연도/게시일: 2026
• 게재/출처: arXiv
• DOI: 없음/확인 필요
• arXiv: 2606.18709v1
• PDF: https://arxiv.org/pdf/2606.18709

원문 논문: LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment