수업 몰입도를 AI로 재기 전에, 프롬프트 흔들림부터 봐야 한다

제일 먼저 든 생각

교육평가 자동화에서 가장 위험한 장면은 “AI가 학생을 잘못 봤다”가 아니라, “AI가 꽤 그럴듯한 척도를 너무 쉽게 만들어냈다”일 수 있다. 몰입도, 참여도, 집중도 같은 말은 관리자에게는 매력적인 지표지만, 학습자에게는 감시와 낙인의 언어가 되기 쉽다.

이 논문은 교실 몰입도(classroom engagement)를 비전-언어 모델(Vision-Language Model, VLM)로 제로샷 인식할 수 있는지 벤치마크한다. 결론은 조심스럽다. 개인 학생 단위의 몰입도 판정은 거의 무작위에 가까웠고, 같은 이미지라도 프롬프트가 조금 달라지면 정확도가 최대 32%p까지 흔들렸다. 반면 교실 전체 장면(scene-level)에서는 행동 기준이 분명한 루브릭을 붙였을 때 일부 모델이 의미 있는 성능을 보였다.

이 연구의 핵심은 “VLM이 교육을 볼 수 있다”가 아니라, 무엇을 어떤 단위로 보게 할 때 위험이 커지는가에 가깝다.

개인을 바로 판정하는 AI는 아직 얇다

연구팀은 CLIP, BLIP-VQA, GPT-4o, LLaVA-1.5-7B, Qwen2.5VL-7B-Instruct를 두 데이터셋에서 비교했다. 하나는 개인 학생 영상 클립 중심의 DAiSEE, 다른 하나는 교실 장면 이미지 중심의 Student Classroom Behaviour(SCB) 데이터셋이다. 프롬프트도 세 가지로 나눴다. 아주 짧은 프롬프트, 행동 기준을 붙인 루브릭 프롬프트, 사고과정(chain-of-thought)을 요청하는 프롬프트다.

초록의 결과는 꽤 단호하다.

제로샷 VLM은 개인 학생 데이터에서 거의 무작위에 가까웠고, Cohen’s κ는 DAiSEE에서 0.10을 넘지 못했다. 또한 모델이 예측의 85~100%를 하나의 몰입 수준에 몰아넣는 class collapse가 나타났다.

Near-random performance on individual students, with Cohen’s κ never exceeding 0.10 on DAiSEE; severe class collapse, where models assign 85–100% of predictions to a single engagement level regardless of visual content.

HRD나 교육평가 업무로 옮겨오면 이 결과는 중요한 경고가 된다. 개인 학습자의 얼굴·자세·시선에서 바로 몰입도를 읽어 점수화하는 방식은 아직 신뢰하기 어렵다. 특히 평가나 개입으로 이어지는 지표라면 “모델이 보기에는 덜 몰입해 보였다”는 문장이 사람에게 붙는 순간 위험해진다.

프롬프트가 지표를 흔드는 문제

더 흥미로운 대목은 프롬프트 민감도(prompt sensitivity)다. 같은 이미지라도 프롬프트 표현이 바뀌면 정확도가 최대 32%p까지 움직였다. 이것은 교육평가 자동화에서 자주 놓치는 운영 리스크다. 모델을 바꾸지 않았고 데이터도 그대로인데, 질문 문장 하나가 지표를 흔든다.

향후 몰입도 벤치마크에서는 단일 프롬프트 결과가 아니라, 프롬프트 민감도(∆κ)를 명시적인 평가 축으로 보고해야 한다.

Prompt sensitivity (∆κ) should be reported as an explicit evaluation axis in future engagement benchmarks, rather than a single-prompt result, to avoid over-optimistic reporting.

이 문장은 평가 자동화 전반에 적용된다. 루브릭 기반 채점, 상담 기록 분류, 교육 만족도 코딩, 성과 코멘트 요약도 마찬가지다. “정확도 80%” 같은 한 줄 성능표는 실제 운영 질문에 충분하지 않다. 프롬프트를 바꿨을 때 점수가 얼마나 흔들리는지, 반복 실행할 때 같은 판단을 내리는지, 특정 집단이나 상황에서 한 등급으로 쏠리는지까지 봐야 한다.

논문 첫 페이지. 저자들은 개인 단위 인식과 장면 단위 인식의 난이도 차이를 분리해서 보여준다.

그래도 쓸 수 있다면, 단위를 낮추지 말고 올려야 한다

논문이 완전히 비관적인 것은 아니다. 교실 전체 장면을 분류하는 SCB에서는 CLIP과 GPT-4o가 행동 기반 루브릭을 받았을 때 Cohen’s κ 약 0.60 수준을 보였다. 개인의 표정에서 “이 학생은 몰입하지 않았다”를 읽는 것보다, 장면 전체에서 “토론이 활발한가, 교사가 설명 중인가, 좌석 활동이 있는가”를 보는 편이 더 다루기 쉬웠다는 뜻이다.

업무 적용으로 바꾸면 방향은 이렇다. 개인을 평가하는 자동화보다 상황을 관찰하는 자동화가 먼저다. 교육 담당자가 즉시 개입할 학생을 골라내는 AI보다, 수업 설계자가 다음 회차를 조정할 수 있도록 장면 수준의 패턴을 보여주는 AI가 더 안전하다.

또 하나의 현실적 장벽도 있다. GPT-4o는 개인 학생 얼굴이 포함된 chain-of-thought 요청의 98%를 안전 필터로 거절했다. 이것을 단순한 불편으로 보면 안 된다. 교육 데이터는 사생활과 미성년자 보호 이슈가 걸리기 때문에, 모델이 거절한다는 사실 자체가 운영 설계의 일부가 되어야 한다.

다음 작은 실험

교육평가 자동화를 설계한다면, 개인 점수부터 만들지 않고 세 가지를 먼저 점검하고 싶다.

1. 같은 자료에 프롬프트 3개를 적용했을 때 결과가 얼마나 흔들리는가
2. 개인 단위 판정과 장면 단위 판정 중 어느 쪽이 더 안정적인가
3. 점수가 낮게 나온 사람에게 실제 불이익이 생기기 전에 사람이 어떤 검토권을 갖는가

오늘의 질문은 이렇다. AI가 학습자의 몰입을 재기 전에, 우리는 먼저 AI 판단의 몰입도를 평가하고 있는가.

원문 정보

• 제목: Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization
• 저자: Aman Goyal, Kshama Nitin Shah, Kemmannu Vineet Venkatesh Rao
• 연도/게시일: 2026
• 게재/출처: arXiv
• DOI: 없음/확인 필요
• arXiv: 2606.21861v1
• PDF: https://arxiv.org/pdf/2606.21861

원문 논문: Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization