교육 대시보드는 점수보다 해석을 담아야 한다

제일 먼저 든 생각

교육과 HRD에서 대시보드는 너무 자주 “잘 보이는 표”로 끝난다. 접속 횟수, 진도율, 퀴즈 점수, 과제 제출 여부가 한 화면에 놓이면 관리자는 뭔가를 본 것 같은 느낌을 받는다. 하지만 실제로 알고 싶은 것은 보통 그 다음이다. 이 사람은 무엇을 오해하고 있는가. 어디서 막혔는가. 지금 필요한 피드백은 설명인가, 연습인가, 자신감 회복인가.

이 논문은 그 틈을 정면으로 건드린다. 저자는 기존 학습분석(learning analytics)이 행동 지표를 보여주는 데 강하지만, 전문가가 학습자의 발달을 해석하고 오개념을 진단하며 개입을 결정할 때 쓰는 인지 구조를 충분히 담지 못한다고 본다. 그래서 Expert Cognition Dashboard(ECD)를 제안한다.

행동 데이터가 바로 처방으로 이어지는 것이 아니라, 전문가적 해석을 거쳐야 한다는 점이 핵심이다.

데이터가 보인다고 학습이 보이는 것은 아니다

논문의 문제 제기는 익숙하지만 중요하다. 현재 많은 AI 기반 교육 시스템은 학습자의 행동, 성과 지표, 콘텐츠 상호작용을 중심으로 학습 과정을 모델링한다. 그러나 저자는 이런 접근이 학습자의 발달, 오개념, 적응적 교수 판단을 해석하는 데 필요한 깊은 인지 구조를 충분히 대표하지 못한다고 말한다.

“현재의 대시보드는 데이터 가시성은 제공하지만, 인지 가시성은 제공하지 못한다.”

“current dashboards provide data visibility without cognition visibility”

HRD 현장으로 옮기면 이 문장은 그대로 평가 설계의 문제다. 교육 이수율이 높아도 실제 업무 판단이 달라졌는지 알기 어렵다. 시험 점수가 올라도 어떤 오개념이 해소됐는지, 어떤 상황에서 다시 흔들리는지 알 수 없다. 대시보드가 학습을 설명하기보다 관리 보고를 돕는 화면으로 남는 이유다.

ECD가 말하는 ‘인지 미들웨어’

논문이 제안하는 ECD는 대시보드를 단순 시각화 화면이 아니라 **인지 미들웨어(cognitive middleware)**로 본다. 학습자의 행동 기록을 AI 튜터가 분석하고, 이를 개인 인지 대시보드, 학급 인지 대시보드, AI Twin 전문가 대시보드 같은 여러 층으로 집계해 적응적 개입에 쓰자는 구상이다.

여기서 중요한 것은 “AI가 학습 로그를 직접 보고 판단한다”가 아니라는 점이다. 논문은 학습자 상호작용을 먼저 해석 가능한 인지 구조로 바꾸고, 그 구조를 통해 AI가 추론해야 한다고 주장한다. 말하자면 원자료와 처방 사이에 전문가적 해석의 층을 넣는 것이다.

이 접근은 성과관리에도 힌트를 준다. 조직의 학습·성과 대시보드가 단순히 활동량을 모니터링하는 화면이라면, AI는 더 빠른 감시자가 되기 쉽다. 반대로 “어떤 판단 능력이 자라고 있는가”, “어떤 오개념이 반복되는가”, “어떤 맥락에서 성과가 무너지는가”를 구조화하면 AI는 코치나 평가 보조자에 가까워질 수 있다.

아직은 프레임워크 논문으로 읽어야 한다

이 논문은 강한 실험 결과를 제시하는 논문이라기보다, AI-native education을 위한 개념적·구조적 제안을 담은 프레임워크 논문에 가깝다. 그래서 “ECD를 쓰면 학습 효과가 오른다”고 읽기보다는 “무엇을 대시보드에 담아야 AI가 더 그럴듯한 교육 판단을 할 수 있는가”를 묻는 글로 읽는 편이 안전하다.

특히 ‘AI Twin’, ‘cognition intelligence’ 같은 표현은 앞으로 실제 구현과 검증이 더 필요하다. 다만 이 조건에서 논문이 던지는 질문은 실용적이다. 교육 데이터가 늘어날수록, 조직은 더 많은 숫자를 보게 된다. 하지만 숫자가 많아지는 것과 해석이 깊어지는 것은 다르다.

원문 첫 페이지. 행동 지표 중심의 학습분석을 전문가 인지 구조로 확장하자는 제안이다.

HRD에 붙여볼 작은 실험

이 논문을 Deciflow식으로 쓰려면 “새 대시보드 만들자”보다 먼저 지표의 언어를 바꾸는 것이 좋다.

예를 들어 교육 평가 화면에 다음 세 칸을 추가해볼 수 있다.

1. 행동 신호: 완료율, 점수, 응답 시간, 재시도 횟수
2. 해석 가설: 개념 오해, 적용 맥락 부족, 자신감 저하, 기준 혼동
3. 개입 선택지: 예시 재제공, 비교 과제, 동료 설명, 현업 사례 피드백

중요한 것은 두 번째 칸이다. 대부분의 대시보드는 1번에서 바로 3번으로 뛰어넘는다. “점수가 낮으니 추가 교육” 같은 처방이 나온다. 하지만 전문가의 판단은 보통 중간 해석을 거친다. 왜 낮은지, 어느 조건에서 낮은지, 무엇을 바꾸면 다시 시도할 수 있는지를 본다.

오늘 남길 질문

우리 교육·성과 대시보드는 학습자의 행동을 보여주는가, 아니면 전문가가 다음 개입을 고를 수 있도록 해석의 단서를 남기는가?

AI를 붙이기 전에 대시보드가 이 질문에 답하지 못한다면, AI는 기존의 빈약한 지표를 더 빠르게 요약할 뿐이다. 반대로 해석의 층이 잘 설계되어 있다면, 작은 AI 튜터나 평가 보조자도 꽤 실용적인 코칭 파트너가 될 수 있다.

원문 정보

• 제목: Expert Cognition Dashboard: From Learning Analytics to Cognition Intelligence in AI-Driven Education
• 저자: Annie Yuan
• 연도/게시일: 2026
• 출처: arXiv
• arXiv: 2605.17263v1
• PDF: https://arxiv.org/pdf/2605.17263

원문 논문: Expert Cognition Dashboard: From Learning Analytics to Cognition Intelligence in AI-Driven Education