교육평가는 점수보다 학습 장면을 먼저 그려야 한다

제일 먼저 든 생각

교육평가를 하다 보면 결국 점수표로 돌아오게 된다. 수료율, 만족도, 사전·사후 점수, 현업 적용도. 다 필요한 지표지만, 이상하게도 그 숫자만으로는 “이 사람이 지금 어떤 학습 장면에 놓여 있는가”가 잘 보이지 않는다.

이 논문은 전문가 학습(professional learning)을 메타인지(metacognition)의 장면으로 나누려는 시도다. 저자들은 환경(Environment), 입력(Input), 과정(Processes), 구조(Structures), 산출(Output), 피드백(Feedback)이라는 여섯 노드의 열린 시스템 모델을 만들고, 가능한 조합 216개를 심리적 타당성, 교육적 관련성, 측정 가능성, 개입 가능성으로 걸러 24개 우선 시나리오로 줄인다. 그 24개를 초보, 발달 중, 전문가/적응 단계로 다시 배치한다.

논문의 구조와 핵심 결과를 구조형 인포그래픽으로 정리한 그림

점수 이전에 장면이 있다

이 논문이 HRD 쪽에서 쓸모 있는 이유는 “학습자의 능력”을 하나의 상태로 납작하게 만들지 않는다는 데 있다. 같은 낮은 점수라도 서로 다른 장면일 수 있다. 어떤 사람은 입력 자체가 부족하고, 어떤 사람은 피드백은 받지만 자기 조절로 연결하지 못하고, 어떤 사람은 이미 높은 수준의 구조를 갖고 있으나 환경 변화에 맞춰 재구성하지 못한다.

216개의 가능한 학습 시나리오를 네 가지 제약 필터로 줄여 24개의 우선 시나리오를 만들었다.

“Combinatorial enumeration generated 216 mathematically possible learning scenarios… reduced this space to 24 priority scenarios.”

여기서 중요한 것은 숫자 24 자체가 아니다. 교육평가의 단위가 “사람”이나 “과정”만이 아니라 “장면”이 될 수 있다는 점이다. 장면을 잡으면 개입도 달라진다. 콘텐츠를 더 주는 것이 맞는지, 피드백 경로를 바꾸는 것이 맞는지, 자기 점검 질문을 넣는 것이 맞는지 구분할 수 있다.

메타인지는 개인 역량이면서 시스템 결과다

메타인지는 흔히 “생각에 대한 생각”으로 설명된다. 그래서 개인의 성찰 능력처럼 보인다. 하지만 이 논문은 메타인지를 열린 시스템 안에 둔다. 환경이 어떤 신호를 주는지, 입력이 얼마나 해석 가능한지, 피드백이 언제 누구에게 돌아오는지에 따라 자기조절 학습은 달라진다.

성과관리에서도 비슷하다. “그 사람은 피드백을 잘 못 받아들인다”라고 말하기 전에, 피드백이 실제 행동 단위로 돌아갔는지, 다음 과제와 연결되었는지, 관찰 가능한 산출로 다시 확인되었는지를 봐야 한다. 개인의 태도 문제처럼 보이는 것이 사실은 피드백 위상(topology)의 문제일 수 있다.

업무에 붙여볼 작은 질문

이 논문을 읽고 교육평가 양식을 바꾼다면, 먼저 한 칸을 추가하고 싶다. “현재 학습 장면은 무엇인가.” 예를 들어 다음처럼 적어볼 수 있다.

• 입력은 충분하지만 피드백이 늦게 돌아오는 장면
• 피드백은 많지만 행동 기준으로 번역되지 않는 장면
• 산출은 좋지만 환경 변화에 맞춘 재구성이 약한 장면
• 초보에게 전문가식 자기조절을 너무 일찍 요구하는 장면

그 다음에야 지표를 붙인다. 점수는 장면을 설명하기 위한 증거이지, 장면 자체가 아니다. HRD가 AI와 결합될수록 이 구분은 더 중요해질 것 같다. AI가 개인별 콘텐츠를 빠르게 만들 수 있다면, 사람은 “어떤 콘텐츠를 줄 것인가”보다 “이 학습자는 지금 어떤 시스템 장면에 있는가”를 더 잘 읽어야 한다.

원문 논문: A Taxonomy of Metacognitive Learning Scenarios in Professional Contexts: Integrating Systems Theory with Empirical Constraints