협업 역량은 참여 횟수가 아니라 대화의 구조에서 보인다
논문 『CLARA: An AI-Augmented Analytics Dashboard for Collaboration Literacy』를 읽고
협업 대화를 개념 지도와 평가 기준으로 바꾸는 연구를 바탕으로, HRD와 교육평가에서 협업역량을 어떻게 진단할 수 있는지 정리한다.
제일 먼저 든 생각
협업을 평가할 때 가장 쉬운 지표는 양이다. 누가 몇 번 말했는지, 얼마나 오래 참여했는지, 과제를 제때 냈는지 같은 것들이다. 하지만 실제 회의나 학습 장면에서 중요한 협업 역량은 그보다 미묘하다. 누군가의 아이디어를 어떻게 이어받았는지, 갈등을 어떤 방식으로 조정했는지, 흩어진 정보를 함께 묶었는지, 대화가 문제 해결 쪽으로 이동했는지 같은 것들이다.
HRD와 교육평가에서 이 문제는 “많이 참여한 사람”과 “협업을 잘한 사람”을 어떻게 구분할 것인가로 이어진다. 발언 횟수보다 대화가 문제를 어떤 구조로 바꾸었는지를 봐야 한다.
CLARA 논문은 바로 이 지점을 다룬다. 협업 리터러시(collaboration literacy)를 단순 행동 로그가 아니라 대화의 의미 구조로 읽어보려는 시도다. 저자들은 토론 전사문에서 개념 지도(concept map), 7C 협업 평가, 심리언어적 지표 같은 분석 산출물을 만들고, 이 산출물을 대시보드에 보여주는 동시에 RAG 검색 기반의 지식 인프라로도 사용한다. 사람과 AI가 같은 산출물을 보며 협업을 해석하는 구조를 만든 셈이다.
이 논문에서 흥미로운 점은 AI가 최종 평가문만 생성하는 것이 아니라, 사람이 함께 해석할 수 있는 중간 산출물을 만든다는 점이다.
행동 로그만으로는 놓치는 것
논문은 협업 학습 분석의 어려움을 이렇게 짚는다. 전통적 분석은 참여 횟수나 발화량 같은 행동 신호를 잘 잡아내지만, 학습자가 협업에 접근하는 방식과 서로의 아이디어를 쌓아가는 의미적 차원은 놓치기 쉽다.
“전통적인 분석 지표는 행동 신호를 포착하지만, 학습자가 협업에 접근하고 서로의 아이디어를 쌓아가는 의미적 차원을 놓친다.”
“Traditional analytics metrics capture behavioral signals while missing the semantic dimensions of how learners approach collaboration and build on each other’s ideas.”
이 문장은 HRD와 교육평가에도 그대로 온다. 조직 안에서 협업 교육을 하고 나면 우리는 종종 설문 점수, 참석률, 만족도, 과제 제출 여부를 본다. 그러나 실제로 팀이 더 잘 협업하게 되었는지 보려면 대화 속에서 지식이 어떻게 이동했는지 봐야 한다. 누가 많이 말했는지가 아니라, 어떤 발화가 문제를 다시 정의했고, 어떤 질문이 숨은 정보를 끌어냈고, 어떤 연결이 공동의 판단을 만들었는지가 더 중요하다.
CLARA는 이 의미 층위를 개념 지도와 협업 평가 산출물로 만든다. 특히 7C 협업 평가를 통해 협업의 질을 여러 차원에서 살핀다. 논문은 LLM이 만든 자동 협업 평가가 전문가 간 변동 범위 안에 들어왔고, 산출물 기반 응답이 전사문만 사용한 응답보다 근거성, 분석 깊이, 유용성에서 더 높게 평가되었다고 보고한다. 이 결과는 특정 조건과 데이터 안에서 조심스럽게 읽어야 하지만, “AI가 협업 평가를 대체한다”보다 “AI가 평가자가 볼 수 있는 중간 증거를 만들어준다”는 쪽으로 해석하는 편이 안전하다.
대시보드는 점수판이 아니라 공동 해석의 자리
이 논문에서 마음에 남는 설계는 분석 산출물이 두 번 쓰인다는 점이다. 한 번은 사용자가 보는 대시보드 자료로, 또 한 번은 AI 에이전트가 검색하고 추론하는 벡터 데이터베이스 컬렉션으로 쓰인다. 즉, 사람이 보는 그림과 AI가 참고하는 기억이 분리되어 있지 않다.
이 구조는 교육평가 자동화에서 중요한 힌트를 준다. AI 시스템이 “최종 점수”만 내놓으면 사람은 그 판단을 믿거나 의심하는 두 선택지에 갇힌다. 반대로 개념 지도, 발화 근거, 협업 차원별 해석 같은 중간 산출물이 있으면 평가자는 왜 그런 피드백이 나왔는지 검토할 수 있다. 학습자도 자신의 협업 방식을 다시 볼 수 있다. 대시보드가 감시용 점수판이 아니라 공동 해석의 자리가 되는 것이다.
조직 맥락으로 옮기면, 팀 회고나 프로젝트 리뷰에 적용할 수 있다. 회의 전사문을 기반으로 “누가 말을 많이 했는가”가 아니라 “핵심 쟁점이 어떻게 변했는가”, “아이디어가 어디서 막혔는가”, “결정 근거가 충분히 공유되었는가”를 볼 수 있다면 협업 진단의 품질이 달라진다. 다만 이때도 개인 평가로 곧장 연결하면 위험하다. 대화 데이터는 맥락 의존적이고, 협업 품질은 팀 구조·권한·심리적 안전감의 영향을 받는다. CLARA식 분석은 개인 점수화보다 팀 학습과 피드백 설계에 먼저 붙이는 편이 낫다.
내 작업에 붙여본다면
Deciflow 관점에서 이 논문은 “교육평가 자동화”를 한 단계 더 구체화해준다. 평가 자동화는 답안 채점만이 아니다. 토론, 회의, 협업 과제처럼 정답이 하나로 닫히지 않는 장면에서는 의미 산출물을 만들어 사람이 해석하게 돕는 방식이 더 현실적일 수 있다.
작은 실험을 한다면 이렇게 시작해볼 수 있다.
- 팀 회의나 학습 토론 전사문 하나를 고른다.
- AI에게 요약문이 아니라 “핵심 개념 지도”, “쟁점 변화”, “협업을 도운 발화”, “다음 회의에서 확인할 질문”을 따로 만들게 한다.
- 산출물을 사람 평가자가 검토하며 틀린 연결과 빠진 맥락을 표시한다.
- 최종 피드백은 AI 문장이 아니라 사람의 판단이 반영된 회고 질문으로 낸다.
이 논문이 보여주는 것은 협업 역량을 완전히 자동 평가할 수 있다는 결론이 아니다. 오히려 협업처럼 복잡한 역량일수록 AI가 바로 판정자가 되기보다, 사람이 볼 수 있는 의미 있는 중간 증거를 만들어야 한다는 점을 시사한다. 오늘 남길 질문은 이것이다. 우리 조직의 협업 교육에서 지금 수집하는 데이터는 “참여했다”는 사실만 보여주는가, 아니면 “어떻게 함께 생각했는가”까지 보여주는가.
원문 첫 페이지. CLARA는 협업 대화에서 의미 산출물을 추출하고 이를 사람과 AI가 함께 쓰는 분석 인프라로 삼는다.