AI 튜터는 친절함보다 어느 순간에 도와야 하는지가 먼저다

제일 먼저 든 생각

AI 튜터를 만들 때 “개인화”라는 말을 너무 빨리 쓴다. 학습자에게 맞춘다고 하지만, 실제로는 모든 학습자에게 같은 힌트 스타일을 조금 다르게 포장하는 경우가 많다. 이 논문은 그 지점을 작게 찌른다. 좋은 AI 학습 에이전트는 더 많이 설명하는 시스템이 아니라, 지금 학습자가 풀고 있는 전략의 성격에 맞춰 도움의 형태를 바꾸는 시스템이어야 한다.

Güres, Nazaretsky, Käser의 논문은 약학 보조 인력 훈련용 시나리오 학습 환경인 PharmaSim Switch를 배경으로 한다. 학습자는 가상의 고객과 대화하며 진단 추론을 연습하고, LLM 기반 멘토 에이전트가 피드백과 발판(scaffolding)을 제공한다. 논문이 제안하는 핵심은 구조화(structuring)와 문제화(problematizing)를 하나의 고정 스타일로 쓰지 말고, 지식-학습-수업(Knowledge–Learning–Instruction, KLI) 프레임워크에 맞춰 전략별로 조합하자는 것이다.

이 논문은 “AI가 힌트를 준다”보다 “어떤 사고 전략에 어떤 종류의 힌트가 맞는가”를 묻는다.

개인화의 단위를 다시 잡기

논문은 학습 분석(learning analytics) 시스템이 LLM을 빠르게 받아들이고 있지만, 개인화가 교육 이론과 충분히 연결되지 않는다고 본다. 여기서 중요한 구분은 구조화와 문제화다.

구조화는 학습자가 빠뜨리지 않고 절차를 밟도록 돕는다. 체크리스트, 순서, 범위, 다음 질문 같은 지원이다. 문제화는 학습자가 자신의 판단을 설명하고, 비교하고, 정당화하도록 흔든다. “왜 그 가능성을 먼저 봤는가”, “다른 원인은 무엇인가” 같은 질문에 가깝다.

논문은 약학 진단 전략을 세 가지로 나누어 본다.

• 체크리스트 전략: 증상, 맥락, 위험 신호를 빠뜨리지 않는 것이 중요하므로 구조화 지원이 잘 맞는다.
• 대인관계 전략: 누구에게 질문해야 하는지 관계 구조를 먼저 파악해야 하므로 문제화 후 구조화가 필요하다.
• 가능한 원인 전략: 원인을 생성·비교·정당화해야 하므로 문제화 지원이 중심이 된다.

이 분류가 HRD 쪽에서 유용한 이유는 분명하다. 직무교육에서도 모든 과제에 같은 피드백을 주면 안 된다. 규정 준수나 절차 숙련 과제에는 구조화된 체크가 필요하고, 고객 대응이나 원인 분석 과제에는 설명·비교·정당화가 필요하다. AI 튜터의 품질은 “피드백 문장이 자연스러운가”보다 “과제의 사고 요구를 제대로 읽었는가”에서 갈릴 수 있다.

아직 결과보다 설계 제안에 가까운 논문

조심해서 읽어야 할 점도 있다. 이 논문은 강한 실증 결과를 이미 확정적으로 제시하는 글이라기보다, 선행 연구와 예정·진행 중인 실험을 바탕으로 전략 정렬형 LLM 에이전트 설계를 제안하는 워크숍 성격의 글이다. 원문은 173명의 약학 기술 견습생을 대상으로 한 연구가 진행되었고 결과는 추후 보고될 예정이라고 적는다.

그래서 “KLI 기반 AI 튜터가 효과를 입증했다”라고 말하면 과하다. 이 조건에서 읽을 수 있는 것은, LLM 기반 교육지원 시스템을 설계할 때 개인화의 기준을 행동 데이터나 난이도 하나로만 두지 말고, 학습자가 연습하는 지식과 사고 전략에 맞춰야 한다는 설계 논리다.

“서로 다른 진단 전략은 서로 다른 지식 유형을 겨냥하고, 따라서 서로 다른 수업 메커니즘을 필요로 한다.”

“Different diagnostic strategies target different types of knowledge and require different instructional mechanisms.”

이 문장은 교육평가에도 그대로 이어진다. 평가 문항을 만들 때도 “맞혔는가”만 보면 안 된다. 학습자가 절차를 빠뜨린 것인지, 관계 구조를 잘못 본 것인지, 가능한 원인을 비교하지 못한 것인지가 다르다. 피드백이 달라져야 한다면, 평가 로그도 달라져야 한다.

첫 페이지의 초록은 “global instructional choices”라는 표현으로 고정형 AI 피드백의 한계를 짚는다.

업무교육에 붙여본다면

Deciflow 관점에서는 이 논문을 사내 교육용 AI 코치 설계 체크리스트로 바꿔볼 수 있다. 예를 들어 신규 리더 교육이나 데이터 분석 교육에 AI 코치를 붙인다면, 먼저 과제를 다음처럼 분류해야 한다.

1. 절차 숙련 과제인가: 단계 누락을 줄이는 구조화 지원이 우선이다.
2. 상황 판단 과제인가: 가정과 근거를 말하게 하는 문제화 지원이 필요하다.
3. 전이 과제인가: 이전 사례의 답을 외우지 않고 새 상황에서 원리를 적용하는지 봐야 한다.
4. 평가 과제인가: 결과 점수뿐 아니라 어떤 사고 전략을 썼는지 로그로 남겨야 한다.

특히 HRA나 교육평가 자동화에서는 “AI가 피드백을 써준다”가 목표가 되면 금방 얕아진다. 더 나은 질문은 “이 피드백은 학습자의 어떤 지식 상태를 바꾸려는가”다. 그 질문 없이 만든 AI 튜터는 친절하지만 교육적으로는 흐릿할 수 있다.

오늘 남길 질문

다음 교육 설계에서 AI 코치를 붙인다면, 먼저 과제별로 “구조화가 필요한 순간”과 “문제화가 필요한 순간”을 따로 표시해보자. AI 프롬프트보다 먼저 피드백 지도를 그리는 것이 순서일 수 있다.

원문 정보

• 제목: Tailoring Scaffolding to Diagnostic Strategies: Theory-Informed LLM-Based Agents
• 저자: Fatma Betul Gures, Tanya Nazaretsky, Tanja Kaser
• 연도/게시일: 2026
• 게재/출처: arXiv / LAK26 Companion Proceedings workshop paper
• arXiv: 2605.04996v1
• PDF: https://arxiv.org/pdf/2605.04996

원문 논문: Tailoring Scaffolding to Diagnostic Strategies: Theory-Informed LLM-Based Agents