협업 AI는 똑똑한 답보다 설명 가능한 행동 규칙이 필요하다

제일 먼저 든 생각

AI 에이전트를 업무에 붙일 때 가장 불안한 지점은 “똑똑한가”보다 “왜 그렇게 했는지 알 수 있는가”다. 매번 LLM에게 물어보면 유연하지만 느리고 비싸다. 반대로 강화학습 정책처럼 검은상자로 돌리면 빠르지만 사람이 이해하기 어렵다. 이 논문은 그 사이를 노린다. LLM의 추론을 정책 트리(policy tree)라는 실행 가능한 규칙으로 증류하자는 것이다.

논문은 인간-AI 협업 상황에서 파트너 행동 예측 트리와 에이전트 행동 선택 트리를 함께 학습하는 Co-π-tree를 제안한다. 실험은 Overcooked-AI 환경에서 진행됐고, 평균 보상을 높이면서 LLM 질의 수와 지연시간을 크게 줄였다고 보고한다. 내게는 게임 AI 논문이라기보다, 업무 자동화 에이전트를 어떻게 설계해야 하는지에 대한 힌트로 읽혔다.

논문의 구조와 핵심 결과를 구조형 인포그래픽으로 정리한 그림

매번 묻는 AI와 설명 안 되는 AI 사이

논문이 놓은 문제는 단순하다. 인간과 협업하는 AI는 상대의 행동을 보고 다음 행동을 정해야 한다. LLM은 이런 상황을 언어로 잘 설명하고 계획할 수 있지만, 매번 호출하면 느리다. 반면 기존의 다중 에이전트 강화학습은 실행은 빠르지만 왜 그런 행동을 하는지 설명하기 어렵다.

Co-π-tree는 LLM 추론을 정책 트리 코드로 증류하고, 파트너 상호작용을 통해 정책을 평가한 뒤, 자연어 피드백으로 문제 있는 가지를 개선한다.

“Co-π-tree constructs a policy through distilling LLM reasoning into policy tree code … and uses natural language to summarize interaction feedback to improve problematic branches.”

이 접근이 흥미로운 이유는 AI의 지능을 “그때그때 답하는 능력”이 아니라 “반복 가능한 행동 규칙으로 남기는 능력”으로 본다는 점이다.

Deciflow 자동화에 붙이면

업무 자동화에서도 비슷한 문제가 있다. 예를 들어 회의록 정리, 문서 분류, 평가자료 점검, Power BI 오류 확인 같은 작업을 매번 LLM에게 통째로 맡기면 유연하지만 불안정하다. 반대로 전부 하드코딩하면 빠르지만 예외에 약하다.

이 논문식으로 생각하면 좋은 구조는 이렇다.

• LLM은 처음에 판단 규칙을 만든다.
• 그 규칙은 사람이 읽을 수 있는 트리나 체크리스트가 된다.
• 실제 업무에서는 그 규칙이 빠르게 실행된다.
• 실패 사례가 쌓이면 LLM이 규칙의 특정 가지를 고친다.
• 최종 결정 근거는 “LLM이 그랬다”가 아니라 “이 조건에서 이 규칙을 탔다”로 남는다.

이건 Deciflow가 지향하는 업무 자동화와 잘 맞는다. 매번 천재적인 답을 받는 것보다, 매번 비슷하게 검증 가능한 흐름을 만드는 것이 더 중요하기 때문이다.

성과관리와도 연결된다

협업 AI를 성과관리 관점에서 보면, 자동화의 성과는 처리 건수만으로 판단하기 어렵다. 중요한 것은 사람이 AI의 행동을 이해하고 개입할 수 있는가다. 이 논문의 정책 트리는 그 점에서 좋은 은유가 된다.

조직에서 AI 에이전트가 평가자료를 분류하거나 직원 피드백 초안을 만들 때, 다음 질문에 답할 수 있어야 한다.

• 어떤 조건에서 이 판단을 했는가?
• 예외 상황은 어디로 빠지는가?
• 사람이 수정한 판단은 다음 규칙에 반영되는가?
• 오류가 났을 때 전체 모델을 탓하지 않고 특정 분기만 고칠 수 있는가?
• 같은 업무를 다음에도 같은 기준으로 처리할 수 있는가?

성과관리의 언어로 말하면, AI 자동화에도 평가 가능한 행동 기준이 필요하다. 설명 가능한 규칙이 없으면 자동화 성과는 좋아 보여도 운영 책임은 흐려진다.

단, 아직은 실험 환경이다

조심할 점도 있다. 논문 실험은 Overcooked-AI라는 제한된 협업 환경에서 이루어졌다. 실제 조직 업무는 훨씬 지저분하고, 입력도 불완전하며, 사람의 의도도 자주 바뀐다. 그래서 이 논문을 “바로 업무 자동화에 적용 가능하다”고 읽으면 과하다.

하지만 방향은 유용하다. LLM을 최종 실행자가 아니라 규칙 생성자와 개선자로 쓰는 방식이다. 이 방향은 특히 반복 업무, 검토 업무, 분류 업무, 평가 보조 업무에 잘 맞을 수 있다.

내 작업에 붙여볼 질문

Deciflow에 바로 붙일 질문은 이것이다.

지금 만들고 있는 AI 자동화는 매번 LLM이 새로 판단하는 구조인가, 아니면 사람이 검토할 수 있는 규칙으로 남는 구조인가?

앞으로 자동화 설계를 할 때는 “좋은 답을 냈다”보다 “다음에도 같은 기준으로 실행되고, 틀렸을 때 고칠 수 있는가”를 더 봐야겠다. 협업 AI는 똑똑한 말보다 설명 가능한 행동 규칙을 남겨야 한다.

원문 정보

• 제목: Distilling LLM Reasoning into an Interpretable Policy Tree for Human-AI Collaboration
• 저자: Beiwen Zhang, Yongheng Liang, Guowei Zou, Haitao Wang, Hejun Wu
• 연도/출처: 2026, arXiv
• arXiv: 2606.08596v1
• PDF: https://arxiv.org/pdf/2606.08596

원문 논문: Distilling LLM Reasoning into an Interpretable Policy Tree for Human-AI Collaboration