에이전트가 일을 끝냈어도, 제대로 배운 것은 아닐 수 있다

제일 먼저 든 생각

에이전트 자동화를 만들다 보면 가장 쉬운 평가는 “끝났는가”다. 파일을 만들었는지, 테스트가 통과했는지, 최종 verifier가 OK를 냈는지 보면 된다. 그런데 이 논문은 그 평가가 너무 거칠다고 말한다. 에이전트가 일을 끝냈더라도, 올바른 스킬을 골랐는지, 절차를 지켰는지, 여러 스킬을 맞게 조합했는지, 마지막 점검을 했는지는 다를 수 있다.

이 지점이 Deciflow 실무 와일드카드에 잘 맞았다. 스킬(skill)은 에이전트에게 SOP, 도메인 규칙, 도구 사용법, 검증 루틴을 담아주는 운영 단위다. 문제는 스킬 저장소가 커질수록 비슷한 스킬과 방해 스킬(distractor skill)이 섞이고, 에이전트가 우연히 정답을 맞히면서도 나쁜 습관을 학습할 수 있다는 점이다.

SkillCoach는 최종 성공을 지우자는 제안이 아니라, 결과 신호와 과정 품질을 분리해 보자는 제안에 가깝다.

성공한 실행도 나쁜 시범이 될 수 있다

논문이 다루는 상황은 현실적이다. 에이전트에게 내부 업무 절차와 도구 워크플로를 스킬 형태로 제공한다. 그런데 작업 중 필요한 스킬을 놓치거나, 비슷한 스킬을 잘못 고르거나, 순서를 뒤섞거나, 마지막 검증을 생략할 수 있다. 최종 결과가 우연히 맞으면 기존 outcome-only 평가는 이를 좋은 trajectory로 취급하기 쉽다.

“최종 검증 성공은 평가와 학습 모두에 너무 거친 신호다.”

“Final verifier success is too coarse for both evaluation and training.”

이 문장은 자동화 운영에서 꽤 중요하다. 우리가 에이전트 로그를 볼 때 “성공/실패”만 남기면, 성공 안에 숨어 있는 위험한 우회로를 놓친다. 예를 들어 올바른 스킬 파일을 읽지 않았는데도 시행착오 끝에 답을 맞혔다면, 그 실행은 배포 가능한 좋은 예제가 아니라 재사용하면 안 되는 나쁜 예제일 수 있다.

SkillCoach는 그래서 스킬 사용 과정을 네 가지로 나눠 본다. 스킬 선택(skill selection), 스킬 준수(skill following), 스킬 조합(skill composition), 스킬 기반 성찰(skill-grounded reflection)이다. 외부 verifier는 별도로 유지한다. 즉, “결과는 맞았지만 과정은 나빴다”와 “결과도 맞고 과정도 재사용 가능하다”를 분리하려는 구조다.

루브릭은 평가표가 아니라 운영 지식이 된다

논문에서 흥미로운 부분은 루브릭(rubric)을 고정 체크리스트로 두지 않는다는 점이다. SkillCoach는 실제 rollout에서 스킬 기반 과정 루브릭을 진화시키고, 이를 평가뿐 아니라 좋은 훈련 trajectory를 고르는 supervision 신호로 사용한다. 실험에서는 evolved rubric이 최종 정확도만 보는 방식보다 숨은 실패를 더 잘 드러내고, 에이전트의 스킬 사용을 개선하는 데 더 강한 신호를 제공했다고 보고한다.

업무 자동화로 옮기면, 이건 “프롬프트를 잘 쓰자”보다 훨씬 운영적인 이야기다. 조직의 에이전트 스킬 저장소가 커질수록 필요한 것은 더 많은 스킬이 아니라, 스킬 사용을 감사할 수 있는 과정 언어다. 어떤 스킬을 왜 선택했는지, 어떤 필수 단계를 실행했는지, 조합 순서가 맞는지, 결과 제출 전에 스킬이 요구한 검증을 했는지 기록되어야 한다.

원문 첫 페이지. 논문은 기업형 스킬 저장소처럼 겹치는 절차와 방해 스킬이 섞인 조건을 중요한 배포 현실로 둔다.

내 일에 붙여본다면

Deciflow식 에이전트 운영으로 내려오면 바로 해볼 수 있는 질문이 있다.

• 우리 에이전트의 성공 로그 중 “맞았지만 절차를 어긴 실행”을 구분하고 있는가?
• 스킬마다 필수 선택 조건, 필수 단계, 조합 가능한 스킬, 최종 점검 항목이 적혀 있는가?
• verifier 통과 trajectory를 모두 훈련 예제로 쓰고 있지는 않은가?
• 에이전트 평가 대시보드에 결과 성공률과 과정 품질 점수를 분리해 보여줄 수 있는가?

작게 시작한다면, 자주 쓰는 자동화 스킬 세 개만 골라 선택, 준수, 조합, 성찰 네 칸짜리 로그 평가표를 붙여볼 수 있겠다. 처음부터 모델을 다시 학습하지 않아도, 어떤 성공이 재사용 가능한 성공이고 어떤 성공이 운 좋은 우회인지 보이기 시작한다.

조심해서 읽을 점

이 논문은 에이전트 스킬 사용이라는 특정 문제를 다룬다. 모든 자동화 평가를 루브릭으로 해결할 수 있다는 뜻은 아니다. 또한 루브릭 자체가 잘못 진화하면 조직의 나쁜 절차를 더 강하게 학습시킬 가능성도 있다. 그러니 실무 적용에서는 결과 verifier, 사람의 표본 감사, 과정 루브릭을 함께 두는 편이 안전하다.

그래도 남는 질문은 선명하다. 에이전트가 일을 끝냈다는 사실만으로는 충분하지 않다. 반복 가능한 자동화를 만들려면, 에이전트가 어떤 절차를 통해 성공했는지를 평가해야 한다.

원문 정보

• 제목: SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
• 저자: Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue
• 연도/게시일: 2026
• 게재/출처: arXiv
• arXiv: 2607.01874v1
• PDF: https://arxiv.org/pdf/2607.01874

원문 논문: SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use