웹 에이전트는 클릭뿐 아니라 설명까지 남겨야 한다
논문 『MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation』를 읽고
웹 에이전트 벤치마크 MAG를 통해, 실제 화면 위에서 과업을 수행하는 능력과 다음 사용자를 위한 안내 문장을 함께 평가해야 한다는 점을 읽은 논문 메모입니다.
제일 먼저 든 생각
업무 자동화에서 “에이전트가 작업을 끝냈는가”만 보면 반쪽이다. 사람이 그 작업을 나중에 이어받아야 한다면, 에이전트는 클릭의 결과뿐 아니라 왜 그 클릭이 다음 단계였는지도 남겨야 한다. 자동화가 사람을 도와야 하는 순간에는 실행 로그가 곧 교육 자료가 되고, 안내문이 곧 인수인계가 된다.
MAG 논문은 이 지점을 웹 에이전트 평가 문제로 잡는다. 기존 디지털 도입 플랫폼(Digital Adoption Platform, DAP)은 화면 위에 안내 오버레이를 띄워 사용자가 낯선 기능을 따라가게 한다. 하지만 실제 업무는 한 페이지에서 버튼 몇 개 누르는 것으로 끝나지 않는다. 여러 화면 상태를 지나며, 다음 사용자가 이해할 수 있는 안내 문장도 필요하다.
논문 내용을 바탕으로 재구성한 연구 브리프. MAG는 웹 작업 완료와 단계별 가이드 생성을 결합해 평가한다.
화면을 보는 에이전트와 문서를 읽는 에이전트는 다르다
논문은 MAG(Multimodal Action and Guide)라는 과업을 제안한다. 에이전트는 실제 웹사이트에서 여러 단계의 작업을 수행하면서, 각 단계마다 미래 사용자가 필요로 할 안내 문장을 작성해야 한다. 입력도 중요하다. DOM이나 접근성 트리 같은 텍스트 표현만 보는 것이 아니라, 사람이 실제로 보는 렌더링된 화면 스크린샷을 기준으로 동작한다.
“MAG는 스크린샷 위에서 다단계 웹 작업 실행과 가이드 생성을 통합한 첫 벤치마크이며, 두 가지 grounding 방식과 매 단계 인간 검증 골드 가이드를 포함한다.”
“The MAG task and, to our knowledge, the first benchmark to unify multistep web task execution with guide generation over screenshots, with two grounding schemes and a human verified gold guide at every step.”
이 문장이 중요한 이유는 업무 자동화의 평가 기준을 바꾸기 때문이다. 자동화가 실제 현장에 들어오면 “정답을 냈다”보다 “다음 사람이 따라올 수 있게 남겼다”가 중요해진다. 특히 Power BI, CRM, ERP, 내부 포털처럼 화면 상태가 바뀌는 업무에서는 클릭 좌표와 설명 문장이 함께 있어야 재현 가능하다.
작업 완료율 40% 미만이라는 냉정한 기준
논문은 프런티어 API 모델과 공개 멀티모달 모델을 MAG 하니스에서 평가한다. 또한 전문가 trajectory를 보강한 GRPO 학습 방법을 설계해, 지도학습 9B 에이전트의 성공률을 6.9%에서 13.2%로 거의 두 배 끌어올렸다고 보고한다. 하지만 가장 강한 모델도 작업의 40% 미만만 완료했다.
이 숫자는 낮아 보이지만, 오히려 실무적으로 반갑다. 웹 에이전트가 아직 얼마나 어려운 문제인지 솔직히 보여주기 때문이다. 화면을 이해하고, 올바른 요소를 선택하고, 상태 변화를 따라가고, 동시에 사용자를 위한 안내를 작성하는 일은 단순한 클릭 자동화가 아니다.
“에이전트 벤치마크는 작업 완료만 점수화한다. 사람이 각 단계에서 필요로 하는 지시문을 생성하거나 평가하도록 요구하는 것은 없다.”
“Agent benchmarks score task completion alone: none asks the agent to produce, or scores, the instruction a human would need at each step.”
Deciflow의 자동화 실험에도 이 기준을 가져올 수 있다. 에이전트가 폼을 제출했는지만 보지 말고, 다음 세 가지를 같이 남기게 해야 한다.
- 지금 본 화면 상태는 무엇인가.
- 다음 행동은 어떤 근거로 선택했는가.
- 사람이 같은 작업을 할 때 읽을 수 있는 안내 문장은 무엇인가.
원문 첫 페이지. MAG는 실행(action)과 안내(guide)를 한 과업 안에 묶어 웹 에이전트를 평가한다.
자동화 로그를 교육 자료로 바꾸는 관점
이 논문을 와일드카드 슬롯에 둔 이유는, 웹 에이전트 평가가 곧 업무 자동화 설계 질문으로 이어지기 때문이다. 많은 자동화는 성공하면 조용하고, 실패하면 사람이 로그를 뒤져야 한다. 하지만 MAG식 문제 설정은 에이전트에게 “작업하면서 설명하라”고 요구한다.
이 방식은 세 가지 실무 장점이 있다.
- 신규 사용자를 위한 절차 안내서를 자동으로 축적할 수 있다.
- 실패한 자동화의 원인을 클릭 로그보다 빨리 파악할 수 있다.
- 사람에게 넘겨야 하는 지점에서 인수인계 문장을 만들 수 있다.
물론 이 논문이 모든 웹 업무 자동화를 해결했다는 뜻은 아니다. 벤치마크 성과 자체도 아직 제한적이다. 다만 “성공률”과 “가이드 품질”을 동시에 보겠다는 설계는, 에이전트를 업무 현장에 넣을 때 꼭 필요한 평가축이다.
오늘 업무에 붙일 작은 실험
다음 브라우저 자동화나 사내 포털 자동화 실험에서는 성공/실패 플래그 옆에 사용자 안내 문장 필드를 하나 더 두자. 에이전트가 각 단계에서 “이 화면에서는 무엇을 확인하고, 왜 이 버튼을 누르는지”를 한 문장으로 남기게 한다. 자동화가 잘 되면 매뉴얼이 쌓이고, 자동화가 실패하면 디버깅 단서가 남는다. 클릭만 하는 에이전트보다, 설명을 남기는 에이전트가 조직에 더 오래 남을 가능성이 크다.
원문: Gan, Wei, Liang, Cai, Zhang, Ni, 『MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation』, arXiv:2607.10079v2.