에이전트에게 일을 맡기려면 흔적부터 보여야 한다

제일 먼저 든 생각

AI 에이전트가 마지막 보고서를 잘 내는 것만으로는 부족하다. 실제 업무에서 더 중요한 순간은 “지금 어디까지 했고, 무엇을 근거로 다음 단계로 갔고, 어디서 틀어졌는가”를 사람이 중간에 볼 수 있는지다. Graph of Trace 논문은 과학 연구 에이전트의 실행 이벤트를 기록하고 방향 그래프로 시각화해, 긴 연구 workflow를 사람이 추적할 수 있게 만드는 방법을 제안한다.

에이전트 자동화의 신뢰는 최종 답보다 중간 흔적에서 만들어진다.

최종 보고서만 보면 너무 늦다

논문이 다루는 과학 연구 에이전트는 문헌 검토, 실험 설계, 코드 작성, 도구 실행, 데이터 분석, 결과 해석 같은 여러 단계를 이어간다. 문제는 이런 작업이 길고 서로 의존적이라는 점이다. 앞 단계의 작은 오류가 뒤 단계로 전파되면, 마지막 보고서에서 고치기 어렵다.

“과학자들은 최종 보고서만 받는 것이 아니라, workflow를 명확히 이해하고 중간 결정을 검토하며 필요할 때 개입할 수 있어야 한다.”
“Scientists need to maintain a clear understanding of the workflow, review intermediate decisions, and intervene when necessary, rather than only receiving the final report at the end.”

이 문장은 연구실 밖의 업무 자동화에도 그대로 적용된다. 리서치 요약, 고객 데이터 분석, 보고서 초안 작성, Power BI 지표 점검을 에이전트에게 맡길 때도 마지막 결과만 받으면 검토자가 할 수 있는 일이 줄어든다. 틀린 데이터 선택, 잘못된 필터, 과한 해석이 어디서 들어왔는지 찾는 데 더 많은 시간이 든다.

Graph of Trace가 기록하는 것

연구진은 Scientific Agent와 별도로 Monitor Agent를 두고, 실행 과정에서 생기는 작업 이벤트를 구조화한다. 도구 호출, 코드 실행, 중간 산출물 같은 사건을 노드와 엣지로 만들고, 파서와 저장 모듈이 스키마 제약을 확인한 뒤 그래프에 붙인다. 프론트엔드는 이 그래프를 실시간으로 보여준다.

논문의 핵심은 LLM의 내부 사고를 들여다보겠다는 것이 아니다. 프롬프트 안의 추론 사슬보다, 실제 에이전트 시스템이 외부 도구를 어떻게 호출하고 어떤 산출물을 다음 단계의 입력으로 삼았는지 보는 데 가깝다.

“우리는 에이전트 workflow를 해석 가능하고 분석 가능한 형태로 표현하기 위한 추상화로 구조화된 실행 흔적을 제안한다.”
“We introduce structured execution traces as an abstraction for representing agent workflows in an interpretable and analyzable form.”

평가에서는 AI, 신경과학, 생물학 배경의 전문가들이 복잡한 연구 과제를 검토했다. 논문은 구조화된 trace 시각화가 에이전트 workflow 이해, 해석 가능성 인식, 분석과 추가 상호작용의 사용성을 높였다고 보고한다. 다만 이는 특정 시스템과 과제 조건에서의 사용자 평가이므로, 모든 업무 에이전트에 같은 효과가 난다고 일반화하기보다는 설계 원리로 읽는 편이 맞다.

Deciflow 업무 자동화에 붙이면

이 논문을 읽고 남는 실무 질문은 간단하다. “우리의 에이전트 로그는 사람이 다시 일할 수 있는 흔적인가, 아니면 개발자만 보는 기록인가.” 업무 자동화 로그가 시간순 텍스트로만 남으면 검토자는 흐름을 재구성해야 한다. 반대로 입력 데이터, 도구 호출, 판단 지점, 산출물, 사람 승인 여부가 연결 구조로 남으면 검토는 훨씬 빨라진다.

작은 적용으로는 다음 정도가 가능하다.

• 리서치 에이전트: 검색어, 선택한 문서, 제외한 문서, 인용 근거를 노드로 남긴다.
• 분석 에이전트: 사용한 데이터셋, 필터 조건, 생성한 차트, 해석 문장을 연결한다.
• 보고서 에이전트: 초안 문단마다 근거 자료와 사람 수정 이력을 붙인다.
• 운영 자동화: 실패한 도구 호출과 재시도 경로를 별도 노드로 표시한다.

중요한 것은 예쁜 그래프가 아니다. 에이전트가 일을 잘못했을 때 사람이 어느 지점으로 돌아가야 하는지 알려주는 지도다.

다음 실험

Deciflow에서 바로 해볼 수 있는 작은 실험은 “3단계 trace 카드”다. 자동화가 어떤 결과물을 만들 때마다 ① 입력, ② 실행/도구, ③ 산출/검토 상태를 카드로 남긴다. 처음부터 복잡한 그래프 UI를 만들 필요는 없다. 다만 각 카드가 다음 카드와 연결되고, 사람이 ‘여기서부터 다시 실행’할 수 있어야 한다.

AI 에이전트를 믿는다는 말은 에이전트가 항상 맞는다는 뜻이 아니다. 틀렸을 때 빨리 발견하고, 적절한 지점에서 멈추고, 다시 시작할 수 있다는 뜻에 더 가깝다.

원문 정보

• 제목: Graph of Trace: Visualizing Execution Traces of Scientific Agent
• 저자: Tianci Gao, Haoxuan Li, Jianhe Li, Tianxiang Zhao, Runze Shi, Weiran Wang, Zezhao Wu, Lu Mi
• 연도/게시일: 2026
• 게재/출처: arXiv
• arXiv: 2606.15116v1
• PDF: https://arxiv.org/pdf/2606.15116

원문 논문: Graph of Trace: Visualizing Execution Traces of Scientific Agent