업무 AI는 대답보다 증거 찾는 습관이 먼저다
논문 『AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning』를 읽고
사내 문서 더미에서 AI 에이전트가 실제로 증거를 찾고, 단위와 용어를 맞추고, 계산까지 할 수 있는지를 묻는 벤치마크 AGORA를 업무설계 관점에서 읽었다.
제일 먼저 든 생각
사내 AI 에이전트를 이야기할 때 자주 빠지는 장면이 있다. “무엇을 물어보면 답한다”는 장면은 그리기 쉽지만, 실제 업무에서는 답보다 먼저 해야 할 일이 훨씬 지저분하다. 흩어진 파일을 찾고, 같은 말을 다른 이름으로 부른 기록을 맞추고, 날짜 기준과 단위를 확인하고, 마지막에는 계산이나 비교까지 해야 한다.
AGORA는 이 지저분함을 정면으로 벤치마크로 만든 논문이다. 저자들은 8개 전문 영역의 9,664개 문서, 3억 7,200만 토큰, 362개 질문으로 “아카이브에 근거한 사무 추론(archive-grounded office reasoning)”을 구성한다. 강한 모델도 전체 정확도 59.4%에 머문다는 결과가 눈에 걸렸다. 업무 AI의 병목은 모델이 말을 잘 못해서가 아니라, 조직의 증거 더미를 다루는 방식이 아직 평가되지 않았다는 쪽에 더 가까워 보인다.
AGORA는 긴 컨텍스트 안에 모든 것을 넣는 시험이 아니라, 큰 문서 아카이브에서 필요한 증거를 찾아 맞추는 능력을 본다.
“문서에 근거한다”는 말의 무게
논문 초록의 핵심 문장은 이렇게 읽힌다.
“우리는 아카이브 기반 추론을 연구한다. 큰 규모의 어수선한 업무 파일 묶음에서 드문 증거를 찾고, 서로 다른 용어·단위·시간 기준을 맞춘 뒤, 답을 계산하는 일이다.”
“We study archive-grounded reasoning: locating sparse evidence across a large, messy collection of workplace files, reconciling inconsistent terminology, units, and time conventions, and computing an answer.”
여기서 중요한 단어는 “messy”다. 조직의 문서는 보통 깨끗한 지식베이스가 아니다. 같은 지표가 부서마다 다르게 불리고, 회계연도와 달력연도가 섞이고, 엑셀·PDF·보고서·메일 캡처가 함께 굴러다닌다. AGORA는 이런 환경에서 에이전트가 단순 검색기가 아니라 “증거를 찾아 연결하는 작업자”가 될 수 있는지를 묻는다.
이 관점은 Deciflow식 업무 자동화에도 바로 붙는다. RAG를 만들 때 “검색 정확도”만 보면 사용자는 여전히 불안하다. 실제 질문은 “이 답이 어느 파일의 어느 수치에 기대고 있는가”, “그 수치의 단위는 지금 보고서와 같은가”, “서로 충돌하는 문서가 있을 때 어느 기준을 따랐는가”에 가깝다.
결과가 말해주는 것
AGORA의 문서 규모는 어떤 모델의 컨텍스트 창도 넘어선다. 따라서 모델은 모든 문서를 한 번에 읽는 방식으로 풀 수 없다. 필요한 파일을 탐색하고, 근거를 좁히고, 교차 확인하는 행동이 필요하다. 저자들은 8개 모델을 평가했고, 가장 강한 모델도 전체 정확도 59.4%에 머물렀다고 보고한다.
이 숫자를 “AI가 아직 부족하다”로만 읽으면 아깝다. 오히려 업무설계 관점에서는 세 가지 질문이 남는다.
- 우리 조직의 질문은 단일 문서 답변인가, 여러 문서 조합인가.
- 에이전트가 답을 내기 전에 반드시 남겨야 할 증거 로그는 무엇인가.
- 단위·기간·용어 충돌을 사람이 검토할 수 있게 보여주는 화면이 있는가.
성능을 높이는 일보다 먼저, 에이전트의 작업 흔적을 감사 가능한 형태로 남기는 일이 필요하다는 뜻이다.
원문 첫 페이지. Figure 1은 AGORA가 8개 전문 영역과 362개 질문으로 구성된다는 점, 그리고 모델별 정확도 격차를 함께 보여준다.
내 일에 붙여본다면
바로 해볼 수 있는 작은 실험은 “사내 문서형 질문 20개”를 만드는 것이다. 단, 챗봇 데모용 질문이 아니라 실제로 귀찮은 질문이어야 한다.
- 한 파일만 보면 틀리는 질문
- 날짜 기준을 맞춰야 하는 질문
- 부서마다 다른 용어를 연결해야 하는 질문
- 수치를 찾아 계산해야 하는 질문
- 답보다 근거 경로가 더 중요한 질문
그 다음에는 모델 답변 점수보다 “근거 찾기 기록”을 먼저 본다. 어떤 문서를 열었는지, 왜 버렸는지, 어떤 수치를 채택했는지, 충돌하는 문서를 표시했는지 확인한다. AGORA가 시사하는 것은 이 조건에서 업무 AI의 품질관리 단위가 프롬프트가 아니라 “문서 탐색 절차”가 될 수 있다는 점이다.
오늘 남길 질문
우리 조직의 AI 파일럿은 지금 “답변 품질”을 평가하고 있는가, 아니면 “근거를 찾아 검증하는 작업 습관”을 평가하고 있는가. 다음 자동화 실험에서는 질문 20개보다 먼저, 답변이 남겨야 할 증거 로그의 양식을 정해보는 편이 좋겠다.
원문 정보
- 제목: AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning
- 저자: Honglin Guo, Qi Zhang, Yu Zhang, Weijie Li, Rui Zheng, Zhikai Lei, Qiyuan Peng, Zhiheng Xi, Tao Gui, Qi Zhang
- 연도/게시일: 2026
- 게재/출처: arXiv
- arXiv: 2606.24526v1
- PDF: https://arxiv.org/pdf/2606.24526