스프레드시트 에이전트는 셀 하나보다 업무 전체에서 무너진다

제일 먼저 든 생각

스프레드시트 자동화는 쉬워 보일 때가 많다. 수식 하나를 만들고, 표를 정리하고, 차트를 그리는 데 AI가 꽤 능숙해 보이기 때문이다. 그런데 실제 업무의 스프레드시트는 셀 하나가 아니라 여러 시트, 참조 관계, 수정 이력, 보고 목적이 묶인 작업물이다.

이 논문은 바로 그 차이를 찌른다. SpreadsheetBench 2는 스프레드시트 에이전트를 단일 작업이 아니라 비즈니스 업무 흐름(end-to-end business spreadsheet workflows) 단위로 평가한다. 생성, 디버깅, 시각화까지 포함하고, 재무 보고서와 기업 공시 같은 실제 비즈니스 데이터를 바탕으로 만든 321개 과제를 사용한다.

셀 단위 조작이 아니라 여러 워크시트와 수정 단계가 얽힌 업무 흐름으로 스프레드시트 에이전트를 평가한다.

평균 593.5개 셀을 고치는 일

논문에서 가장 눈에 걸린 숫자는 정확도보다 먼저 작업 규모였다. 각 과제는 평균 11.8개 워크시트를 포함하고, 평균 593.5개의 셀 수정이 필요하다. 이것은 “수식 하나 만들어줘”와 전혀 다른 종류의 일이다. 업무 담당자가 실제로 겪는 스프레드시트 문제는 여러 탭을 오가며 의존성을 확인하고, 잘못된 참조를 찾아 고치고, 결과를 다시 보고용 형태로 만드는 일에 가깝다.

“각 인스턴스는 평균 11.8개의 워크시트를 포함하고 593.5개의 셀 수정이 필요했다.”

Each instance averages 11.8 worksheets and requires 593.5 cell modifications, reflecting large multi-sheet workbooks with cross-sheet dependencies.

이 조건에서 현재 시스템은 아직 멀리 있다. 논문에 따르면 가장 좋은 모델도 전체 과제 정확도 34.89%에 그쳤고, 디버깅 정확도는 12.00%까지 낮았다. 수식 생성 능력만 보고 “이제 엑셀 업무는 자동화된다”고 말하기 어려운 이유다.

실패는 계산보다 검사에서 많이 온다

논문이 제시한 실패 원인은 실무적으로 더 중요하다. 성능 병목은 단순히 계산 능력이 부족해서가 아니라, 스프레드시트를 충분히 살피지 못하고 잘못된 대상 셀을 고르는 데서 많이 발생했다.

“궤적 분석과 실패 분류는 불충분한 스프레드시트 검사와 잘못된 대상 셀 선택이 지배적인 병목임을 보여준다.”

Trajectory analysis and a failure taxonomy further indicate that insufficient spreadsheet inspection and incorrect target-cell selection are the dominant bottlenecks.

이 말은 업무 자동화 설계에 바로 연결된다. 에이전트에게 “이 파일 고쳐줘”라고 맡기는 것보다, 먼저 파일을 어떻게 훑고, 어떤 셀을 잠그고, 어떤 시트를 기준본으로 삼고, 어떤 결과를 사람이 검토할지 정해야 한다. 에이전트의 실행 능력보다 검사 루틴과 작업 경계가 먼저다.

Power BI나 평가 자동화 업무도 비슷하다. 대시보드 숫자가 이상할 때 문제는 시각화 컴포넌트 하나가 아니라 원본 테이블, 변환 단계, 측정값 정의, 보고서 필터가 얽혀 있을 때가 많다. AI 에이전트를 붙이려면 이 전체 흐름을 평가 과제로 만들어야 한다.

Deciflow식 작은 실험

이 논문을 읽고 바로 해볼 수 있는 실험은 크지 않아도 된다. 팀에서 반복적으로 쓰는 엑셀 또는 구글시트 파일 하나를 고르고, AI에게 전체 파일을 맡기기 전에 다음 단계를 나눠 본다.

1. 파일 구조 설명: 시트 목록, 주요 테이블, 참조 관계를 먼저 요약하게 한다.
2. 위험 셀 표시: 수식, 외부 참조, 수동 입력 영역을 구분하게 한다.
3. 수정 계획 작성: 실제 셀 변경 전에 어떤 범위를 바꿀지 표로 내게 한다.
4. 사람 승인: 변경 전 계획과 변경 후 결과를 사람이 비교한다.
5. 실패 로그: 잘못 고른 셀, 놓친 참조, 깨진 차트를 별도 기록한다.

이 흐름은 자동화를 느리게 만드는 것처럼 보이지만, 실제로는 반대일 수 있다. 에이전트가 틀렸을 때 어디서 틀렸는지 알아야 다음 자동화를 설계할 수 있기 때문이다.

논문이 남기는 질문은 분명하다. 우리 업무에서 AI가 잘하는 작은 조작을 모아 “자동화”라고 부르고 있지는 않은가. 진짜 자동화는 셀 하나가 아니라, 검사하고 고치고 설명하는 전체 업무 흐름에서 버텨야 한다.

원문 첫 페이지. 현실적인 비즈니스 스프레드시트 업무 흐름을 기준으로 에이전트를 평가한다.

원문 정보

• 제목: SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows
• 저자: Jian Zhu, Yuzheng Zhang, Zeyao Ma, Bohan Zhang, Armin Schoepf, Daniel Woloch, Peter Yiliu Wang, Guangyu Robert Yang, Samuel Jacob, Siddharth Nagisetty, Abhiram Chundru, Jean Lin, Spencer Mateega, Jing Zhang
• 출처: arXiv, 2026
• arXiv: 2606.29955v1

원문 논문: SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows