표를 읽는 AI는 정답보다 근거 위치를 먼저 틀린다

제일 먼저 든 생각

데이터 업무에서 AI에게 표를 맡길 때 가장 무서운 실수는 계산을 틀리는 것만이 아니다. 더 조용한 실수는 근거 위치를 틀리는 것이다. 예를 들어 열 이름은 이해한 것처럼 보이는데 다른 열의 값을 인용하거나, 조건에 맞는 행 하나를 빠뜨리고 그럴듯한 결론을 내는 경우다. 결과 문장은 자연스럽고, 숫자도 표 안에 실제로 존재하기 때문에 사람이 빨리 보면 지나치기 쉽다.

이 논문은 그런 오류를 데이터 참조 오류(data referencing errors, DREs)라고 부른다. 최종 정답률만 보면 가려지는 중간 추론의 품질 문제다. Power BI, 보고서 자동화, 평가 데이터 검토처럼 표가 많은 업무에서는 꽤 직접적인 경고로 읽힌다. AI가 “정답”을 말했는지보다, 어느 셀과 어느 행을 근거로 삼았는지 검증하는 장치가 필요하다.

표 업무 자동화에서는 답변 생성기와 별도로, 값의 위치와 누락을 점검하는 비평기(critic)가 필요할 수 있다.

정확도만 보면 놓치는 오류

논문은 LLM이 표 관련 과제에서 좋은 성능을 보여도, 표 값을 잘못 인용하거나 빠뜨리는 실수가 계속 발생한다고 본다. 저자들은 1.7B부터 20B 규모 모델까지 여러 모델과 과제를 평가하며, 정답 여부를 넘어 중간 reasoning step에서 표 값을 제대로 참조했는지 살핀다.

초록의 문제 제기는 명확하다.

LLM은 표 과제에서 좋은 성능을 보이지만, 표 구조를 이해하고도 표 값을 잘못 인용하거나 빠뜨리는 데이터 참조 오류를 낸다.

While large language models perform well on table tasks, they still make data referencing errors, i.e., incorrectly citing or omitting table values, despite understanding the table structure.

이 차이는 업무에서 중요하다. 보고서 자동화에서는 최종 문장 하나가 맞아 보여도, 근거 테이블에서 어느 값이 쓰였는지 추적되지 않으면 재검토가 어렵다. 교육평가나 성과관리 대시보드에서도 마찬가지다. “부서 A의 이수율이 낮다”는 문장이 맞는지 보려면 단순히 문장의 확률이 아니라, 해당 부서·기간·지표가 정확히 참조되었는지 확인해야 한다.

비평기는 답을 고치는 장치가 아니라 근거를 보는 장치다

저자들은 data referencing을 critic으로 넣으면 답변 정확도가 최대 12.0%까지 개선될 수 있다고 보고한다. 또한 DRE를 탐지하는 경량 4B critic model이 평균 F1 78.2%를 보였다고 한다. 여기서 중요한 것은 “더 큰 모델 하나로 해결하자”가 아니라, 생성과 검증의 역할을 나누는 설계다.

데이터 참조를 비평 기준으로 넣으면, 비평 기반 필터링과 rejection sampling을 통해 답변 정확도가 최대 12.0% 개선되었다.

Incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling.

Deciflow 관점에서는 이 구조가 데이터/평가 자동화의 기본 패턴처럼 보인다. 생성기는 설명을 만들고, 검증기는 그 설명이 표의 어느 위치를 근거로 하는지 본다. 특히 표가 많은 업무에서는 “AI가 결론을 썼다”와 “AI가 근거를 정확히 집었다”를 분리해야 한다.

실무 데이터 흐름에 붙이면

Power BI나 분석 자동화 흐름에서는 보통 데이터셋 → 대시보드 → 설명 문장 → 의사결정으로 이어진다. 여기에 LLM을 붙이면 설명 문장과 해석이 빨라질 수 있지만, 동시에 셀·행·열 참조 오류가 새로 들어온다. 이 논문이 주는 실무 질문은 다음과 같다.

• 자동 생성된 설명 문장이 참조한 열·행·필터 조건을 로그로 남기는가?
• 답변의 자연스러움이 아니라, 근거 셀의 정확성을 별도로 채점하는가?
• 중요한 지표 설명에는 rejection sampling처럼 여러 후보 중 근거가 맞는 답만 통과시키는가?
• 사람이 검토할 때 “요약문”만 보지 않고 “참조한 데이터 위치”를 같이 볼 수 있는가?

이 논문이 모든 업무 표를 대상으로 검증된 것은 아니다. 실험 조건과 모델 범위 안에서 읽어야 한다. 그래도 “표를 읽는 AI”를 도입할 때, 최종 정답률만 KPI로 삼으면 안 된다는 점은 충분히 설득력 있다.

원문 첫 페이지. 이 글에서는 공개 논문의 첫 페이지를 출처 확인용으로만 사용했다.

오늘의 작은 실험

다음 데이터 자동화 실험에서는 LLM이 만든 설명마다 참조 열, 참조 행, 적용 필터, 사용한 값 네 칸을 함께 출력하게 해보면 좋겠다. 그리고 사람은 설명 문장의 유려함이 아니라 이 네 칸부터 검토한다. 표 업무에서 신뢰는 멋진 문장보다, 어떤 값을 짚었는지 드러내는 데서 시작한다.

원문 정보

• 제목: When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors
• 저자: Yuqing Yang, Qi Zhu, Zhen Han, Boran Han, Zhengyuan Shen, Shuai Wang, Vassilis N. Ioannidis, Huzefa Rangwala
• 연도/게시일: 2026, arXiv:2606.32029
• PDF: https://arxiv.org/pdf/2606.32029

원문 논문: When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors