자동화는 ‘얼마나 많이’가 아니라 ‘언제 넘길지’의 문제다

제일 먼저 든 생각

AI 자동화 이야기는 자주 “몇 퍼센트를 자동 처리할 수 있느냐”로 흘러간다. 그런데 실제 운영 현장에서는 그 숫자만으로는 부족하다. 챗봇이 해결하지 못한 일이 사람에게 넘어오고, 사람의 대기열이 길어지면, 자동화의 성과는 곧바로 서비스 병목으로 바뀐다.

이 논문은 그 지점을 아주 운영적으로 붙잡는다. 자동화는 사람을 없애는 문제가 아니라, 챗봇 비용·실패 확률·사람 대기열을 동시에 보며 어느 일을 먼저 어디로 보낼지 정하는 문제라는 것이다.

자동화율보다 대기열을 먼저 봐야 할 때

저자들은 업무가 순차적으로 들어오는 인간-AI 서비스 시스템을 가정한다. 각 업무는 먼저 챗봇을 거친다. 챗봇에 더 많은 자원을 쓰면 해결 확률은 높아질 수 있지만 비용이 든다. 해결되지 않은 업무는 유형별 사람 상담원 대기열로 넘어간다. 사람은 더 믿을 만하지만 느리고, 동시에 처리할 수 있는 용량이 제한되어 있다.

논문은 이 구조를 다음처럼 설명한다.

“사람 상담원은 대체로 더 신뢰할 수 있지만 더 느리고, 처리 용량의 제약을 받는다.”

“Human agents, on the other hand, are often more reliable but slower and capacity-constrained.”

이 문장이 마음에 걸린 이유는 단순하다. AI 도입 논의에서 사람의 느림은 자주 비용처럼만 취급된다. 하지만 이 논문에서는 사람의 느림이 제거 대상이 아니라, 시스템이 안정적으로 다뤄야 할 제약 조건으로 등장한다. 그러면 질문도 달라진다. “AI가 사람 일을 얼마나 줄였나?”보다 “AI가 실패했을 때 사람 대기열을 감당할 수 있게 설계했나?”가 더 중요해진다.

자동화 결정과 사람 대기열 배분을 따로 보지 않고, 하나의 운영 제어 문제로 묶어 읽어야 한다.

논문이 제안하는 방식: 배우면서 제어하기

논문이 제안하는 UCB-DPP 정책은 두 가지를 함께 한다. 하나는 상한 신뢰구간(Upper Confidence Bounds, UCB)을 써서 챗봇 성공 확률과 사람 처리율을 배워가는 일이다. 다른 하나는 드리프트-플러스-페널티(Drift-Plus-Penalty, DPP) 방식으로 현재 대기열 상태를 보며 비용과 안정성을 함께 조정하는 일이다.

저자들은 자신들의 기여를 이렇게 요약한다.

“자동화 결정과 사람 배분 결정은 독립적으로 최적화될 수 없다. 현재 혼잡 상태에 반응하면서 시간에 따라 함께 조정되어야 한다.”

“Thus, automation and human service cannot be optimized independently: they must be coordinated over time in response to the current congestion state.”

여기서 중요한 것은 “AI가 잘하는 업무 목록”을 한 번 정하고 끝내는 방식이 아니라는 점이다. 챗봇이 어떤 업무 유형에서 실제로 잘하는지, 사람 상담원이 어떤 유형을 얼마나 빨리 처리하는지는 처음부터 완전히 알려져 있지 않다. 운영 중에 배워야 한다. 그리고 배우는 동안에도 대기열은 쌓인다.

그래서 이 논문은 자동화 도입을 정적인 분류표가 아니라 온라인 학습과 대기열 제어의 문제로 본다. 업무설계 관점에서는 꽤 현실적인 전환이다.

내 업무에 붙이면 대시보드가 달라진다

Deciflow식으로 가져온다면, 이 논문은 챗봇 성능 대시보드보다 전환 판단 대시보드를 먼저 상상하게 한다. 예를 들면 다음 항목을 매일 보는 것이다.

• 업무 유형별 AI 1차 해결률
• AI 실패 후 사람에게 넘어온 건수
• 사람 대기열 길이와 평균 처리시간
• 사람에게 너무 늦게 넘어가 품질이 떨어진 사례
• AI에 더 많은 자원을 쓰는 것이 실제로 사람 병목을 줄인 구간

이 지표들은 “AI가 얼마나 똑똑한가”보다 “AI와 사람이 함께 있을 때 흐름이 막히지 않는가”를 보여준다. 특히 고객지원, IT 헬프데스크, 교육 문의, 내부 데이터 요청처럼 1차 자동화와 사람 검토가 같이 존재하는 업무에 바로 붙여볼 수 있다.

원문 첫 페이지. 논문은 챗봇-사람 2단계 서비스 구조를 온라인 학습과 대기열 제어 문제로 정식화한다.

조심해서 읽을 부분

이 논문은 실제 콜센터 로그가 아니라 합성 시뮬레이션과 이론 분석을 중심으로 한다. 따라서 “이 정책을 쓰면 현장 자동화가 바로 좋아진다”고 말하기는 어렵다. 보여준 것은 이 조건에서, 알려지지 않은 성공 확률과 처리율을 배우면서도 사람 대기열의 평균 안정성을 유지할 수 있다는 가능성에 가깝다.

하지만 업무 설계 질문은 충분히 남는다. 자동화 프로젝트를 시작할 때 “AI 처리율”만 목표로 삼지 말고, 실패 후 사람에게 넘어가는 흐름까지 같이 설계하고 있는가. AI가 더 많이 처리하는 날에도, 사람 대기열은 정말 건강한가.

이번 주에 해볼 작은 실험

현재 운영 중인 반복 문의나 내부 요청 하나를 골라, 단순히 자동 처리율을 세지 말고 “AI 실패 후 사람 대기열”을 같이 적어본다. 자동화율이 높아졌는데 사람 대기열이 줄지 않았다면, 문제는 모델 성능이 아니라 넘김 기준과 사람 배분 규칙일 수 있다.

원문 정보

• 제목: Learning When to Automate: Queue Control in Human-AI Service Systems
• 저자: Giovanni Montanari, Marco Scarsini, Vianney Perchet
• 연도/게시일: 2026
• 게재/출처: arXiv
• arXiv: 2607.06017v1
• PDF: https://arxiv.org/pdf/2607.06017

원문 논문: Learning When to Automate: Queue Control in Human-AI Service Systems