AI 에이전트 UX는 예쁜 화면보다 진행 상황을 보이게 하는 일이다
논문 『Human-AI Agent Interaction in a Business Context』를 읽고
기업 업무에 AI 에이전트를 넣을 때 사용자가 원하는 것은 단순한 자동화가 아니라 통제, 책임, 데이터 출처, 다음 행동이 보이는 상호작용이다. 이 논문은 비즈니스 맥락의 인간-AI 에이전트 UX 기준을 묻는다.
제일 먼저 든 생각
AI 에이전트 제품을 볼 때 우리는 아직 “무엇을 할 수 있는가”에 너무 오래 머문다. 이메일을 쓰는가, 보고서를 찾는가, 승인 문서를 만드는가, 시스템을 넘나드는가. 그런데 실제 업무에 들어오면 사용자의 첫 질문은 조금 다르다. “지금 어디까지 했지?”, “무슨 근거로 이렇게 했지?”, “다음에 뭘 하려는 거지?”, “내가 멈출 수 있나?”가 된다.
이 논문은 기업 환경에서 인간과 AI 에이전트가 어떻게 상호작용해야 긍정적인 사용자 경험(UX)을 만들 수 있는지 묻는다. SAP 소속 연구자들이 참여한 연구로, 메타분석, 참여적 디자인 워크숍, 설문, 인터뷰, 컨조인트 실험을 묶어 비즈니스 AI 에이전트 UX 원칙과 측정 기준을 정리한다. Deciflow 관점에서는 “에이전트 자동화의 UX는 화면 장식이 아니라 책임과 진행 상황을 보이게 하는 설계”라는 쪽으로 읽혔다.
기업 업무에서 AI 에이전트가 신뢰를 얻으려면, 추론·다음 행동·데이터 출처·사람의 책임 지점이 화면 안에 들어와야 한다.
소비자용 AI와 업무용 에이전트는 실패 비용이 다르다
논문은 기존 AI UX 연구가 통제 가능성, 설명 가능성, 윤리, 프라이버시, 투명성을 강조해왔지만, 기업 업무용 에이전트에 바로 옮기기에는 부족한 부분이 있다고 본다. 특히 많은 가이드라인은 소비자용 AI 제품을 중심으로 검증되었고, 조직의 책임·권한·프로세스가 얽힌 업무 흐름에서는 추가 기준이 필요하다.
“기존 평가는 소비자용 제품에 초점을 맞추어, 조직의 AI 에이전트 사용을 위한 정량 기준으로 직접 옮기는 데 한계가 있다.”
“Their evaluation focuses on consumer-facing products rather than enterprise workflows, limiting direct translation into quantitative criteria for organizational AI agent use.”
이 차이는 작지 않다. 소비자 앱에서 AI가 추천을 잘못하면 불편함으로 끝날 때가 많지만, 기업 에이전트가 잘못된 데이터로 결재 자료를 만들거나 고객 응대를 실행하면 책임 소재가 문제가 된다. 그래서 업무용 에이전트의 UX는 “편한가”와 함께 “책임 있게 멈추고 검토할 수 있는가”를 물어야 한다.
사용자가 보고 싶어 한 것은 다음 행동과 데이터 출처였다
논문에서 특히 눈에 들어온 결과는 컨조인트 실험 부분이다. 참여자들은 AI 에이전트 화면의 여러 설계 요소를 비교했고, 연구자들은 어떤 요소가 선호에 영향을 주는지 보았다. 논문은 에이전트 실행을 멈추는 기능 자체보다, 사람의 책임을 명확히 보여주고 에이전트 워크플로의 세부 정보—추론, 다음 행동, 데이터 출처—를 제공하는 것이 선호를 강하게 높였다고 보고한다.
“사람의 책임을 강조하고, 특히 에이전트 워크플로에 대한 상세 정보—추론, 다음 행동, 데이터 출처—를 제공하는 것이 응답자들이 프로토타입 화면을 선호할 가능성을 크게 높였다.”
“Highlighting human accountability and especially providing detailed information on the agent workflow, including reasoning, next actions, and details on data sources strongly increases the likelihood that respondents prefer the prototype screen.”
이 문장은 업무 자동화 설계에서 매우 실용적이다. AI 에이전트 화면에 필요한 것은 “AI가 열심히 생각 중입니다” 같은 애니메이션이 아니다. 작업 상태, 다음 행동, 사용한 데이터, 사람 승인 지점이 보여야 한다. 그래야 사용자가 에이전트를 마법 상자가 아니라 동료 작업자로 다룰 수 있다.
통제는 미세관리보다 책임 지점에 가깝다
논문은 인간 통제(human control)를 중요한 원칙으로 보지만, 이를 모든 세부 행동을 사람이 매번 클릭해야 한다는 뜻으로 읽지는 않는다. 토론 부분에서 저자들은 참여자들이 통제를 “비즈니스 영향이 있는 지점에서의 의미 있는 감독”으로 이해했다고 설명한다. 이 표현이 좋았다. 통제는 에이전트의 모든 토큰을 감시하는 일이 아니라, 되돌리기 어렵거나 책임이 발생하는 순간을 사람이 알아보고 개입할 수 있게 만드는 일이다.
업무 자동화로 옮기면 다음 기준이 생긴다.
- 단순 반복 작업은 자동 실행하되, 외부 발송·결재·데이터 변경은 승인 지점으로 둔다.
- 에이전트가 사용한 데이터 출처와 최신성을 화면에서 확인할 수 있게 한다.
- 실패하거나 확신이 낮을 때, 에이전트가 조용히 넘어가지 않고 복구 전략을 제안하게 한다.
- 역할별 권한에 따라 볼 수 있는 데이터와 실행할 수 있는 행동을 다르게 한다.
결국 좋은 AI 에이전트 UX는 사람을 귀찮게 하지 않는 것이 아니라, 사람이 책임져야 하는 순간을 늦게 발견하지 않게 하는 것이다.
Deciflow 작업에 붙여본다면
내가 만드는 자동화나 에이전트 프로토타입에 이 논문을 붙이면, 기능 목록보다 먼저 “진행 상황 카드”를 설계해야 한다. 카드에는 최소한 네 가지가 있어야 한다.
- 지금 수행 중인 단계
- 사용한 데이터와 출처
- 다음에 실행하려는 행동
- 사람 승인 또는 검토가 필요한 이유
특히 보고서 자동화, 평가 자료 정리, Power BI 보조 분석, RAG 기반 질의응답처럼 데이터 출처와 판단 책임이 중요한 업무에서는 이 카드가 신뢰의 핵심이 될 수 있다. 사용자는 완전 자동화를 원한다기보다, 자동화가 어디까지 안전하게 달리고 있는지 알고 싶어 한다.
조심해서 읽을 부분
이 연구는 비즈니스 맥락의 UX 원칙을 넓게 묶는 탐색적 연구 성격이 강하다. 특정 산업·업무에서 생산성이 실제로 얼마나 올라갔는지를 장기간 검증한 연구는 아니다. 또 정보량을 많이 보여주는 것이 항상 좋은 것도 아니다. 논문도 정보 과부하 위험을 언급한다. 따라서 “더 자세히 보여주면 된다”가 아니라, 위험도와 사용자 숙련도에 따라 투명성의 깊이를 조절해야 한다고 읽는 편이 맞다.
다음 업무 질문
지금 설계 중인 AI 에이전트나 자동화 화면에서 사용자는 “다음 행동”, “데이터 출처”, “사람이 책임지는 지점”을 한눈에 볼 수 있는가? 없다면 기능을 더 붙이기 전에 그 세 가지를 먼저 보이게 만들어야 한다.
원문 정보
- 제목: Human-AI Agent Interaction in a Business Context
- 저자: Kathrin Paimann, Elizangela Valarini, Sebastian Juhl
- 연도/게시일: 2026
- 게재/출처: arXiv
- arXiv: 2606.18716v1
- PDF: https://arxiv.org/pdf/2606.18716