AI 업무의 피로는 답이 아니라 타이핑 사이에 남는다

제일 먼저 든 생각

AI 도구를 평가할 때 우리는 자꾸 결과물부터 본다. 답이 맞았는지, 문장이 매끄러운지, 몇 분을 아꼈는지. 그런데 실제 업무에서 피로는 결과물보다 조금 앞에 남는다. 프롬프트를 쓰다가 멈춘 시간, 다시 지운 문장, 조건을 어떻게 설명해야 할지 몰라 늘어난 키 입력 같은 곳에 남는다.

이 논문은 그 미세한 흔적을 보자고 말한다. 연구진은 사람과 LLM의 상호작용에서 키 입력 동역학(keystroke dynamics)이 사용자의 정신적 노력(cognitive effort)을 얼마나 드러내는지 실험했다. 36명의 참가자가 데스크톱과 모바일에서 쉬운 과제와 어려운 과제를 수행하며 LLM에 프롬프트를 쓰고, 연구진은 키 입력 수, 타이핑 속도, 멈춤, 수정 행동과 NASA-TLX 기반 업무부담을 함께 봤다.

프롬프트 작성 과정의 키 입력 신호를 정신적 노력의 지표로 읽으려는 연구 구조.

협업은 결과가 아니라 과정에서도 무너진다

논문이 겨냥하는 빈틈은 분명하다. 기존의 인간-LLM 협업 평가는 사후 설문, 사용자의 인식, 정답이 있는 과제의 정확도에 많이 기대왔다. 이런 방식은 최종 판단에는 도움이 되지만, 사용자가 실제로 프롬프트를 다듬는 동안 어디서 막혔는지는 잘 보여주지 못한다.

논문은 이렇게 말한다.

기존의 인간-LLM 상호작용 평가는 대체로 사후 방식, 주관적 사용자 인식 평가, 또는 정답지가 필요한 결과 기반 정확도 지표에 의존해왔다.

“Existing evaluations of human-LLM interaction have largely relied on post-hoc methods, subjective user perception ratings, or outcome-based accuracy metrics that require ground truth.”

업무 현장에서는 이 차이가 꽤 크다. 어떤 AI 도구가 “답은 그럭저럭 만든다” 해도, 그 답을 얻기 위해 사람이 매번 긴 설명을 다시 쓰고, 조건을 지우고 붙이고, 결과를 믿어도 되는지 계속 확인해야 한다면 그 도구는 협업 비용을 사람에게 옮겨놓은 것일 수 있다.

어려운 과제는 더 많은 말이 아니라 더 많은 망설임을 만든다

실험 결과는 직관과 꽤 맞닿아 있다. 어려운 과제에서는 참가자들이 더 많은 키를 입력했고, 더 느리게 타이핑했으며, 멈춤도 늘었고, 자기보고 업무부담도 높았다. 모바일은 입력 길이와 속도에 약한 영향을 보였지만, 핵심 차이는 과제 난이도에서 더 분명했다.

다만 중요한 제한도 있다. 키 입력은 사용자가 얼마나 애쓰고 있는지는 어느 정도 포착했지만, 사용자가 LLM 답변을 유용하다고 느꼈는지는 안정적으로 예측하지 못했다. 논문은 이 경계를 강조한다.

키 입력 행동은 협업 중 사용자의 노력을 포착하지만, 협업 성공에 대한 판단까지 포착하지는 못한다.

“While keystroke dynamics capture user effort during collaboration, they do not capture judgments about collaboration success.”

이 대목이 좋았다. “행동 로그가 있으니 마음을 다 안다”가 아니라, 어떤 신호가 무엇을 말해주고 무엇을 말해주지 못하는지 선을 긋는다. 업무 분석에서도 같은 태도가 필요하다. 클릭 수, 체류시간, 재작성 횟수는 부담의 단서일 수 있지만, 의미 있는 결과가 나왔는지까지 대신 말해주지는 않는다.

Deciflow에 붙이면, 프롬프트 품질보다 먼저 볼 것

이 연구를 그대로 업무 도구에 붙인다면 “좋은 프롬프트 점수”를 매기는 쪽으로 가기 쉽다. 하지만 나는 반대로 읽고 싶다. 사람을 채점하기보다, 도구와 업무 흐름이 사람에게 불필요한 설명 부담을 떠넘기고 있는지 확인하는 신호로 쓰는 편이 낫다.

예를 들어 AI 업무설계 실험에서 다음을 기록해볼 수 있다.

• 같은 업무를 할 때 프롬프트 재작성 횟수가 특정 단계에서만 늘어나는가.
• 사용자가 답을 받은 뒤가 아니라, 답을 받기 전 입력 단계에서 이미 피로해지는가.
• 쉬운 업무에서는 AI가 시간을 줄이지만, 어려운 업무에서는 모니터링과 조건 설명이 더 늘어나는가.
• 모바일·데스크톱 같은 장치 차이보다 업무 구조의 난이도가 더 큰 병목인가.

이렇게 보면 프롬프트 교육의 질문도 바뀐다. “직원이 프롬프트를 못 쓴다”가 아니라 “이 업무는 왜 AI에게 설명하기 어렵게 설계되어 있는가”가 된다.

조심해서 읽을 점

참가자 수는 36명이고, 과제도 논문이 설계한 조건 안에 있다. 그래서 이 결과를 모든 지식노동 환경에 일반화하기는 어렵다. 또 키 입력 로그는 민감한 행동 데이터가 될 수 있으므로, 실제 조직에서 쓰려면 개인 감시가 아니라 업무 흐름 개선 목적, 최소 수집, 익명화, 명확한 동의가 먼저다.

그래도 이 논문이 주는 실무적 힌트는 작지 않다. AI 협업의 품질을 보려면 최종 답안만 열어보지 말고, 사람이 그 답에 도달하기 전 얼마나 멈추고 다시 썼는지도 봐야 한다.

내일 해볼 작은 실험

AI로 반복 문서 초안을 만들 때, 결과물 만족도만 묻지 말고 “첫 프롬프트 작성 시간, 재작성 횟수, 멈춘 지점”을 함께 기록해본다. 그리고 점수는 개인에게 주지 않는다. 점수는 업무 템플릿과 도구 설계에 준다.

원문 정보

• 제목: Typing Behavior in Human-LLM Interaction: Keystroke Dynamics Reveal Cognitive Effort During Prompting
• 저자: Laura Schütz, Yousri Cherif, Clara Sayffaerth, Thomas Weber, Francesco Chiossi
• 출처: arXiv / Proceedings of the ACM on Human-Computer Interaction accepted manuscript
• arXiv: 2606.28090v1
• DOI: 10.1145/3821685

원문 논문: Typing Behavior in Human-LLM Interaction: Keystroke Dynamics Reveal Cognitive Effort During Prompting