AI 추천이 붙으면 사람의 검토 시간도 흔들린다
논문 『Resume Screening, Fast and Slow: (Biased) AI Recommendations' Influence on Human Decision Making』를 읽고
AI 이력서 추천이 결과만이 아니라 사람이 누구의 이력서를 얼마나 오래 보는지까지 바꿀 수 있다는 연구. 채용·평가 AI를 도입할 때 결과 지표만 보면 놓치는 절차적 공정성의 신호를 짚는다.
제일 먼저 든 생각
채용 AI를 볼 때 흔히 묻는 질문은 “추천 결과가 편향됐는가”다. 그런데 이 논문은 한 단계 더 불편한 질문을 던진다. AI 추천이 붙은 뒤, 사람은 여전히 독립적으로 판단하는가. 아니면 추천표 하나 때문에 누구의 이력서를 더 빨리 넘기고, 누구의 이력서를 더 오래 붙잡는가.
Deciflow 관점에서 이 논문이 중요한 이유는 채용에만 있지 않다. 평가, 승진, 교육 대상자 선발, 성과 리뷰처럼 사람을 판단하는 업무에 AI 점수나 추천을 붙이면, 우리는 대개 최종 결과의 공정성을 본다. 하지만 실제 업무에서는 결과보다 먼저 검토 시간, 시선, 재확인 횟수가 흔들린다. 그 흔들림이 절차적 공정성(procedural fairness)의 조기 신호일 수 있다.
논문이 측정한 것은 “AI가 누구를 추천했는가”만이 아니라, 추천을 본 사람이 누구의 자료를 얼마나 오래 검토했는가였다.
결과만 보면 놓치는 절차의 문제
연구팀은 인종 편향이 섞인 AI 이력서 추천 실험 데이터를 다시 분석했다. 실험에는 500명 이상의 참여자와 1,500개의 인간-AI 이력서 선별 시나리오가 포함됐다. 핵심은 최종 선발 여부만 보지 않고, 참여자가 각 후보자의 이력서를 보는 데 쓴 시간(viewing duration)을 함께 본 것이다.
논문 초록에서 가장 눈에 들어온 숫자는 두 가지다.
추천을 받지 못한 후보자의 경우, 이력서를 30초 더 볼 때 선택될 가능성이 3~4% 증가했다. AI 추천이 없을 때 사람들은 이력서를 최대 55.6% 더 오래 보기도 했다.
Spending more time viewing resumes corresponds to candidates’ selection chance increasing by 3-4% if they are not recommended, and people may spend up to 55.6% longer viewing resumes when no AI recommendations are given.
이 문장이 말하는 것은 단순하다. AI 추천은 사람의 시간을 절약해줄 수 있지만, 동시에 “누가 충분히 검토받을 기회를 얻는가”를 바꿀 수 있다. 특히 추천을 못 받은 후보자는 사람이 더 오래 들여다볼 때 선택 가능성이 올라갔다. 그러면 채용 AI의 위험은 잘못된 추천 자체만이 아니다. 추천이 붙은 순간 사람이 빨리 지나쳐도 된다고 느끼는 구조가 된다.
빠른 판단과 느린 판단 사이
논문 제목의 “Fast and Slow”는 채용 판단을 이중과정(dual-process) 관점으로 읽게 만든다. 빠른 판단은 효율적이지만 편견과 휴리스틱에 기대기 쉽고, 느린 판단은 비용이 들지만 추천 오류를 다시 볼 가능성을 만든다. AI가 업무에 들어오면 조직은 보통 빠른 판단의 장점을 먼저 본다. 처리 시간이 줄고, 검토량이 늘고, 담당자의 부담이 낮아진다.
문제는 고위험 판단에서 빠름이 곧 품질을 뜻하지 않는다는 점이다. 이 연구에서 AI 추천이 없을 때 사람들은 더 오래 봤고, 추천이 있을 때는 검토 시간이 달라졌다. 게다가 암묵적 연합 검사(IAT)를 먼저 수행한 참여자들은 서로 다른 인종의 후보자를 더 비슷한 시간 동안 평가하는 경향을 보였다. 이것은 교육이나 사전 점검이 만능이라는 뜻은 아니지만, 최소한 “사람이 AI를 감독한다”는 말만으로는 충분하지 않다는 점을 시사한다.
사람과 AI의 상호작용을 실제 세계에 가까운 모델 속에서 계속 평가해야 하며, 모델 개발자와 사용자는 이런 평가를 AI-HITL 시스템의 설계와 구현에 포함해야 한다.
Model developers and users should incorporate these evaluations into the design and implementation of their AI-HITL systems.
여기서 AI-HITL(human-in-the-loop AI)은 사람이 중간에 들어간다는 뜻이다. 하지만 사람이 들어갔다는 사실은 감독이 작동했다는 증거가 아니다. 사람이 어디에서 멈췄고, 무엇을 다시 봤고, 어떤 후보를 너무 빨리 넘겼는지가 같이 기록돼야 한다.
FAccT ’26 논문으로 공개된 첫 페이지. 이 연구는 채용 결과와 함께 검토 시간이라는 절차 지표를 읽는다.
우리 업무에 붙이면
성과관리나 교육평가에 AI 추천을 붙일 때도 비슷한 로그를 남길 수 있다.
- AI가 낮게 평가한 보고서를 사람이 얼마나 오래 다시 읽는가
- 추천 대상에서 제외된 직원·학습자를 재검토하는 시간이 충분한가
- 고위험 결정에서 “AI 추천 없음” 조건과 “AI 추천 있음” 조건의 검토 시간이 얼마나 달라지는가
- 담당자가 자신의 판단 편향을 인식한 뒤 검토 패턴이 달라지는가
이런 질문은 AI 모델의 정확도와 별개다. 정확도가 높아도 조직의 절차가 얇아지면 위험하다. 반대로 모델 성능이 완벽하지 않아도, 사람이 어디서 천천히 다시 볼지 설계되어 있다면 피해를 줄일 수 있다.
다음 작은 실험
AI 추천을 평가·선발 업무에 붙이기 전에, 최종 결정표 옆에 “검토 시간 대시보드”를 하나 더 두고 싶다. 후보별·문항별·직원별로 시간이 공정하게 배분됐는지 보는 것이다. 오늘의 질문은 이렇다. AI가 시간을 줄여준 만큼, 조직은 누구에게서 시간을 빼앗고 있는가.
원문 정보
- 제목: Resume Screening, Fast and Slow: (Biased) AI Recommendations’ Influence on Human Decision Making
- 저자: Kyra Wilson, Mattea Sim, Anna-Maria Gueorguieva, Soham Chatterjee, Aylin Caliskan
- 연도/게시일: 2026
- 게재/출처: arXiv / FAccT ‘26
- DOI: 10.1145/3805689.3812381
- arXiv: 2606.22213v1
- PDF: https://arxiv.org/pdf/2606.22213