AI 면담은 설문지가 놓치는 말의 결을 붙잡을 수 있을까
논문 『AI Conversational Interviewing: Scaling Up Semi-Structured and In-depth Interviews』를 읽고
AI가 반구조화 면담을 진행하면 설문조사의 규모와 인터뷰의 깊이를 동시에 조금씩 가져올 수 있는지, 그리고 HR·조직 진단에서 무엇을 조심해야 하는지 읽었다.
제일 먼저 든 생각
조직 진단을 하다 보면 늘 같은 벽을 만난다. 설문은 많은 사람에게 물을 수 있지만, 사람들이 실제로 어떤 단어로 문제를 이해하는지는 잘 안 보인다. 반대로 인터뷰는 깊지만, 시간과 숙련된 면담자의 수가 병목이 된다.
이 논문은 그 사이에 AI 면담자(AI conversational interviewer)를 놓아본다. 독일의 이주 정책을 주제로 1,039명이 음성·채팅·선택 조건에 배정됐고, 최종 분석에는 완성된 면담과 설문을 연결할 수 있었던 571명의 데이터가 쓰였다. 핵심은 “AI가 사람을 완전히 대체했다”가 아니다. 닫힌 선택지로는 안 보이는 이유, 기억, 정서, 말의 조직 방식을 더 큰 규모로 수집할 수 있느냐에 가깝다.
AI 반구조화 면담은 설문을 대체하기보다, 닫힌 문항이 놓친 설명 구조를 더 큰 규모로 수집하려는 시도에 가깝다.
설문 점수는 같아도, 머릿속 지도는 다를 수 있다
논문이 가장 선명하게 짚는 지점은 “같은 태도 점수”의 빈칸이다. 예를 들어 이주 정책에 같은 반대 점수를 준 세 사람이 있어도, 한 사람은 주거 문제를 떠올리고, 다른 사람은 직장 동료와 정책을 분리해서 생각하고, 또 다른 사람은 가족에게서 들은 규범을 반복할 수 있다. 닫힌 설문 문항은 이 차이를 미리 준비한 선택지 안에서만 본다.
“표준화된 설문지는 연구자가 예상해 문항으로 만든 응답만 측정할 수 있다.”
“Even a carefully designed survey battery can only measure responses the researcher anticipated and built into the questionnaire.”
업무 장면으로 옮기면, 이 말은 꽤 직접적이다. “AI 도입에 찬성하십니까?”, “교육에 만족하십니까?” 같은 문항은 상태를 빠르게 볼 수 있다. 하지만 왜 그 점수가 나왔는지, 사람마다 어떤 업무 기억과 불안을 붙이고 있는지는 별도 장치가 없으면 남지 않는다.
AI 면담자는 ‘깊이’를 자동으로 보장하지 않는다
연구진은 AI 면담을 채팅, 음성, 응답자가 선택하는 조건으로 나눴다. 텍스트 면담자는 Chainlit과 GPT-4o 기반으로, 음성 면담자는 Vapi.ai와 GPT Realtime 기반으로 구현했다. 흥미로운 것은 기술보다 운영 디테일이다. 참가자 ID를 수동으로 입력하게 한 탓에 상당한 연결 실패가 있었고, 강제 음성 조건에서는 중도 이탈이 집중됐다. 최종 분석 표본이 571명으로 줄어든 이유도 여기에 있다.
그럼에도 완성한 응답자들은 AI 면담자를 대체로 예의 있고, 명확하고, 공정하다고 평가했다. AI와 상호작용한다는 사실을 알고 있었는데도 이런 평가가 나온 점은 중요하다. 다만 이것을 “AI 면담이 인간 면담만큼 좋다”로 읽으면 과하다. 논문도 음성과 채팅의 차이를 순수한 ‘모달리티 효과’가 아니라, 실제 구현된 시스템 간 비교로 조심스럽게 다룬다.
“AI 면담은 기존 접근의 대체물이 아니라 보완적 도구로 이해하는 편이 맞다.”
“AI Conversational Interviewing is best understood as a complementary addition to the toolkit…”
HR·조직 진단에 붙인다면, 질문보다 운영 장치가 먼저다
Deciflow 관점에서 이 논문은 AI 인터뷰 봇을 만들자는 이야기보다, 조직 안에서 정성 데이터를 수집할 때 필요한 최소 운영 조건을 떠올리게 한다.
- 응답자가 AI와 대화한다는 사실을 명확히 알고 시작하는가.
- 수동 ID 입력처럼 사소해 보이는 연결 과정이 데이터 손실을 만들지 않는가.
- AI 면담자의 질문 방식이 특정 답을 유도하지 않도록 사전 테스트와 레드팀을 거쳤는가.
- 음성·채팅·선택형 조건 중 어떤 방식이 실제 직원에게 덜 부담스러운가.
- 긴 서술 데이터를 다시 어떤 분석 기준으로 코딩하고, 사람 검토는 어디에 둘 것인가.
특히 조직문화 조사나 교육 요구 분석에서는 “응답률”만큼 “응답자가 자기 언어로 말할 수 있었는가”가 중요하다. 이 논문은 그 가능성을 보여주지만, 동시에 연결 실패·중도 이탈·모델 의존성 같은 운영 리스크도 같이 보여준다.
작은 실험으로 바꾼다면
바로 전사 인터뷰 자동화로 가기보다는, 이미 있는 설문 뒤에 2~3개의 AI 후속 질문을 붙여보는 편이 현실적이다. 예를 들면 “방금 낮게 평가한 항목을 실제 업무 장면으로 설명해 주세요”, “그 문제가 반복되는 순간은 언제인가요”처럼 말이다.
다음 실험 질문은 단순하다.
같은 만족도 점수를 준 직원들이, 실제로는 얼마나 다른 문제 지도를 가지고 있는가?
그 차이를 볼 수 있다면 AI 면담은 설문을 화려하게 만드는 장치가 아니라, 조직 진단의 사각지대를 줄이는 보조 도구가 될 수 있다.
원문 정보
- 제목: AI Conversational Interviewing: Scaling Up Semi-Structured and In-depth Interviews
- 저자: Alexander Wuttke, Max Melchior Lang, Christopher Klamm, Quirin Würschinger, Frauke Kreuter
- 연도/게시일: 2026
- 게재/출처: arXiv
- arXiv: 2606.20064v1
- PDF: https://arxiv.org/pdf/2606.20064