AI 도입은 첫인상보다 사용 후 이동을 봐야 한다
논문 『Persona Migration and Expectation Recalibration in Generative AI Adoption: A Longitudinal Study at a State Department of Transportation』를 읽고
공공기관 Microsoft 365 Copilot 8주 파일럿을 따라가며, 직원의 AI 수용 태도가 사용 전 기대에서 사용 후 재보정으로 어떻게 이동하는지 읽은 논문 메모입니다.
제일 먼저 든 생각
AI 도입을 볼 때 자주 놓치는 장면이 있다. “도입 전에는 누가 기대했고, 도입 후에는 누가 실망했는가”가 아니라, 사람들이 어떤 방향으로 이동했는가다. 처음부터 반대하던 사람이 조금 써볼 만하다고 느낄 수도 있고, 가장 열성적이던 사람이 실제 업무에 붙여본 뒤 기대를 낮출 수도 있다.
이 논문은 그 이동을 꽤 현실적인 자리에서 본다. 한 미국 주 교통부(State Department of Transportation)에서 Microsoft 365 Copilot을 8주간 파일럿으로 써본 직원들을 대상으로, 사용 전후의 인식 변화를 맞춰 비교했다. 표본은 응답 품질과 매칭을 거친 124명이다. 대단히 큰 표본은 아니지만, 조직 AI 도입을 “찬성/반대”가 아니라 “기대가 어떻게 재조정되는가”로 본 점이 업무 설계 쪽에 더 가깝다.
논문 내용을 바탕으로 재구성한 연구 브리프. 이 연구는 인과를 확정하기보다, 파일럿 전후의 인식 변화와 집단 이동을 관찰한다.
기대가 식었다는 말은 실패와 다르다
연구에서 가장 눈에 띄는 결과는 지각된 유용성(perceived usefulness)이 사용 후 유의하게 낮아졌다는 점이다. 반면 사용 용이성(perceived ease of use), 행동 의도(behavioral intention), 신뢰(trust)는 작은 변화에 그쳤고 통계적으로 뚜렷하지 않았다. 이 결과를 “직원들이 Copilot을 싫어하게 됐다”로 읽으면 너무 빠르다.
논문이 더 흥미로운 이유는, 기대가 낮아지는 현상을 실망이 아니라 **재보정(recalibration)**으로 읽게 만들기 때문이다. 파일럿 전에는 막연한 기대와 우려가 함께 있었고, 파일럿 후에는 실제로 쓸 수 있는 업무와 덜 맞는 업무가 갈라진다. 초록과 본문 요약에 따르면 커뮤니케이션, 요약, 내부 지식 검색 같은 사용 사례는 비교적 안정적으로 남았지만, 데이터·차트·프레젠테이션 작업은 기대보다 줄었다.
“파일럿 후의 일부 업무 범주에서 사용이 줄어든 것을 단순한 관심 감소로 해석해서는 안 된다. 오히려 생성형 AI가 기존 업무 흐름 안에서 어디에 맞고, 어디에는 추가 훈련·거버넌스·인간 검토가 필요한지 더 현실적으로 이해하게 된 결과일 수 있다.”
“These findings suggest that public agencies should not interpret reduced use in some task categories simply as reduced interest; rather, it may reflect a more realistic understanding of where generative AI tools fit within existing workflows and where additional training, governance, or human oversight is needed.”
도입 담당자가 배워야 할 것은 여기다. AI 파일럿의 첫 지표가 사용량이라면, 두 번째 지표는 기대가 낮아진 이유여야 한다. 사용량이 줄어든 업무가 정말 부적합한 영역인지, 프롬프트·데이터·권한·검토 루틴이 부족해서 빠진 영역인지 분리해야 한다.
사람은 한 집단에 고정되어 있지 않다
연구진은 사용 전 태도를 기준으로 세 집단을 구분한다. 회의적인 사용자(Skeptics), 조심스럽게 긍정적인 사용자(Cautiously Positive users), 챔피언(Champions)이다. 흥미로운 점은 집단의 전체 규모보다 개인의 이동이다. 회의적인 사용자 중 40%는 조심스럽게 긍정적인 쪽으로 이동했고, 챔피언의 68%는 덜 열성적인 집단으로 내려갔다.
이 장면은 조직 내 AI 확산을 다룰 때 특히 중요하다. 우리는 흔히 챔피언을 “전파자”로만 보고, 회의적인 사람을 “저항자”로만 본다. 하지만 실제 파일럿에서는 챔피언도 현실을 만나 기대를 낮추고, 회의적인 사람도 특정 업무에서 가치를 발견할 수 있다.
“챔피언은 실천 지식을 확산시키는 동시에 적절한 인간 검토의 모델을 보여줄 수 있다.”
“In this way, Champions can help diffuse practical knowledge while also modeling appropriate human oversight.”
여기서 챔피언의 역할은 “AI를 많이 쓰자”는 홍보가 아니다. 오히려 어디까지 맡기고 어디서 확인하는지를 보여주는 사람에 가깝다. 조직 AI 도입에서 챔피언 프로그램을 만든다면, 성공 사례 발표만 맡길 것이 아니라 실패 사례·검토 루틴·금지해야 할 사용법까지 함께 공유하게 해야 한다.
원문 첫 페이지. 공공기관 파일럿이라는 맥락 때문에, 기술 성능보다 직원 기대와 업무 적합성의 변화가 중심에 놓인다.
교육은 기능 설명보다 페르소나별로 달라져야 한다
논문은 조직이 모든 직원을 같은 교육 과정에 넣는 방식만으로는 충분하지 않다고 시사한다. 회의적인 사용자에게는 안전하게 시도해볼 수 있는 작은 업무 예시가 필요하고, 조심스럽게 긍정적인 사용자에게는 일상 업무에 붙이는 연습이 필요하다. 챔피언에게는 더 복잡한 워크플로와 검토 기준, 다른 동료에게 설명할 언어가 필요하다.
논문에서 언급되는 짧은 마이크로러닝, 프롬프트 연습, 오피스아워, 동료 사례는 그 자체로 새롭지는 않다. 다만 이 연구의 포인트는 그것들을 “전 직원 공통 교육”이 아니라 이동하는 페르소나를 붙잡는 장치로 봐야 한다는 데 있다.
Deciflow식으로 바꾸면 이런 질문이 된다.
- 파일럿 전 설문은 기대를 묻고, 파일럿 후 설문은 기대가 바뀐 이유를 묻고 있는가?
- 챔피언에게 성공 사례뿐 아니라 “내가 기대를 낮춘 업무”를 말하게 하고 있는가?
- 회의적인 직원에게는 거창한 혁신 사례보다 15분 안에 검증 가능한 업무 예시를 주고 있는가?
- AI 사용량이 줄어든 업무를 실패로 보기 전에, 데이터 접근·품질·검토 권한의 부족을 따로 보고 있는가?
오늘 업무에 붙일 작은 실험
다음 AI 파일럿에서는 참여자를 한 번만 분류하지 말고, 2주 또는 4주 단위로 다시 분류해보면 좋겠다. 회의적 → 조심스러운 긍정, 챔피언 → 현실적 사용자처럼 이동을 기록하고, 이동 이유를 한 문장으로 붙인다. 도입률보다 더 쓸 만한 지표는 어쩌면 “기대가 어디서 현실이 되었는가”일 수 있다.
원문: Shoghli, Ardecani, Hezaveh, 『Persona Migration and Expectation Recalibration in Generative AI Adoption』, arXiv:2607.13798v1.