Deciflow Notes
바로가기YTtrendAIHRD자동화논문영상리포트
논문 메모 · 2026년 7월 5일

AI 협업의 차이는 모델보다 사람의 태도에서 갈린다

논문 『Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting』를 읽고

대표 이미지

예측 과제에서 인간-AI 협업의 평균 효과보다 더 중요했던 것은 관점수용, 지적 겸손, 호기심 같은 협업 역량이었다는 파일럿 연구를 읽었다.

제일 먼저 든 생각

AI와 사람이 함께 일하면 성과가 좋아지는가, 나빠지는가. 이 질문은 너무 자주 평균값으로만 답해진다. 이 논문이 흥미로운 지점은 “AI를 붙였더니 평균적으로 몇 퍼센트 좋아졌다”가 아니라, 누가 AI와 함께 일할 때 성과를 끌어올렸는가를 보려 한다는 데 있다.

예측 시장(Polymarket)의 실제 해소 결과를 기준으로 사람, 모델, 인간-AI 협업 조건을 비교한 파일럿 연구다. 표본은 작고 저자도 예비 연구라고 분명히 말한다. 그래도 업무 설계 관점에서는 꽤 걸리는 장면이 있다. 좋은 모델을 붙였다고 모두가 좋은 협업자가 되지는 않았다. 어떤 사람은 모델 답을 거의 그대로 받아썼고, 어떤 사람은 자기 생각을 확인하는 도장처럼 썼고, 아주 일부만 모델과 서로 다른 강점을 나눠 썼다.

인간-AI 예측 협업에서 성과를 가른 요인을 카드형 인포그래픽으로 정리한 그림

AI 협업의 성과는 모델 접근권만이 아니라, 사람이 모델을 어떻게 상대하느냐에 따라 갈렸다.

평균 효과보다 중요한 것은 협업 방식이었다

연구는 78명의 본 연구 참가자를 세 명 단위 팀으로 나누고, 인간만 예측하는 조건과 여러 대형 언어모델을 활용할 수 있는 하이브리드 조건을 비교한다. 각 참가자는 최종적으로 개인 예측값을 제출했고, 정확도는 확률 예측의 브라이어 점수(Brier score)로 계산했다. 낮을수록 좋은 점수다.

논문은 하이브리드 참가자의 행동을 사후적으로 세 유형으로 설명한다. 모델 답을 거의 받아들이는 자동화형(Automators), 이미 가진 추정을 모델로 확인하는 검증형(Validators), 사람과 모델이 서로 다른 부분을 보완하며 반복적으로 추론한 사이보그형(Cyborgs)이다. 이 분류는 무작위 배정이 아니라 관찰된 행동에 대한 해석이므로, 원인 효과처럼 읽으면 안 된다. 하지만 조직에서 AI 도입을 볼 때 익숙한 장면을 꽤 선명하게 보여준다.

“하이브리드 예측자들 사이에서 인지 능력, 즉 인간 쪽의 벤치마크 점수에 해당하는 지표는 정확도를 예측하지 못했다.”

“Yet among hybrid forecasters, cognitive ability—the human analog of a benchmark score—did not predict accuracy.”

이 대목이 중요하다. AI 도입 교육을 설계할 때 우리는 종종 “똑똑한 사람에게 좋은 도구를 주면 더 잘할 것”이라고 생각한다. 이 연구의 조건에서는 그렇지 않았다. 모델이 기본 성능의 바닥을 제공하자, 성과를 가른 것은 순수한 인지 능력보다 관점수용(perspective-taking), 지적 겸손(intellectual humility), 호기심(curiosity)에 가까웠다.

AI를 믿는 것도, 의심하는 것도 기술이다

결과를 조금 더 보면 차이가 더 뚜렷하다. 인간만 예측한 조건의 평균 오류는 모델보다 컸다. 자동화형은 인간만 하는 것보다는 나았지만, 모델 단독 기준에는 미치지 못했다. 검증형은 오히려 인간만 하는 조건보다 나쁜 결과를 보였다. 반면 사이보그형은 일부 강한 모델과 비슷하거나 더 낮은 오류를 기록했다.

물론 여기서 “사이보그처럼 일하라”는 단순한 처방을 바로 꺼내면 위험하다. 사이보그형 참가자는 9명이고, 연구 자체도 사전등록 반복 연구를 준비하기 위한 파일럿이다. 다만 조직 AI 도입에서 던지는 질문은 분명하다. 우리는 직원에게 AI 사용법을 가르치고 있는가, 아니면 AI와 관계를 맺는 법을 가르치고 있는가.

AI를 맹신하지 않는 태도만으로는 부족하다. 자기 생각을 지키기 위해 AI를 도장처럼 쓰는 것도 협업이 아니다. 좋은 협업은 모델이 잘하는 데이터 기반 앵커링과 사람이 잘하는 맥락 탐색을 나눠 맡는 쪽에 가깝다. 그래서 교육 항목도 프롬프트 템플릿보다 “모델이 제안한 근거를 어떻게 바꿔 물을 것인가”, “내 가설이 틀릴 가능성을 어디서 열어둘 것인가”로 내려와야 한다.

원문 첫 페이지

원문 첫 페이지. 저자는 이 결과를 예비적이지만 통계적으로 견고한 파일럿으로 두고, 사전등록 반복 연구의 필요성을 함께 적고 있다.

내 일에 붙여본다면

이 논문을 AI 업무설계 체크리스트로 바꾸면, 질문은 이렇게 달라진다.

작게 실험한다면, 다음 예측·기획 회의에서 AI 사용 결과를 세 칸으로 기록해볼 수 있겠다. 그대로 채택, 내 생각 확인, 새 관점 추가. 한 달만 모아도 우리 팀의 AI 협업이 자동화형에 가까운지, 진짜 보완적 추론에 가까운지 보일 것이다.

조심해서 읽을 점

이 연구는 표본이 작고, 참가자·과제·모델 조건도 제한적이다. 하이브리드 유형은 실험적으로 배정된 처치가 아니라 사후 분류다. 따라서 “협업 태도가 성과를 만든다”고 단정하기보다는, 이 조건에서 협업 성과의 차이를 설명하는 강한 후보가 보였다고 읽는 편이 안전하다.

그럼에도 조직 AI 도입에는 꽤 실용적인 경고가 남는다. 좋은 모델을 사는 일과 좋은 협업자를 만드는 일은 다르다. AI 도입의 병목은 모델 벤치마크가 아니라, 사람이 모델과 어떻게 생각을 주고받는지에 있을 수 있다.

원문 정보

원문 논문: Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting