AI 팀원도 실험 변수로 다뤄야 한다
논문 『TRAIL: A Platform for Configurable Human--AI Teaming Experiments』를 읽고
AI를 팀에 넣을 때 필요한 것은 더 친절한 챗봇이 아니라, 말투·개입 빈도·기억·분석 로그를 재현 가능한 조건으로 다루는 실험 설계라는 점을 짚은 논문 메모.
제일 먼저 든 생각
AI를 팀에 넣는다는 말은 아직 너무 쉽게 쓰인다. 어느 모델을 썼는지, 어떤 프롬프트를 넣었는지, 어느 순간에 말하게 했는지, 얼마나 자주 끼어들게 했는지에 따라 팀의 대화는 완전히 달라질 수 있다. 그런데 현장에서는 이 차이를 “AI를 썼다/안 썼다” 정도로 뭉뚱그리는 경우가 많다.
이 논문이 흥미로운 지점은 AI 팀원을 하나의 도구가 아니라 재현 가능한 실험 변수로 다루려 한다는 데 있다. TRAIL(Team Research and AI Integration Lab)은 AI의 성격, 말투, 개입 규칙, 기억, 실험 조건, 대화 로그를 묶어 팀 안에서 어떤 일이 벌어지는지 관찰할 수 있게 만든 플랫폼이다.
AI 팀원을 ‘좋은 조수’로 부르는 대신, 어떤 조건의 팀원이 어떤 대화를 만드는지 추적하려는 설계다.
팀에 들어온 AI는 중립적이지 않다
논문은 AI 팀원의 설계 속성이 팀의 신뢰, 조정, 의사결정에 영향을 줄 수 있다고 본다. 초록의 핵심 문장은 꽤 직접적이다.
“AI 팀원의 설계 속성—성격, 의사소통 방식, 언제 말하는가—은 팀의 신뢰, 조정, 의사결정을 형성할 수 있다.”
“An AI teammate’s design properties (personality, communication style, when it speaks) can shape a team’s trust, coordination, and decisions.”
업무 현장으로 옮기면 이 말은 단순하다. AI를 회의방, 프로젝트 채널, 교육 세션에 붙일 때 “답을 잘하느냐”만 볼 일이 아니다. AI가 먼저 말하는지, 기다렸다가 말하는지, 요약을 하는지, 반문을 하는지, 특정 사람의 발언을 더 자주 받아주는지까지 봐야 한다.
TRAIL은 이 문제를 연구용 플랫폼으로 풀었다. Big Five 성격 특성에 기반한 페르소나를 설정하고, 선택적 참여(selective participation) 파이프라인으로 AI가 대화의 소수 지분만 차지하게 하며, 장기 세션을 이어붙이고, 메시지·조건·분석 데이터를 내보낼 수 있게 한다. 논문에서 소개한 실제 수업 배포는 6회 세션, 약 51명의 학생을 대상으로 했다.
좋은 AI보다 중요한 것은 ‘조건을 남기는 AI’다
논문에서 특히 업무 설계 쪽으로 가져올 만한 것은 플랫폼의 야심보다 기록 방식이다. 저자들은 AI 팀원을 “연구자가 통제하는 독립변수”로 만들려 한다. 이 표현은 조직의 AI 도입에도 그대로 들어온다.
AI 챗봇을 팀 채널에 붙여놓고 “분위기가 좋아졌다”, “회의가 빨라졌다”고 말하려면 최소한 다음 조건은 남아 있어야 한다.
- AI가 언제 발언할 수 있었는가
- 어떤 역할과 성격으로 설정되었는가
- 대화 중 AI 발언 비중은 어느 정도였는가
- AI가 참조한 문서와 기억은 무엇이었는가
- 팀원들은 AI를 조력자, 평가자, 동료, 방해자 중 무엇에 가깝게 느꼈는가
이 조건이 없으면 AI 도입 효과는 거의 감상문이 된다. 반대로 조건이 남으면 “우리 팀에는 적극적 촉진자보다 조용한 요약자가 맞다” 같은 작은 설계 판단이 가능해진다.
결과는 조심스럽지만 질문은 선명하다
논문은 한 번의 실제 배포에서 인지적 스캐폴딩(cognitive scaffolding)형 AI와 사회적 지지(socially supportive)형 AI를 비교했다. 초록에 따르면 인지적 스캐폴딩 AI는 기여도 평가와 언어적 정렬에서 더 강한 반응을 끌어냈고, 사회적 지지형 AI는 따뜻한 팀 분위기와 낮은 과의존 쪽에 더 가까운 신호를 보였다.
이것을 “어떤 AI 성격이 더 좋다”로 읽으면 곤란하다. 표본과 맥락이 제한된 데다, 논문 자체도 플랫폼의 연구 가능성을 보여주는 데 무게가 있다. 다만 이 조건에서 보여준 것은 분명하다. AI의 말투와 개입 규칙을 바꾸면 사람들의 협업 경험도 달라질 수 있다.
원문 첫 페이지. TRAIL은 AI 팀원을 실험 변수로 만들기 위한 플랫폼 논문에 가깝다.
내 일에 붙여볼 질문
Deciflow식으로 줄이면 오늘의 질문은 이것이다.
우리 조직의 AI 팀원은 “무엇을 잘하는가”보다 먼저 “어떤 조건에서 어떻게 끼어드는가”가 설계되어 있는가?
작게 실험한다면 이렇게 시작할 수 있다.
- 같은 회의록 요약 AI라도 세 가지 역할로 나눠본다. 조용한 기록자, 질문 촉진자, 결정 확인자.
- AI 발언 비중을 정한다. 예를 들어 전체 메시지의 20~30%를 넘기지 않게 한다.
- 팀원에게 “도움 됨”만 묻지 말고, 신뢰·부담·말하기 쉬움·과의존 느낌을 함께 묻는다.
- 좋은 답변 사례보다 실패한 개입 사례를 모은다. 너무 빨리 끼어든 순간, 사람의 논의를 닫아버린 순간이 더 중요하다.
AI 팀원 설계의 첫 단계는 더 강한 모델을 붙이는 일이 아닐 수 있다. 팀 안에서 AI가 차지할 자리, 말할 타이밍, 침묵해야 할 규칙을 먼저 정하는 일에 가깝다.
원문 정보
- 제목: TRAIL: A Platform for Configurable Human—AI Teaming Experiments
- 저자: Mohammad Amin Samadi, Pedro Martins De Bastos, Jaeyoon Choi, Spencer JaQuay, Seehee Park, Nia Nixon
- 연도/게시일: 2026
- 출처: arXiv
- arXiv: 2607.12180v1
- PDF: https://arxiv.org/pdf/2607.12180