에이전트가 일을 못 끝내는 이유는 지능보다 대화 구조에 있다

제일 먼저 든 생각

에이전트를 평가할 때 우리는 아직도 너무 자주 “처음부터 정확한 요구사항을 주면 얼마나 잘 푸는가”를 본다. 그런데 실제 업무에서 그런 요청은 드물다. 사용자는 대개 짧게 말하고, 중간에 보고, 마음이 바뀌고, 방금 본 결과 때문에 요구를 더 구체화한다.

이 논문이 흥미로운 이유는 코딩 에이전트의 한계를 모델 지능만의 문제가 아니라 대화와 handoff의 구조로 다시 잡기 때문이다. 좋은 에이전트는 코드를 잘 쓰는 것뿐 아니라, 모호한 요청에서 목표를 찾아내고, 이전 결정을 잊지 않고, 사용자의 새 피드백을 반영하며 끝까지 정리해야 한다.

단발성 구현 과제가 아니라, 모호한 요청→검토→수정→제출로 이어지는 사용자 주도 세션을 평가하려는 시도다.

벤치마크가 놓치는 진짜 업무 장면

SWE-INTERACT는 기존 소프트웨어 엔지니어링 벤치마크를 다중 턴(multi-turn), 사용자 주도(user-driven) 세션으로 바꾼다. 원래 문제는 요구사항이 한 번에 주어지는 단발성 과제였지만, 여기서는 사용자 시뮬레이터가 처음에는 일부러 모호하게 요청하고, 에이전트의 계획과 작업공간을 살핀 뒤, 피드백·수정·새 제약을 단계적으로 준다.

논문은 이 구성이 현실적인 개발자-에이전트 업무 흐름에 더 가깝다고 본다. 실제 세션에서는 GOAL-DISCOVERY → PLAN → APPROVAL → IMPLEMENT → REVISE → SUBMIT 같은 반복이 생기기 때문이다. 요구사항을 “잘 읽었는가”보다, 요구사항이 아직 덜 드러난 상황에서 “어떻게 끌어냈는가”가 평가 대상이 된다.

“현재 SWE 벤치마크와 현실적인 개발자 워크플로 사이에는 간극이 있다. 사용자의 목표와 원하는 구현을 반복적으로 발견하며 함께 일하는 에이전트의 능력은 충분히 연구되지 않았다.”

“This creates a gap between current SWE benchmarks and realistic developer workflows, where an agent’s ability to work with a user and iteratively discover their goal and desired implementation is not well studied.”

잘하는 모델도 대화형 업무에서는 반 토막이 난다

가장 눈에 띄는 결과는 성능 하락이다. 논문 초록에 따르면 강한 모델들도 단일 턴 기준 과제에서는 대략 50%를 풀지만, 같은 과제를 SWE-INTERACT 형식으로 바꾸면 약 25% 수준으로 내려간다. 여기서 중요한 것은 “에이전트가 약하다”라는 단순 결론이 아니다. 요구 발견, 요구 보존, 수정 반영이 별도의 능력축이라는 점이다.

강한 모델은 모호한 초기 지시에서도 출발이 좋고, 요구가 드러날 때까지 더 오래 버티며, 코드를 비교적 깔끔하게 통합한다. 하지만 논문은 이들도 과도하게 에이전트답게 움직이는 행동(over-agentic coding), 요구사항 망각, 기술적 실수를 보인다고 말한다. 약한 모델은 초반 모호성에서 더 쉽게 흔들리고, 일찍 포기하거나, 지시를 잊고, 코드를 반복해서 다시 쓴다.

이 결과는 업무용 AI 도입에서 꽤 실용적인 경고가 된다. “이 모델은 코드 잘 짠다”와 “우리 직원과 주고받으며 일을 끝낸다”는 같은 평가가 아니다.

업무 설계로 가져오면: 요청문보다 검토 리듬

Deciflow 관점에서 이 논문은 프롬프트 템플릿보다 세션 운영 규칙을 먼저 보게 만든다.

• 처음 요청은 완벽하지 않아도 된다는 전제를 둔다.
• 에이전트가 작업 전 “내가 이해한 목표/아직 모르는 것/먼저 확인할 것”을 남기게 한다.
• 중간 산출물을 사용자가 볼 수 있는 작은 단위로 쪼갠다.
• 수정이 들어왔을 때 기존 요구와 새 요구의 충돌을 명시하게 한다.
• 완료 전에는 “처음 요구, 중간에 추가된 요구, 실제 반영 여부”를 체크리스트로 닫는다.

즉 좋은 자동화는 한 번에 끝내는 마법이 아니라, 사람이 개입하기 좋은 표면을 계속 남기는 구조에 가깝다.

원문 첫 페이지. 이 논문은 코딩 에이전트 평가를 현실적인 사용자 협업 세션으로 옮겨 보려 한다.

조심해서 읽을 부분

SWE-INTERACT는 코딩 에이전트 평가에 초점을 둔다. 따라서 이 결과를 모든 지식노동 AI에 그대로 일반화할 수는 없다. 또 사용자 시뮬레이터가 현실 사용자를 완전히 대체한다고 보기도 어렵다. 다만 이 조건에서 보여준 것은 분명하다. 에이전트 평가는 정답률만으로 부족하고, 모호한 요청을 다루는 상호작용 능력을 따로 봐야 한다.

내일 바로 해볼 작은 실험

팀의 에이전트 사용 로그 3개를 골라, 실패 원인을 “모델이 못함”으로 적기 전에 세 가지를 표시해본다. 첫 요청이 모호했는가, 중간 검토 지점이 있었는가, 마지막에 요구사항 반영 목록을 닫았는가. 실패 분석표가 이렇게 바뀌면, 모델 교체보다 먼저 고칠 업무 구조가 보일 수 있다.

원문 정보

• 제목: SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions
• 저자: Mohit Raghavendra, Anisha Gunjal, Aakash Sabharwal, Yunzhong He
• 연도/게시일: 2026
• 게재/출처: arXiv
• DOI: 없음/확인 필요
• arXiv: 2606.30573v1
• PDF: https://arxiv.org/pdf/2606.30573

원문 논문: SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions