데이터 에이전트는 첫 계획 하나에 모든 것을 걸면 안 된다
논문 『CIPHER: A Decoupled Exploration-Selection Framework for Test-Time Scaling of Data Science Agents』를 읽고
데이터 분석 에이전트가 여러 초기 계획을 먼저 만들고 일부를 골라 병렬 실행하는 CIPHER를 통해, 분석 자동화에서 탐색·선택·종합을 분리해야 하는 이유를 읽었습니다.
제일 먼저 든 생각
데이터 분석 자동화가 틀리는 지점은 코드의 마지막 줄만이 아니다. 첫 계획에서 잘못 잡은 가설, 빠뜨린 열, 엉뚱한 집계 단위가 이후 실행 전체에 번진다. 디버깅을 여러 번 해도 출발점이 하나라면 같은 방향 안에서만 고칠 가능성이 크다.
CIPHER는 이 문제를 첫 계획을 여러 개 만드는 일과 실제로 실행할 계획을 고르는 일로 나눈다. 하나의 분석 계획에 바로 비용을 쓰지 않고, N개의 후보를 만든 뒤 M개를 골라 병렬 실행하고, 마지막에 결과를 종합한다. 논문은 이를 분리된 탐색-선택(Decoupled Exploration-Selection, DES) 구조라고 부른다.
논문의 CIPHER 구조를 바탕으로 재구성한 연구 브리프. 후보 생성과 선택을 분리하고, 선택된 계획만 실행한 뒤 결과를 종합한다.
실행을 늘리기 전에 출발점을 다양하게 만든다
CIPHER는 데이터셋과 사용자의 분석 목표를 받은 뒤 계획 에이전트가 구체적인 초기 상태, 즉 분석 계획을 여러 개 만든다. 선택 단계는 무작위, 목표 정렬, 군집화, 최대 엔트로피 같은 전략을 비교한다. 선택된 계획은 LangGraph 기반 경로에서 병렬로 실행되고, 마지막 종합 모델이 최종 답을 만든다.
여기서 중요한 구분은 후보 수 N과 실행 수 M이다. N은 생각의 폭이고, M은 실제 계산 비용에 가깝다. 모든 후보를 다 실행하지 않기 때문에 “다양하게 생각하되 선택적으로 비용을 쓴다”는 설계가 가능해진다.
두 데이터 과학 벤치마크의 절제 연구에서 실행 수를 단일 에이전트에서 M=3으로 늘렸을 때 정확도 상승이 컸고, M=3에서 5로 늘릴 때는 추가 이득이 작아졌다. 열린 분석 과제에서는 후보 수를 10에서 30으로 늘리는 것이 도움이 됐지만, 답이 비교적 닫힌 과제에서는 오히려 이득이 줄었다. 다양성은 무조건 많을수록 좋은 것이 아니라, 문제의 해답 공간이 넓을 때 더 유용했다.
마지막 종합자가 약하면 여러 계획도 낭비된다
논문의 실무적인 결과는 마지막 노드에 있다. 작은 기본 모델 Haiku 3.5를 실행에 쓰더라도 더 강한 모델을 종합자(aggregator)로 배치하면 두 벤치마크에서 성능이 일관되게 좋아졌다. 반대로 종합자가 약할 때는 여러 생성 전략의 차이가 뚜렷하지 않았다. 다양한 실행 결과를 만들어도 마지막 모델이 차이를 읽고 조합하지 못하면 이점이 사라진다는 뜻이다.
“약한 종합자는 정보를 포화시키며, 강한 리더 모델은 탐색-선택 구조가 만든 다양성을 측정 가능한 정확도 향상으로 바꾼다.”
“Weak aggregators saturate information … whereas stronger leader models translate that diversity into measurable accuracy gains.”
이 결과는 “모든 노드에 가장 큰 모델을 쓰자”와 다르다. 초안 계획과 실행은 비교적 작은 모델로 분산하고, 서로 다른 결과를 비교해 최종 판단하는 구간에 더 강한 모델과 검증 규칙을 집중하는 방식이다.
원문 첫 페이지. 결과는 두 벤치마크와 특정 모델 구성에서 나온 것이며, 실제 조직 데이터의 비용·보안·재현성까지 직접 검증한 것은 아니다.
Power BI 분석 자동화에 옮겨본다면
매출 이상 원인을 찾는 자동화라면 처음부터 보고서 하나를 만들게 하지 말고 다음 세 계획을 먼저 만들 수 있다.
- 기간·제품·지역의 구성 변화부터 보는 계획
- 가격·수량·할인의 기여도를 분해하는 계획
- 데이터 품질과 새로고침 오류부터 확인하는 계획
그다음 계획별 예상 비용, 필요한 열, 검증 가능한 중간 산출물을 비교해 두 개만 실행한다. 마지막 종합 단계에서는 숫자가 맞는지만 보지 말고, 계획끼리 결론이 충돌하는 지점과 근거 쿼리를 함께 남긴다.
이번 주 작은 실험은 간단하다. 반복 분석 하나를 골라 계획 3개 생성 → 2개 선택 → 병렬 실행 → 근거와 함께 종합으로 바꿔보자. 에이전트의 성능을 높이는 첫 단추는 더 오래 실행시키는 것이 아니라, 첫 생각 하나가 전체 워크플로를 독점하지 못하게 하는 것일 수 있다.
원문: Heuillet & Peddiraju, 『CIPHER』, arXiv:2607.14386v1.