데이터셋도 이제 에이전트가 실험한다
논문 『Autodata: An agentic data scientist to create high quality synthetic data』를 읽고
Autodata 논문을 통해, 합성 데이터를 한 번 생성하는 일이 아니라 검사·평가·개선 루프를 돌리는 에이전트형 데이터 과업으로 읽은 작업 메모.
제일 먼저 든 생각
합성 데이터 이야기는 자주 “얼마나 많이 만들 수 있는가”로 흘러간다. 그런데 실제 업무에서 더 어려운 질문은 양이 아니다. 어떤 데이터가 모델을 더 낫게 만드는지 어떻게 알아볼 것인가, 그리고 그 판단을 다음 생성 규칙에 어떻게 되돌릴 것인가다.
Autodata 논문은 이 지점을 에이전트형 데이터 과업으로 다시 묶는다. 여기서 AI 에이전트는 단순히 예제를 찍어내는 생성기가 아니라, 데이터 과학자처럼 문제를 만들고, 결과를 훑어보고, 정량 평가를 돌리고, 실패 이유를 반영해 다음 생성 레시피를 고치는 역할을 맡는다.
Autodata의 핵심은 생성 자체보다 생성-검사-평가-개선의 루프를 데이터 과업으로 설계하는 데 있다.
데이터 과학자 역할을 에이전트에게 맡긴다는 것
논문은 Autodata를 이렇게 설명한다.
“데이터 과학자로 행동하는 에이전트는 고품질 데이터를 만들기 위해 인간 데이터 과학자가 수행할 행동, 즉 데이터를 구성하고 큐레이션하는 일을 맡는다.”
“An agent acting as a data scientist is tasked with the act of constructing and curating data, performing the actions a human data scientist would take in order to create high quality data.”
이 문장은 에이전트 자동화를 볼 때 중요한 기준을 준다. “프롬프트 하나로 데이터 생성”이 아니라, 데이터셋을 만드는 일의 세부 판단을 과업으로 쪼갠다. 예제가 너무 쉬운지, 강한 모델과 약한 모델 사이에 성능 차이가 나는지, 루브릭이 충분히 촘촘한지, 원문 누수가 있는지 같은 검사가 루프 안에 들어간다.
논문이 제시한 구현인 Agentic Self-Instruct에서는 오케스트레이터 에이전트와 챌린저, 품질 검증기, 강한 풀이 모델, 약한 풀이 모델, 채점자가 함께 움직인다. 후보 문제가 기준을 통과하지 못하면 에이전트가 실패 사유를 챌린저에게 되돌려주고, 다른 추론 각도에서 새 문제를 만들게 한다.
결과보다 설계 패턴이 더 흥미롭다
연구진은 컴퓨터과학 논문 기반 과제, 법률 추론, 수학적 객체 추론 등에서 기존 Self-Instruct 방식보다 나은 결과를 얻었다고 보고한다. CS 연구 과제에서는 S2ORC의 2022년 이후 논문 1만 편 이상을 처리해 2,800개 수락 예제를 만들고, 마지막 품질 필터 뒤 1,300개 예제를 강화학습 학습 데이터로 사용한다. Qwen3.5-4B를 같은 수의 예제로 학습했을 때 Agentic Self-Instruct 데이터가 CoT Self-Instruct 데이터보다 held-out 평가에서 더 높은 점수를 보였다고 제시한다.
다만 이 결과를 그대로 “모든 합성 데이터는 에이전트가 만들면 낫다”로 읽으면 과하다. 사용한 모델, 평가자, 수락 기준, 과제 유형이 모두 중요하다. 내가 더 가져가고 싶은 것은 수치 자체보다 루프의 모양이다. 데이터 생성 업무를 생성 → 검증 → 성능 차이 확인 → 실패 피드백 → 재생성으로 설계하면, 사람의 데이터 작업도 더 명확해질 수 있다.
논문은 에이전트가 데이터 과학자의 일부 행동을 흉내 내며, 학습·평가 데이터 품질을 반복적으로 끌어올리는 구조를 제안한다.
Deciflow 업무 자동화에 붙여본다면
이 논문은 Power BI나 평가 자동화에도 작은 힌트를 준다. 예를 들어 교육평가용 문항, 역량 루브릭, 상담 기록 분류 예시, 보고서 요약 평가셋을 만든다고 해보자. 지금은 사람이 샘플을 만들고, AI에게 늘려달라고 하고, 어색한 것을 눈으로 지우는 식으로 흐르기 쉽다.
Autodata식으로 바꾸면 먼저 기준을 세운다.
- 쉬운 예제와 어려운 예제를 어떻게 구분할 것인가.
- 약한 모델도 맞히는 문항은 버릴 것인가, 다른 용도로 둘 것인가.
- 사람 검토자는 전체를 보는가, 실패 사유와 경계 사례만 보는가.
- 다음 생성 프롬프트는 누가, 어떤 로그를 보고 고치는가.
오늘의 작은 실험은 “합성 데이터 만들기”라는 큰 말을 버리고, 평가셋 20개를 만드는 미니 루프를 설계해보는 것이다. 첫 생성보다 중요한 것은 두 번째 생성이다. 에이전트가 진짜 데이터 과학자처럼 일하려면, 많이 만드는 능력보다 왜 이번 데이터가 부족했는지 배우는 구조가 먼저 필요하다.