딥리서치 에이전트는 질문보다 평가 기준을 먼저 지어야 할 때가 있다
논문 『DEEPRUBRIC: Evidence-Tree Rubric Supervision for Efficient Reinforcement Learning of Deep Research Agents』를 읽고
딥리서치 에이전트를 업무에 쓰려면 좋은 질문보다 먼저 좋은 평가 기준과 증거 구조가 필요하다. 루브릭 기반 자동화 설계를 논문으로 읽는다.
제일 먼저 든 생각
딥리서치 에이전트를 업무에 붙이면 가장 먼저 떠오르는 질문은 “무엇을 검색하게 할까”다. 그런데 이 논문은 순서를 바꾼다. 좋은 리서치 보고서를 만들려면 질문보다 먼저 평가 기준이 증거와 맞물려 있어야 한다는 것이다. 질문을 주고 나서 LLM에게 루브릭을 만들게 하면, 질문에 숨어 있는 정보 요구를 놓치거나 검증하기 어려운 기준을 만들 수 있다.
업무 자동화 관점에서 이 글의 질문은 단순하다. AI에게 조사를 맡길 때 “무엇을 물을까”보다 “무엇을 근거로 통과시킬까”를 먼저 정해야 하는 순간이 있다.
DEEPRUBRIC은 이 문제를 evidence-first 방식으로 푼다. 먼저 문서 말뭉치에서 주제를 고르고, 관련 하위 질문을 펼치고, 각 잎 노드를 증거로 받친다. 그 증거 트리(evidence tree)의 잎들이 원자적이고 검증 가능한 평가 기준이 되고, 같은 트리에서 훈련 질문도 아래에서 위로 합성된다. 그래서 질문과 루브릭이 따로 놀지 않는다.
논문은 딥리서치 에이전트의 품질을 “답을 잘 썼나”가 아니라 “질문, 증거, 평가 기준이 같은 구조에서 나왔나”로 본다.
질문에서 평가 기준을 뽑는 방식의 약점
기존 방식은 대체로 query-first다. 사용자의 질문이 있고, 그 질문과 검색 결과 또는 참고 답변을 보고 강한 LLM이나 사람이 평가 기준을 만든다. 자연스러운 방식이지만 논문은 여기에 빈틈이 있다고 본다. 사용자의 질문은 전체 증거 지형을 거의 드러내지 않고, 보조 문맥도 부분적이다. 그러면 루브릭이 중요한 답변 가능 측면을 놓치거나, 근거가 약한 기준을 포함할 수 있다.
“사용자 질문은 전체 증거 지형을 거의 드러내지 않는다.”
“A user query rarely reveals the full evidence landscape.”
업무 리서치에서도 익숙한 장면이다. “시장 동향 정리해줘”라는 질문은 짧지만, 실제로 필요한 것은 시장 규모, 성장률, 규제 변화, 경쟁사 움직임, 고객 세그먼트, 위험 요인처럼 여러 하위 기준이다. 질문이 짧다고 평가도 짧아지면, 에이전트는 말은 길게 하지만 중요한 구멍을 남긴다.
증거 트리에서 질문과 루브릭을 같이 만든다
DEEPRUBRIC의 핵심은 질문과 평가 기준을 같은 정보 구조에서 만든다는 점이다. 논문은 seed topic에서 시작해 하위 질문을 재귀적으로 확장하고, 각 하위 질문을 검색된 문서에 연결한다. 이후 잎 노드가 factual 또는 logical 기준으로 바뀐다. factual 기준은 특정 문서 근거가 있어야 하고, logical 기준은 비교, 종합, 추론 같은 보고서 수준의 품질을 본다.
그 다음 별도 검증 모델이 query, tree, rubric을 확인한다. 근거 지원 여부, 질문-루브릭 범위 정렬, 기준의 원자성, 중복성을 보고 KEEP, REVISE, DROP을 결정한다. 이 과정을 거쳐 약 9,064개의 query-rubric 쌍을 남겼고, Qwen3-8B 기반 모델을 SFT와 GRPO로 훈련했다. 논문은 750 GPU-hours 정도의 RL 훈련으로 기존 공개 딥리서치 모델과 비슷하거나 더 나은 성능을 냈고, 가까운 공개 루브릭-RL 기준선보다 약 13배 적은 RL GPU-hours를 썼다고 보고한다.
이 결과를 “DEEPRUBRIC이 정답”이라고 읽을 필요는 없다. 논문 조건은 Wikipedia와 OpenScholar 말뭉치, 특정 모델과 벤치마크, LLM-as-a-judge 보상 구조 안에 있다. 다만 업무 설계 관점에서 중요한 신호는 분명하다. 리서치 자동화의 병목은 검색량만이 아니라 평가 기준의 출처와 정렬일 수 있다.
Deciflow식 자동화에 붙여볼 질문
이 논문을 3번 슬롯, Deciflow 실무 와일드카드로 고른 이유는 매일 하는 작업과 바로 맞닿아 있기 때문이다. 논문을 찾고, 원문을 읽고, 노트를 쓰고, 이미지를 검증하고, 배포하는 파이프라인도 일종의 딥리서치 워크플로다. 여기서 “좋은 노트를 써라”라는 질문만으로는 부족하다. 좋은 노트의 통과 기준이 먼저 있어야 한다.
작게 적용하면 이렇게 바꿀 수 있다.
- 리서치 요청을 받으면 먼저 하위 정보 요구를 펼친다.
- 각 하위 요구마다 확인 가능한 증거 또는 원문 위치를 둔다.
- 최종 산출물의 루브릭을 질문 뒤에 붙이는 것이 아니라 증거 구조에서 만든다.
- 자동 평가 기준에는 “근거 있음/없음”과 “논리적 종합”을 분리한다.
- 에이전트가 긴 글을 잘 썼는지보다, 빠뜨린 기준이 없는지 먼저 본다.
특히 RAG나 업무 자동화에서 이 관점은 유용하다. 검색 결과를 많이 넣는다고 좋은 보고서가 되는 것은 아니다. 어떤 기준이 근거를 가져야 하는지, 어떤 기준은 여러 근거를 종합해야 하는지, 어떤 기준은 이번 보고서 범위 밖인지가 정해져야 한다.
오늘의 작은 행동은 반복 리서치 업무 하나에 “질문 템플릿”이 아니라 “증거-루브릭 템플릿”을 붙여보는 것이다. 예를 들어 보고서 초안 요청 앞에 확인해야 할 증거, 비교해야 할 축, 탈락시킬 기준, 사람이 최종 판단할 항목을 먼저 적어두면 에이전트의 긴 답변을 조금 덜 믿고, 조금 더 잘 검토할 수 있다.
원문 첫 페이지. DEEPRUBRIC은 딥리서치 에이전트의 훈련 데이터를 질문 중심이 아니라 증거 트리 중심으로 구성한다.