Research Pipeline

• 연구 방향이나 주제가 있고, 시스템이 자율적으로 실현 가능한 아이디어를 발견하고, 실험을 구현하며, 검토 가능한 논문 초안을 작성하는 "전체 파이프라인" 사용 사례를 원하는 경우.
• 멀티 시드 GPU 실험을 야간에 실행하고, 수동 개입 없이 자동으로 검토된 결과를 아침에 확인하고 싶은 경우.
• 순위가 매겨진 아이디어, 실험 로그, 검토 이력, LaTeX 소스를 하나의 일관된 출력물로 통합한 엔드투엔드 재현 가능한 연구 산출물이 필요한 경우.
• 특정 학회(ICLR, NeurIPS, ICML, CVPR, ACL 등)를 타겟으로 하고 있으며, Research Pipeline이 해당 학회 형식의 PDF를 자동으로 작성하고 컴파일하기를 원하는 경우.

• 하나의 단계만 단독으로 필요한 경우 (예: 아이디어 발견만, 실험 실행만, 또는 논문 작성만) — 개별 스킬(/idea-discovery, /run-experiment, /paper-writing)을 직접 호출하세요.
• GPU 리소스나 원격 서버가 구성되어 있지 않은 경우, 3–4단계는 실험 배포 인프라가 필요합니다.
• 연구에서 논문 작성 전에 수동으로 그림을 생성해야 하는 경우 — Research Pipeline이 일시 중지되고 대기하므로, 이를 일정에 반영하세요.

워크플로우 1(/idea-discovery), 워크플로우 2(/run-experiment + /auto-review-loop), 그리고 선택적 워크플로우 3(/paper-writing)을 순서대로 조율합니다. 각 워크플로우는 독립적인 출력 파일을 생성하므로 어느 단계에서든 결과를 확인하거나 재개할 수 있습니다.

AUTO_PROCEED=true는 최상위 아이디어를 자동으로 선택하고 대기 없이 계속 진행하며, AUTO_PROCEED=false는 명시적인 사용자 확인을 위해 게이트 1에서 일시 중지합니다. HUMAN_CHECKPOINT=true는 각 라운드가 끝난 후 검토 점수를 표시하여, 루프가 계속되기 전에 사용자가 직접 수정 지침을 제공할 수 있도록 합니다.

자동 검토 루프는 세 가지 대립적 수준을 지원합니다: medium (표준 검토), hard (검토자 메모리 + 토론 프로토콜), nightmare (GPT가 codex exec를 통해 저장소를 직접 읽기 + 메모리 + 토론). 최대 4라운드의 검토/수정 사이클이 자율적으로 실행되며, 10점 만점에 6점 이상을 목표로 합니다.

소규모 배치(≤5개 작업)는 /run-experiment를 통해 디스패치되고, 대규모 멀티 시드 스윕(≥10개 작업)은 OOM 재시도, 오래된 스크린 정리, 단계 의존성 및 크래시 안전 상태를 갖춘 /experiment-queue로 라우팅됩니다. 배포 전에 GPU 가용성이 확인됩니다.

AUTO_WRITE=true이고 VENUE가 설정된 경우, Research Pipeline은 Stage 5 이후 자동으로 /paper-writing을 호출하여 plan → figure → write → compile → improvement loop 단계를 실행하고 최종 paper/main.pdf를 생성합니다.

모든 단계는 버전 관리되고 매니페스트에 기록된 출력 파일을 생성합니다: IDEA_REPORT.md, AUTO_REVIEW.md, NARRATIVE_REPORT.md, 그리고 GPU 시간, 검토 횟수, 점수, 남은 TODO 항목을 요약한 전체 Research Pipeline Report.

AUTO_PROCEED=true, HUMAN_CHECKPOINT=false로 설정한 후 잠자리에 들기 전에 실행하세요. Research Pipeline이 아이디어를 발굴하고, 최적의 아이디어를 자동으로 선택하며, 실험을 구현하고, GPU 서버에 배포한 뒤, 최대 4회의 검토/수정 라운드를 거쳐 아침까지 NARRATIVE_REPORT.md를 생성합니다.

AUTO_PROCEED=false를 설정하여 게이트 1에서 일시 중지하고, 순위가 매겨진 아이디어를 직접 검토한 후 아이디어를 선택하거나 결합한 다음 승인하세요. 이후 2~4단계는 완전히 자율적으로 실행됩니다 — 실험을 일일이 감독하지 않고도 연구 방향에 대한 인간의 통제권을 유지할 수 있습니다.

AUTO_WRITE=true 및 VENUE=NeurIPS (또는 ICLR, ICML, CVPR, ACL 등)를 설정하세요. 실험 및 리뷰 루프가 완료된 후, Research Pipeline은 학술대회 형식에 맞춘 LaTeX 논문을 작성, 컴파일 및 개선하여 최종적으로 제출 준비가 완료된 paper/main.pdf를 생성합니다.

REVIEWER_DIFFICULTY=nightmare로 설정하면 GPT가 저장소를 직접 읽고 검토 라운드 중에 메모리 + 토론 프로토콜을 적용합니다. 경쟁적인 학술 행사를 목표로 하기 전에 가능한 가장 혹독한 사전 제출 피드백을 원할 때 이 옵션을 사용하세요.