Research Pipeline

• Je hebt een onderzoeksrichting of -onderwerp en wilt dat het systeem zelfstandig haalbare ideeën ontdekt, experimenten uitvoert en een reviewbaar paper-concept produceert — de "volledige pipeline" use case.
• Je wilt 's nachts multi-seed GPU-experimenten uitvoeren en wakker worden met automatisch gereviewde resultaten zonder handmatige tussenkomst.
• Je hebt een end-to-end reproduceerbaar onderzoeksartefact nodig: gerangschikte ideeën, experimentlogboeken, reviewgeschiedenis en LaTeX-broncode allemaal in één samenhangend resultaat.
• Je richt je op een specifiek venue (ICLR, NeurIPS, ICML, CVPR, ACL, enz.) en wilt dat de pipeline automatisch een venue-opgemaakt PDF schrijft en compileert.

• U heeft slechts één fase afzonderlijk nodig (bijv. alleen ideeëntdekking, alleen het uitvoeren van experimenten, of alleen het schrijven van een paper) — roep dan rechtstreeks de afzonderlijke vaardigheden aan (/idea-discovery, /run-experiment, /paper-writing).
• U beschikt niet over GPU-resources of geconfigureerde externe servers, aangezien Fasen 3–4 infrastructuur voor experimentimplementatie vereisen.
• Uw onderzoek vereist het handmatig aanmaken van figuren vóór het schrijven van de paper — de pipeline pauzeert en wacht hierop, dus houd hier rekening mee in uw planning.

Orkestreert Workflow 1 (/idea-discovery), Workflow 2 (/run-experiment + /auto-review-loop) en de optionele Workflow 3 (/paper-writing) in volgorde. Elke workflow produceert op zichzelf staande uitvoerbestanden, zodat je op elk moment kunt inspecteren of hervatten.

AUTO_PROCEED=true selecteert automatisch het hoogst gerangschikte idee en gaat verder zonder te wachten; AUTO_PROCEED=false pauzeert bij Gate 1 voor expliciete gebruikersbevestiging. HUMAN_CHECKPOINT=true toont beoordelingsscores na elke ronde, zodat u aangepaste correctie-instructies kunt geven voordat de lus verdergaat.

De automatische beoordelingslus ondersteunt drie adversariële niveaus: medium (standaardbeoordeling), hard (geheugen van de reviewer + debatprotocol) en nightmare (GPT leest de repository rechtstreeks via codex exec + geheugen + debat). Er worden autonoom tot 4 rondes van beoordelings-/herstelcycli uitgevoerd, met als doel een score van ≥ 6/10.

Kleine batches (≤5 taken) worden verstuurd via /run-experiment; grote multi-seed sweeps (≥10 taken) worden doorgestuurd naar /experiment-queue met OOM-herstart, opruiming van verouderde schermen, fase-afhankelijkheden en crashbestendige toestandsbeheer. GPU-beschikbaarheid wordt gecontroleerd vóór implementatie.

Wanneer AUTO_WRITE=true en VENUE is ingesteld, roept de Research Pipeline automatisch /paper-writing aan na fase 5, waarbij de fasen plan → figuur → schrijven → compileren → verbeteringslus worden doorlopen en een definitief paper/main.pdf wordt gegenereerd.

Elke fase produceert versiebeheerde, in het manifest geregistreerde uitvoerbestanden: IDEA_REPORT.md, AUTO_REVIEW.md, NARRATIVE_REPORT.md, en een volledig Research Pipeline Report met een samenvatting van GPU-uren, reviewrondes, scores en openstaande taken.

Stel AUTO_PROCEED=true, HUMAN_CHECKPOINT=false in en start de pipeline voor het slapengaan. De Research Pipeline ontdekt ideeën, selecteert automatisch de beste, implementeert experimenten, implementeert ze op je GPU-server, voert tot 4 beoordelings- en herstelrondes uit en genereert NARRATIVE_REPORT.md tegen de ochtend.

Stel AUTO_PROCEED=false in om te pauzeren bij Gate 1, bekijk zelf de gerangschikte ideeën, kies of combineer ideeën en geef vervolgens goedkeuring. Stappen 2–4 verlopen daarna volledig autonoom — zo heb je menselijke controle over de onderzoeksrichting zonder de experimenten voortdurend te hoeven bewaken.

Stel AUTO_WRITE=true en VENUE=NeurIPS in (of ICLR, ICML, CVPR, ACL, enz.). Nadat experimenten en reviewrondes zijn afgerond, schrijft, compileert en verbetert de Research Pipeline een LaTeX-artikel in het vereiste conferentieformaat, met als eindresultaat paper/main.pdf dat klaar is voor indiening.

Stel REVIEWER_DIFFICULTY=nightmare in zodat GPT de repository rechtstreeks leest en geheugen- en debatprotocollen toepast tijdens beoordelingsrondes. Gebruik dit wanneer je de meest harde mogelijke feedback vóór indiening wilt ontvangen voordat je een competitieve publicatielocatie target.