Openclaw Qa Testing

• U moet een volledige qa-lab-suite uitvoeren of opnieuw uitvoeren in mock- of live-frontier-modus en pass/fail-aantallen, watch-URL's en artefactpaden terugkrijgen.
• U wilt matrix lane sharding uitvoeren (fast, transport, media, e2ee-smoke, enz.) of geplande versus handmatig-dispatch-profielen activeren.
• U moet karakter-/persona-evaluaties uitvoeren over meerdere live modellen (qa character-eval) met gerangschikte beoordelaarsrapporten en volledige transcripties.
• U debugt een falend scenario en hebt de agent nodig om de hoofdoorzaak te identificeren (harness vs. product), een oplossing toe te passen en de lane opnieuw uit te voeren.
• U wilt QA-scenario's toevoegen of uitbreiden onder qa/scenarios/ en deze koppelen aan extensions/qa-lab/src/suite.ts.

• Deze skill is beperkt tot de OpenClaw-repo; het is geen algemeen testautomatiseringsskill voor willekeurige codebases.
• Als je externe observability-collectors (Opik, Langfuse) nodig hebt in plaats van lokale OTLP-rookvalidatie, configureert deze skill die services niet.
• Als je QA-inloggegevens volledig onbekend zijn en niet zijn opgeslagen in de verwachte 1Password-kluizen (OpenClaw, Private), kan de skill deze niet raden of herstellen — escaleer dit eerst naar je beheerder.

Selecteert automatisch de juiste lane (mock-openai voor ontwikkeling, live-frontier voor echte validatie) en voert pnpm openclaw qa suite uit met de juiste modelreferenties en uitvoermappen. Genereert een qa-suite-summary.json en qa-suite-report.md voor elke uitvoering.

Ondersteunt de volledige set van matrixprofielen — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — via pnpm openclaw qa matrix. Verwerkt fail-fast-vlaggen en omgevingsoverschrijvingen zoals OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS voor CI/release-runs.

Voert qa character-eval uit over een configureerbare reeks kandidaatmodellen (OpenAI, Anthropic, Google, Moonshot, ZAI) met inline denkniveau- en snelle-modussyntaxis. Produceert een gerangschikt beoordelingsrapport met uitvoerstatistieken, doorlooptijden en volledige transcripten — zonder onbewerkte beoordelaarsantwoorden.

Voert pnpm qa:otel:smoke uit om een lokale OTLP/HTTP trace-ontvanger op te starten, het otel-trace-smoke-scenario via het qa-kanaal uit te voeren en geëxporteerde tracenamen en privacycontracten te verifiëren — geen externe collector-inloggegevens vereist.

Weet waar Telegram- en Convex QA-geheimen zich bevinden in 1Password (OpenClaw- en Private-kluizen) en welke omgevingsvariabelen elke lane nodig heeft. Ondersteunt zowel de directe Telegram-omgevingsmodus als Convex round-robin credential-leasing voor de npm Telegram Docker-lane.

Ondersteunt codex-cli/<codex-model> modelreferenties voor QA-suites en handmatige probes, waarbij CODEX_HOME behouden blijft in live runs terwijl HOME en OPENCLAW_HOME worden gesandboxed. Verwijdert CODEX_HOME automatisch in mock runs.

Activeer het fast matrixprofiel met --fail-fast om release-kritieke transportcontracten te valideren vóór een implementatie. De skill selecteert het juiste profiel, voert de suite uit en rapporteert geslaagde/mislukte aantallen en artefactpaden.

Wanneer een scenario in de live-frontier lane mislukt, leest de skill de suite-uitvoer, bepaalt of de oorzaak ligt bij het product of het testframework, past de oplossing toe en voert de volledige lane opnieuw uit — waarbij de watch-URL en bijgewerkte artefacten worden weergegeven.

Voer qa character-eval uit over acht kandidaatmodellen met hoge/zeer hoge denkniveaus om te verifiëren dat stijl, persona en sfeer standhouden tijdens echte taakverwissingen (chat, werkruimtewijzigingen). Het beoordelaarsrapport rangschikt kandidaten zonder ruwe beoordelaarsantwoorden vrij te geven.

De skill begeleidt het opstellen van een nieuw scenario markdown-bestand onder qa/scenarios/, stemt de startverwachtingen van qa/scenarios/index.md af en koppelt uitvoerbare dekking aan extensions/qa-lab/src/suite.ts met end-to-end assertions.