Openclaw Qa Testing

• Devi eseguire o rieseguire una suite qa-lab completa in modalità mock o live-frontier e ottenere conteggi pass/fail, URL di monitoraggio e percorsi degli artefatti.
• Vuoi eseguire lo sharding a corsie matrix (fast, transport, media, e2ee-smoke, ecc.) o attivare profili programmati rispetto a quelli con dispatch manuale.
• Devi eseguire valutazioni di personaggi/persona su più modelli live (qa character-eval) con report del giudice classificati e trascrizioni complete.
• Stai eseguendo il debug di uno scenario con errori e hai bisogno che l'agente identifichi la causa principale (harness vs. prodotto), applichi una correzione e riesegua la corsia.
• Vuoi aggiungere o estendere scenari QA in qa/scenarios/ e collegarli a extensions/qa-lab/src/suite.ts.

• Questa skill è limitata al repository OpenClaw; non è una skill di automazione dei test per uso generale su codebase arbitrarie.
• Se hai bisogno di collector di osservabilità esterni (Opik, Langfuse) invece della validazione smoke OTLP locale, questa skill non configura tali servizi.
• Se le tue credenziali QA sono completamente sconosciute e non sono memorizzate nei vault 1Password previsti (OpenClaw, Private), la skill non può indovinarle né recuperarle — contatta prima il tuo maintainer.

Seleziona automaticamente la corsia corretta (mock-openai per lo sviluppo, live-frontier per la validazione reale) ed esegue pnpm openclaw qa suite con i riferimenti ai modelli e le directory di output appropriati. Produce un file qa-suite-summary.json e un qa-suite-report.md per ogni esecuzione.

Supporta l'insieme completo di profili matrix — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — tramite pnpm openclaw qa matrix. Gestisce i flag fail-fast e le sovrascritture di ambiente come OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS per le esecuzioni CI/release.

Esegue qa character-eval su un insieme configurabile di modelli candidati (OpenAI, Anthropic, Google, Moonshot, ZAI) con sintassi inline per il livello di ragionamento e la modalità rapida. Produce un report di valutazione classificato con statistiche di esecuzione, durate e trascrizioni complete — senza le risposte grezze del giudice.

Esegue pnpm qa:otel:smoke per avviare un ricevitore locale di tracce OTLP/HTTP, eseguire lo scenario otel-trace-smoke tramite qa-channel e verificare i nomi delle tracce esportate e i contratti sulla privacy — nessuna credenziale di collector esterno richiesta.

Sa dove si trovano i segreti Telegram e Convex QA in 1Password (vault OpenClaw e Private) e quali variabili d'ambiente sono necessarie per ogni corsia. Supporta sia la modalità env Telegram diretta che il leasing round-robin delle credenziali Convex per la corsia npm Telegram Docker.

Supporta i riferimenti al modello codex-cli/<codex-model> per suite di QA e sonde manuali, preservando CODEX_HOME nelle esecuzioni live mentre isola HOME e OPENCLAW_HOME. Rimuove automaticamente CODEX_HOME nelle esecuzioni mock.

Attiva il profilo matrix fast con --fail-fast per validare i contratti di trasporto critici per il rilascio prima di un deploy. La skill seleziona il profilo corretto, esegue la suite e riporta i conteggi di esito positivo/negativo e i percorsi degli artefatti.

Quando uno scenario nella corsia live-frontier fallisce, la skill legge l'output della suite, identifica se la causa principale è nel prodotto o nell'harness, applica la correzione e riesegue l'intera corsia — mostrando il watch URL e gli artefatti aggiornati.

Esegui qa character-eval su otto modelli candidati con livelli di ragionamento alto/molto alto per verificare che stile, persona e atmosfera si mantengano durante turni di attività reali (chat, modifiche all'area di lavoro). Il report del giudice classifica i candidati senza rivelare le risposte grezze del giudice.

La skill guida la creazione di un nuovo file markdown di scenario nella cartella qa/scenarios/, allinea le aspettative di avvio in qa/scenarios/index.md e integra la copertura eseguibile in extensions/qa-lab/src/suite.ts con asserzioni end-to-end.