Openclaw Qa Testing

• Du behöver köra eller köra om en fullständig qa-lab-svit i mock- eller live-frontier-läge och få tillbaka godkänt/underkänt-antal, övervaknings-URL:er och sökvägar till artefakter.
• Du vill köra matrix lane sharding (fast, transport, media, e2ee-smoke, osv.) eller utlösa schemalagda kontra manuellt dispatchade profiler.
• Du behöver köra karaktärs-/personautvärderingar över flera live-modeller (qa character-eval) med rankade domarrapporter och fullständiga transkript.
• Du felsöker ett misslyckande scenario och behöver att agenten identifierar grundorsaken (harness kontra produkt), tillämpar en fix och kör om lane:en.
• Du vill lägga till eller utöka QA-scenarier under qa/scenarios/ och koppla in dem i extensions/qa-lab/src/suite.ts.

• Den här skickligheten är begränsad till OpenClaw-repot; det är inte en allmänt användbar testautomatiseringsskicklighet för godtyckliga kodbaser.
• Om du behöver externa observabilitetssamlare (Opik, Langfuse) snarare än lokal OTLP-rökvalidering, konfigurerar den här skickligheten inte dessa tjänster.
• Om dina QA-inloggningsuppgifter är helt okända och inte lagrade i de förväntade 1Password-valven (OpenClaw, Private), kan Openclaw Qa Testing inte gissa eller återställa dem — eskalera till din underhållare först.

Väljer automatiskt rätt körfält (mock-openai för utveckling, live-frontier för riktig validering) och kör pnpm openclaw qa suite med rätt modellreferenser och utdatakataloger. Genererar en qa-suite-summary.json och qa-suite-report.md för varje körning.

Stöder hela uppsättningen matrisprofiler — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — via pnpm openclaw qa matrix. Hanterar fail-fast-flaggor och miljööverskridningar som OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS för CI/release-körningar.

Kör qa character-eval över en konfigurerbar uppsättning kandidatmodeller (OpenAI, Anthropic, Google, Moonshot, ZAI) med inline-syntax för tänkenivå och snabbläge. Producerar en rangordnad dommarrapport med körstatistik, varaktigheter och fullständiga transskript — utan råa dommasvar.

Kör pnpm qa:otel:smoke för att starta en lokal OTLP/HTTP-spårmottagare, köra scenariot otel-trace-smoke genom qa-kanalen och verifiera exporterade spårnamn samt integritetskontrakten — inga externa insamlaruppgifter krävs.

Vet var Telegram- och Convex QA-hemligheter finns i 1Password (valven OpenClaw och Private) samt vilka miljövariabler varje körfält behöver. Stöder både direkt Telegram-miljövariabelläge och Convex round-robin-kredentialleasning för npm Telegram Docker-körfältet.

Stöder codex-cli/<codex-model>-modellreferenser för QA-sviter och manuella tester, bevarar CODEX_HOME i live-körningar samtidigt som HOME och OPENCLAW_HOME sandboxas. Rensar automatiskt CODEX_HOME vid mockkörningar.

Utlös fast-matrisprofilen med --fail-fast för att validera releasekritiska transportkontrakt innan en driftsättning. Kompetensen väljer rätt profil, kör testsviten och rapporterar godkänt/underkänt-antal samt artefaktsökvägar.

När ett scenario i live-frontier-banan misslyckas läser Openclaw Qa Testing av svitens utdata, identifierar om grundorsaken finns i produkten eller i testramverket, tillämpar åtgärden och kör hela banan på nytt — och visar bevaknings-URL:en samt uppdaterade artefakter.

Kör qa character-eval över åtta kandidatmodeller med höga/mycket höga tänkandenivåer för att verifiera att stil, persona och känsla håller under verkliga uppgiftsvarv (chatt, arbetsyteredigeringar). Domarbetänkandet rankar kandidaterna utan att läcka råa domarsvar.

Skickligheten guidar skapandet av en ny scenario-markdownfil under qa/scenarios/, anpassar uppstartförväntningarna i qa/scenarios/index.md och kopplar körbar täckning till extensions/qa-lab/src/suite.ts med end-to-end-påståenden.