Openclaw Qa Testing

• Vous devez exécuter ou réexécuter une suite qa-lab complète en mode mock ou live-frontier et récupérer le nombre de réussites/échecs, les URL de surveillance et les chemins d'artefacts.
• Vous souhaitez exécuter le partitionnement de couloirs en matrice (fast, transport, media, e2ee-smoke, etc.) ou déclencher des profils d'exécution planifiée ou manuelle.
• Vous devez exécuter des évaluations de personnages/personas sur plusieurs modèles live (qa character-eval) avec des rapports de juge classés et des transcriptions complètes.
• Vous déboguez un scénario en échec et avez besoin que l'agent identifie la cause racine (harnais vs. produit), applique un correctif et réexécute le couloir.
• Vous souhaitez ajouter ou étendre des scénarios QA sous qa/scenarios/ et les intégrer dans extensions/qa-lab/src/suite.ts.

• Cette compétence est limitée au dépôt OpenClaw ; ce n'est pas une compétence d'automatisation de tests polyvalente pour des bases de code arbitraires.
• Si vous avez besoin de collecteurs d'observabilité externes (Opik, Langfuse) plutôt que d'une validation locale OTLP de base, cette compétence ne configure pas ces services.
• Si vos identifiants QA sont totalement inconnus et ne sont pas stockés dans les coffres 1Password attendus (OpenClaw, Private), la compétence ne peut pas les deviner ou les récupérer — escaladez auprès de votre mainteneur en premier lieu.

Sélectionne automatiquement la bonne voie (mock-openai pour le développement, live-frontier pour la validation réelle) et exécute pnpm openclaw qa suite avec les références de modèles et les répertoires de sortie appropriés. Génère un fichier qa-suite-summary.json et un fichier qa-suite-report.md pour chaque exécution.

Prend en charge l'ensemble complet des profils de matrice — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — via pnpm openclaw qa matrix. Gère les indicateurs fail-fast et les substitutions d'environnement comme OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS pour les exécutions CI/release.

Exécute qa character-eval sur un ensemble configurable de modèles candidats (OpenAI, Anthropic, Google, Moonshot, ZAI) avec une syntaxe intégrée pour le niveau de réflexion et le mode rapide. Produit un rapport de juge classé comprenant les statistiques d'exécution, les durées et les transcriptions complètes — sans les réponses brutes du juge.

Exécute pnpm qa:otel:smoke pour démarrer un récepteur de traces OTLP/HTTP local, exécuter le scénario otel-trace-smoke via le canal qa, et vérifier les noms de traces exportés ainsi que les contrats de confidentialité — aucune accréditation de collecteur externe requise.

Sait où se trouvent les secrets Telegram et Convex QA dans 1Password (coffres OpenClaw et Private) et quelles variables d'environnement chaque voie nécessite. Prend en charge à la fois le mode env Telegram direct et la location de credentials en round-robin via Convex pour la voie npm Telegram Docker.

Prend en charge les références de modèle codex-cli/<codex-model> pour les suites d'assurance qualité et les sondes manuelles, en préservant CODEX_HOME lors des exécutions en direct tout en isolant HOME et OPENCLAW_HOME. Supprime automatiquement CODEX_HOME lors des exécutions simulées.

Déclenchez le profil de matrice fast avec --fail-fast pour valider les contrats de transport critiques pour la version avant un déploiement. La compétence Openclaw Qa Testing sélectionne le bon profil, exécute la suite de tests et rapporte le nombre de succès/échecs ainsi que les chemins des artefacts.

Lorsqu'un scénario dans la voie live-frontier échoue, la compétence Openclaw Qa Testing lit la sortie de la suite, détermine si la cause racine se trouve dans le produit ou dans le harnais, applique le correctif, puis relance l'intégralité de la voie — en exposant l'URL de surveillance et les artefacts mis à jour.

Exécutez qa character-eval sur huit modèles candidats avec des niveaux de réflexion élevés/très élevés pour vérifier que le style, le persona et l'ambiance tiennent lors de tours de tâches réels (chat, modifications dans l'espace de travail). Le rapport du juge classe les candidats sans divulguer les réponses brutes du juge.

La compétence guide la création d'un nouveau fichier markdown de scénario dans qa/scenarios/, aligne les attentes de démarrage de qa/scenarios/index.md, et intègre une couverture exécutable dans extensions/qa-lab/src/suite.ts avec des assertions de bout en bout.