Openclaw Qa Testing

• Você precisa executar ou reexecutar uma suite completa de qa-lab no modo mock ou live-frontier e obter de volta contagens de aprovação/falha, URLs de monitoramento e caminhos de artefatos.
• Você quer executar fragmentação de lanes em matriz (fast, transport, media, e2ee-smoke, etc.) ou acionar perfis de execução agendada vs. despacho manual.
• Você precisa executar avaliações de personagem/persona em múltiplos modelos ativos (qa character-eval) com relatórios de juiz ranqueados e transcrições completas.
• Você está depurando um cenário com falha e precisa que o agente identifique a causa raiz (harness vs. produto), aplique uma correção e reexecute a lane.
• Você quer adicionar ou estender cenários de QA em qa/scenarios/ e conectá-los ao extensions/qa-lab/src/suite.ts.

• Esta skill está limitada ao repositório OpenClaw; não é uma skill de automação de testes de uso geral para bases de código arbitrárias.
• Se você precisar de coletores de observabilidade externos (Opik, Langfuse) em vez de validação local de smoke via OTLP, esta skill não configura esses serviços.
• Se suas credenciais de QA são completamente desconhecidas e não estão armazenadas nos cofres esperados do 1Password (OpenClaw, Private), a skill não consegue adivinhá-las ou recuperá-las — escale para o seu mantenedor primeiro.

Seleciona automaticamente a lane correta (mock-openai para desenvolvimento, live-frontier para validação real) e executa pnpm openclaw qa suite com as referências de modelo e diretórios de saída apropriados. Gera um qa-suite-summary.json e um qa-suite-report.md para cada execução.

Suporta o conjunto completo de perfis de matriz — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — via pnpm openclaw qa matrix. Lida com flags fail-fast e substituições de ambiente como OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS para execuções de CI/release.

Executa qa character-eval em um conjunto configurável de modelos candidatos (OpenAI, Anthropic, Google, Moonshot, ZAI) com sintaxe inline de nível de raciocínio e modo rápido. Produz um relatório de avaliação classificado com estatísticas de execução, durações e transcrições completas — sem as respostas brutas do avaliador.

Executa pnpm qa:otel:smoke para iniciar um receptor local de traces OTLP/HTTP, executar o cenário otel-trace-smoke através do qa-channel e verificar os nomes de traces exportados e os contratos de privacidade — sem necessidade de credenciais de coletor externo.

Sabe onde os segredos do Telegram e do Convex QA ficam armazenados no 1Password (cofres OpenClaw e Private) e quais variáveis de ambiente cada lane necessita. Suporta tanto o modo de env direto do Telegram quanto o leasing de credenciais em round-robin via Convex para a lane Docker npm do Telegram.

Suporta referências de modelo codex-cli/<codex-model> para suítes de QA e sondagens manuais, preservando CODEX_HOME em execuções ao vivo enquanto isola HOME e OPENCLAW_HOME em sandbox. Remove automaticamente CODEX_HOME em execuções simuladas.

Acione o perfil de matriz fast com --fail-fast para validar contratos de transporte críticos para a liberação antes de um deploy. A skill seleciona o perfil correto, executa a suíte e reporta as contagens de aprovação/falha e os caminhos dos artefatos.

Quando um cenário na lane live-frontier falha, a skill lê a saída da suíte, identifica se a causa raiz está no produto ou no harness, aplica a correção e reexecuta a lane completa — exibindo a URL de monitoramento e os artefatos atualizados.

Execute qa character-eval em oito modelos candidatos com níveis de raciocínio high/xhigh para verificar se o estilo, a persona e o vibe se mantêm em turnos de tarefas reais (chat, edições no workspace). O relatório do juiz classifica os candidatos sem vazar as respostas brutas do juiz.

A skill orienta a criação de um novo arquivo markdown de cenário em qa/scenarios/, alinha as expectativas de inicialização em qa/scenarios/index.md e conecta a cobertura executável em extensions/qa-lab/src/suite.ts com asserções de ponta a ponta.