Openclaw Qa Testing

• Necesitas ejecutar o volver a ejecutar una suite completa de qa-lab en modo mock o live-frontier y obtener de vuelta los recuentos de aprobados/fallidos, las URLs de seguimiento y las rutas de artefactos.
• Quieres ejecutar la fragmentación de carriles de matriz (fast, transport, media, e2ee-smoke, etc.) o activar perfiles de despacho programado frente a manual.
• Necesitas ejecutar evaluaciones de personajes/personas en múltiples modelos en vivo (qa character-eval) con informes de juez clasificados y transcripciones completas.
• Estás depurando un escenario fallido y necesitas que el agente identifique la causa raíz (harness vs. producto), aplique una corrección y vuelva a ejecutar el carril.
• Quieres agregar o ampliar escenarios de QA en qa/scenarios/ y conectarlos a extensions/qa-lab/src/suite.ts.

• Esta habilidad está limitada al repositorio de OpenClaw; no es una habilidad de automatización de pruebas de propósito general para bases de código arbitrarias.
• Si necesitas recolectores de observabilidad externos (Opik, Langfuse) en lugar de validación local de OTLP, esta habilidad no configura esos servicios.
• Si tus credenciales de QA son completamente desconocidas y no están almacenadas en los vaults de 1Password esperados (OpenClaw, Private), la habilidad no puede adivinarlas ni recuperarlas — escala el problema a tu responsable de mantenimiento primero.

Selecciona automáticamente el carril correcto (mock-openai para desarrollo, live-frontier para validación real) y ejecuta pnpm openclaw qa suite con las referencias de modelo y directorios de salida correctos. Genera un qa-suite-summary.json y un qa-suite-report.md en cada ejecución.

Admite el conjunto completo de perfiles de matriz — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — mediante pnpm openclaw qa matrix. Gestiona los indicadores fail-fast y las anulaciones de entorno como OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS para ejecuciones de CI/release.

Ejecuta qa character-eval en un conjunto configurable de modelos candidatos (OpenAI, Anthropic, Google, Moonshot, ZAI) con sintaxis de nivel de pensamiento en línea y modo rápido. Produce un informe de juez clasificado con estadísticas de ejecución, duraciones y transcripciones completas — sin respuestas brutas del juez.

Ejecuta pnpm qa:otel:smoke para iniciar un receptor local de trazas OTLP/HTTP, ejecutar el escenario otel-trace-smoke a través del canal qa-channel y verificar los nombres de trazas exportadas y los contratos de privacidad — no se requieren credenciales de colector externo.

Sabe dónde se encuentran los secretos de Telegram y Convex QA en 1Password (bóvedas OpenClaw y Private) y qué variables de entorno necesita cada carril. Admite tanto el modo de entorno directo de Telegram como el arrendamiento de credenciales round-robin de Convex para el carril Docker de Telegram con npm.

Admite referencias de modelo codex-cli/<codex-model> para suites de QA y sondeos manuales, preservando CODEX_HOME en ejecuciones en vivo mientras se aísla HOME y OPENCLAW_HOME en un entorno seguro. Elimina automáticamente CODEX_HOME en ejecuciones simuladas.

Activa el perfil de matriz fast con --fail-fast para validar los contratos de transporte críticos para el lanzamiento antes de un despliegue. La habilidad selecciona el perfil correcto, ejecuta la suite y reporta los recuentos de éxito/fallo y las rutas de los artefactos.

Cuando un escenario en el carril live-frontier falla, la habilidad lee la salida del conjunto de pruebas, identifica si la causa raíz se encuentra en el producto o en el arnés de pruebas, aplica la corrección y vuelve a ejecutar el carril completo — mostrando la URL de seguimiento y los artefactos actualizados.

Ejecuta qa character-eval en ocho modelos candidatos con niveles de razonamiento alto/muy alto para verificar que el estilo, la persona y la esencia se mantengan durante turnos de tareas reales (chat, ediciones en el espacio de trabajo). El informe del juez clasifica a los candidatos sin filtrar las respuestas brutas del juez.

La habilidad guía la creación de un nuevo archivo markdown de escenario en qa/scenarios/, alinea las expectativas de inicio en qa/scenarios/index.md y conecta la cobertura ejecutable en extensions/qa-lab/src/suite.ts con aserciones de extremo a extremo.