Openclaw Qa Testing

• 您需要在模拟或实时前沿模式下运行或重新运行完整的 qa-lab 套件，并获取通过/失败计数、监控 URL 和工件路径。
• 您希望执行矩阵通道分片（fast、transport、media、e2ee-smoke 等）或触发计划调度与手动调度配置文件。
• 您需要跨多个实时模型（qa character-eval）运行角色/人设评估，并获取带排名的评判报告和完整对话记录。
• 您正在调试一个失败的场景，需要代理识别根本原因（测试框架问题还是产品问题）、应用修复方案并重新运行该通道。
• 您希望在 qa/scenarios/ 下添加或扩展 QA 场景，并将其接入 extensions/qa-lab/src/suite.ts。

• 此技能仅适用于 OpenClaw 代码库，不是适用于任意代码库的通用测试自动化技能。
• 如果您需要外部可观测性收集器（Opik、Langfuse），而非本地 OTLP 冒烟验证，此技能不会配置这些服务。
• 如果您的 QA 凭据完全未知且未存储在预期的 1Password 保险库（OpenClaw、Private）中，Openclaw Qa Testing 将无法猜测或恢复这些凭据——请先联系您的维护者进行升级处理。

自动选择正确的通道（开发环境使用 mock-openai，真实验证使用 live-frontier），并使用正确的模型引用和输出目录运行 pnpm openclaw qa suite。每次运行后输出 qa-suite-summary.json 和 qa-suite-report.md。

通过 pnpm openclaw qa matrix 支持完整的矩阵配置文件集合——fast、transport、media、e2ee-smoke、e2ee-deep、e2ee-cli。处理 fail-fast 标志以及适用于 CI/发布运行的环境变量覆盖，例如 OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS。

在一组可配置的候选模型（OpenAI、Anthropic、Google、Moonshot、ZAI）上运行 qa character-eval，支持内联思考级别与快速模式语法。生成带有运行统计数据、耗时及完整对话记录的排名裁判报告——不包含原始裁判回复。

执行 pnpm qa:otel:smoke，启动本地 OTLP/HTTP 追踪接收器，通过 qa-channel 运行 otel-trace-smoke 场景，并验证导出的追踪名称及隐私合规性——无需外部收集器凭据。

了解 Telegram 和 Convex QA 密钥在 1Password 中的存储位置（OpenClaw 和 Private 保险库），以及每个通道所需的环境变量。支持 npm Telegram Docker 通道的直接 Telegram 环境变量模式和 Convex 轮询凭据租用两种方式。

支持在 QA 套件和手动探测中使用 codex-cli/<codex-model> 模型引用，在实时运行时保留 CODEX_HOME，同时对 HOME 和 OPENCLAW_HOME 进行沙箱隔离。在模拟运行中自动清除 CODEX_HOME。

使用 --fail-fast 参数触发 fast 矩阵配置文件，以在部署前验证发布关键传输契约。该技能会选择正确的配置文件，运行测试套件，并报告通过/失败数量及构件路径。

当 live-frontier 通道中的某个场景失败时，Openclaw Qa Testing 会读取套件输出，判断根本原因是出在产品本身还是测试框架上，随后应用修复措施，并重新运行完整通道——最终呈现监控 URL 及更新后的构建产物。

在八个候选模型上以 high/xhigh 思考级别运行 qa character-eval，验证在真实任务轮次（聊天、工作区编辑）中风格、人设和氛围是否保持一致。评审报告对候选模型进行排名，且不泄露原始评审回复。

该技能指导在 qa/scenarios/ 目录下编写新的场景 Markdown 文件，对齐 qa/scenarios/index.md 中的启动预期，并将可执行覆盖率连接到 extensions/qa-lab/src/suite.ts 中，包含端到端断言。