Openclaw Qa Testing

• 您需要在模擬或即時前沿模式下執行或重新執行完整的 qa-lab 測試套件，並取得通過/失敗計數、監看 URL 及產物路徑。
• 您想要執行矩陣通道分片（fast、transport、media、e2ee-smoke 等），或觸發排程與手動調度設定檔。
• 您需要跨多個即時模型執行角色/人物誌評估（qa character-eval），並取得有排名的評審報告與完整對話記錄。
• 您正在排查失敗的情境，需要代理程式找出根本原因（測試框架問題或產品問題）、套用修正，並重新執行該通道。
• 您想在 qa/scenarios/ 下新增或擴充 QA 情境，並將其串接至 extensions/qa-lab/src/suite.ts。

• 此技能的範圍僅限於 OpenClaw 程式庫；它並非適用於任意程式碼庫的通用測試自動化技能。
• 如果您需要外部可觀測性收集器（Opik、Langfuse）而非本地 OTLP 煙霧驗證，此技能不會設定這些服務。
• 如果您的 QA 憑證完全未知且未儲存於預期的 1Password 保險庫（OpenClaw、Private）中，此技能無法猜測或還原它們——請先向您的維護者尋求協助。

自動選擇正確的通道（開發環境使用 mock-openai，真實驗證使用 live-frontier），並以正確的模型參照與輸出目錄執行 pnpm openclaw qa suite。每次執行後均會輸出 qa-suite-summary.json 與 qa-suite-report.md。

支援完整的矩陣設定檔集合 — fast、transport、media、e2ee-smoke、e2ee-deep、e2ee-cli — 透過 pnpm openclaw qa matrix 執行。處理 fail-fast 旗標以及環境變數覆寫，例如 OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS，適用於 CI／發布流程。

在可配置的候選模型組合（OpenAI、Anthropic、Google、Moonshot、ZAI）上執行 qa character-eval，支援內嵌思考層級與快速模式語法。產生附有執行統計、耗時與完整對話記錄的排名評審報告，並隱藏原始評審回覆。

執行 pnpm qa:otel:smoke 以啟動本地 OTLP/HTTP 追蹤接收器，透過 qa-channel 執行 otel-trace-smoke 情境，並驗證匯出的追蹤名稱與隱私合約——無需外部收集器憑證。

了解 Telegram 和 Convex QA 機密在 1Password 中的存放位置（OpenClaw 和 Private 保險庫），以及每個通道所需的環境變數。支援 npm Telegram Docker 通道的直接 Telegram 環境變數模式，以及 Convex 輪詢憑證租用兩種方式。

支援 QA 測試套件與手動探測中的 codex-cli/<codex-model> 模型參考，在實際執行時保留 CODEX_HOME，同時對 HOME 與 OPENCLAW_HOME 進行沙箱隔離。在模擬執行時自動清除 CODEX_HOME。

使用 --fail-fast 觸發 fast 矩陣設定檔，以便在部署前驗證發布關鍵的傳輸合約。Openclaw Qa Testing 會選擇正確的設定檔、執行測試套件，並回報通過／失敗數量及產出物路徑。

當 live-frontier 測試通道中的某個情境失敗時，Openclaw Qa Testing 會讀取測試套件的輸出結果，判斷根本原因是出在產品本身還是測試框架，套用修正方案，並重新執行完整的測試通道——同時顯示監看 URL 與更新後的測試產出物。

以高階/超高階思考層級對八個候選模型執行 qa character-eval，驗證風格、人格特質與整體氛圍在實際任務輪次（聊天、工作區編輯）中是否保持一致。評審報告會對候選模型進行排名，且不會洩露原始評審回覆。

此技能引導在 qa/scenarios/ 目錄下撰寫新的情境 Markdown 檔案，調整 qa/scenarios/index.md 的啟動預期設定，並將可執行的覆蓋率接入 extensions/qa-lab/src/suite.ts，同時加入端對端斷言。