Openclaw Qa Testing

• Вам нужно запустить или перезапустить полный набор тестов qa-lab в режиме mock или live-frontier и получить обратно счётчики pass/fail, URL для наблюдения и пути к артефактам.
• Вы хотите выполнить матричное разделение на полосы (fast, transport, media, e2ee-smoke и др.) или запустить профили по расписанию либо по ручному триггеру.
• Вам нужно запустить оценки персонажей/персон на нескольких live-моделях (qa character-eval) с ранжированными отчётами судей и полными транскриптами.
• Вы отлаживаете падающий сценарий и хотите, чтобы агент определил первопричину (тестовый стенд или продукт), применил исправление и перезапустил полосу.
• Вы хотите добавить или расширить QA-сценарии в qa/scenarios/ и подключить их к extensions/qa-lab/src/suite.ts.

• Этот навык привязан к репозиторию OpenClaw; он не является универсальным навыком автоматизации тестирования для произвольных кодовых баз.
• Если вам нужны внешние коллекторы наблюдаемости (Opik, Langfuse), а не локальная проверка OTLP, этот навык не настраивает такие сервисы.
• Если ваши QA-учётные данные полностью неизвестны и не хранятся в ожидаемых хранилищах 1Password (OpenClaw, Private), навык не может их угадать или восстановить — сначала обратитесь к вашему администратору.

Автоматически выбирает правильный маршрут (mock-openai для разработки, live-frontier для реальной валидации) и запускает pnpm openclaw qa suite с нужными ссылками на модели и директориями вывода. По результатам каждого запуска формирует файлы qa-suite-summary.json и qa-suite-report.md.

Поддерживает полный набор матричных профилей — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — через pnpm openclaw qa matrix. Обрабатывает флаги fail-fast и переопределения переменных окружения, такие как OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS, для запусков в CI/release-режиме.

Запускает qa character-eval для настраиваемого набора моделей-кандидатов (OpenAI, Anthropic, Google, Moonshot, ZAI) с встроенным синтаксисом для уровня обдумывания и быстрого режима. Формирует ранжированный отчёт судьи со статистикой запусков, длительностью и полными расшифровками — без необработанных ответов судьи.

Выполняет pnpm qa:otel:smoke для запуска локального получателя трассировок OTLP/HTTP, прогона сценария otel-trace-smoke через qa-channel и проверки экспортируемых имён трассировок и требований к конфиденциальности данных — внешние учётные данные коллектора не требуются.

Знает, где хранятся секреты Telegram и Convex QA в 1Password (хранилища OpenClaw и Private), а также какие переменные окружения нужны каждому лейну. Поддерживает как прямой режим передачи переменных окружения Telegram, так и циклическую аренду учётных данных Convex для лейна npm Telegram Docker.

Поддерживает ссылки на модели в формате codex-cli/<codex-model> для наборов QA-тестов и ручных проверок, сохраняя CODEX_HOME при реальных запусках и изолируя HOME и OPENCLAW_HOME в песочнице. Автоматически очищает CODEX_HOME при запусках с имитацией.

Запустите матричный профиль fast с флагом --fail-fast, чтобы проверить критически важные транспортные контракты перед развёртыванием. Навык выбирает подходящий профиль, выполняет набор тестов и сообщает количество успешных и неуспешных результатов, а также пути к артефактам.

Когда сценарий в живом рубежном потоке завершается с ошибкой, навык Openclaw Qa Testing считывает вывод набора тестов, определяет, находится ли первопричина в продукте или в тестовом окружении, применяет исправление и повторно запускает полный поток — предоставляя URL для отслеживания и обновлённые артефакты.

Запустите qa character-eval для восьми моделей-кандидатов с уровнями мышления high/xhigh, чтобы убедиться, что стиль, персонаж и атмосфера сохраняются в реальных рабочих сессиях (чат, редактирование в рабочем пространстве). Отчёт судьи ранжирует кандидатов без раскрытия необработанных ответов судьи.

Навык помогает создать новый файл сценария в формате markdown в директории qa/scenarios/, согласовывает стартовые ожидания в qa/scenarios/index.md и подключает исполняемое покрытие в extensions/qa-lab/src/suite.ts с помощью сквозных утверждений.