Запускайте, отслеживайте, отлаживайте и расширяйте сценарии, живые потоки и оценки персонажей Openclaw Qa Testing в qa-lab и qa-channel.
npx clawhub@latest install openclaw-qa-testingТребования
Openclaw Qa Testing — это локальный навык репозитория для управления полным жизненным циклом QA в OpenClaw: от запуска mock- и live-frontier-тестовых наборов до отладки сбоев, просмотра живого вывода и создания новых сценариев. Он оркестрирует рабочие процессы qa-lab и qa-channel, поддерживает матричное шардирование лейнов, OTEL smoke-валидацию, режимы учётных данных Telegram и Convex, а также мультимодельные оценки персонажей. Установите этот навык, когда вам нужен AI-агент, который понимает инструментарий OpenClaw QA от начала до конца и может работать с ним, применяя правильную политику моделей, выбор лейнов и обработку артефактов.
qa-lab в режиме mock или live-frontier и получить обратно счётчики pass/fail, URL для наблюдения и пути к артефактам.fast, transport, media, e2ee-smoke и др.) или запустить профили по расписанию либо по ручному триггеру.qa character-eval) с ранжированными отчётами судей и полными транскриптами.qa/scenarios/ и подключить их к extensions/qa-lab/src/suite.ts.OpenClaw, Private), навык не может их угадать или восстановить — сначала обратитесь к вашему администратору.Автоматически выбирает правильный маршрут (mock-openai для разработки, live-frontier для реальной валидации) и запускает pnpm openclaw qa suite с нужными ссылками на модели и директориями вывода. По результатам каждого запуска формирует файлы qa-suite-summary.json и qa-suite-report.md.
Поддерживает полный набор матричных профилей — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — через pnpm openclaw qa matrix. Обрабатывает флаги fail-fast и переопределения переменных окружения, такие как OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS, для запусков в CI/release-режиме.
Запускает qa character-eval для настраиваемого набора моделей-кандидатов (OpenAI, Anthropic, Google, Moonshot, ZAI) с встроенным синтаксисом для уровня обдумывания и быстрого режима. Формирует ранжированный отчёт судьи со статистикой запусков, длительностью и полными расшифровками — без необработанных ответов судьи.
Выполняет pnpm qa:otel:smoke для запуска локального получателя трассировок OTLP/HTTP, прогона сценария otel-trace-smoke через qa-channel и проверки экспортируемых имён трассировок и требований к конфиденциальности данных — внешние учётные данные коллектора не требуются.
Знает, где хранятся секреты Telegram и Convex QA в 1Password (хранилища OpenClaw и Private), а также какие переменные окружения нужны каждому лейну. Поддерживает как прямой режим передачи переменных окружения Telegram, так и циклическую аренду учётных данных Convex для лейна npm Telegram Docker.
Поддерживает ссылки на модели в формате codex-cli/<codex-model> для наборов QA-тестов и ручных проверок, сохраняя CODEX_HOME при реальных запусках и изолируя HOME и OPENCLAW_HOME в песочнице. Автоматически очищает CODEX_HOME при запусках с имитацией.
Запустите матричный профиль fast с флагом --fail-fast, чтобы проверить критически важные транспортные контракты перед развёртыванием. Навык выбирает подходящий профиль, выполняет набор тестов и сообщает количество успешных и неуспешных результатов, а также пути к артефактам.
Когда сценарий в живом рубежном потоке завершается с ошибкой, навык Openclaw Qa Testing считывает вывод набора тестов, определяет, находится ли первопричина в продукте или в тестовом окружении, применяет исправление и повторно запускает полный поток — предоставляя URL для отслеживания и обновлённые артефакты.
Запустите qa character-eval для восьми моделей-кандидатов с уровнями мышления high/xhigh, чтобы убедиться, что стиль, персонаж и атмосфера сохраняются в реальных рабочих сессиях (чат, редактирование в рабочем пространстве). Отчёт судьи ранжирует кандидатов без раскрытия необработанных ответов судьи.
Навык помогает создать новый файл сценария в формате markdown в директории qa/scenarios/, согласовывает стартовые ожидания в qa/scenarios/index.md и подключает исполняемое покрытие в extensions/qa-lab/src/suite.ts с помощью сквозных утверждений.
OPENCLAW_LIVE_OPENAI_KEY (сопоставлен с OPENAI_API_KEY). Требуется для любого запуска live-модели OpenAI. Поддерживает: OpenAI (openai/gpt-5.4).OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN и OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN берутся из элемента 1Password OpenClaw / Telegram E2E.OPENCLAW_QA_CONVEX_SITE_URL, OPENCLAW_QA_CONVEX_SECRET_MAINTAINER, OPENCLAW_QA_CONVEX_SECRET_CI — берутся из хранилища 1Password OpenClaw. Включает round-robin-аренду учётных данных для Docker Telegram lane.op) — Должен запускаться внутри tmux для поиска QA-секретов. Выполните op account list для проверки аутентификации.npx clawhub@latest install openclaw-qa-testingnpx clawhub@latest install openclaw-qa-testingТребования
Войдите, чтобы написать отзыв
Отзывов пока нет. Будьте первым, кто поделится своим опытом!