Legal Red Team

• Вы использовали LLM для составления юридического меморандума, краткого изложения договора, руководства по соответствию требованиям или регуляторного обзора и хотите проверить документ перед публикацией.
• Вы хотите выявить правдоподобные, но неверные номера статей, выдуманные сроки или уверенные, но не подкреплённые источниками утверждения до их распространения.
• Вам необходим структурированный контрольный шлюз «допустить/отклонить» (минимальный балл 4/5, ноль проблем уровня CRITICAL) для юридического контента, созданного ИИ.
• Вы проводите аудит ссылок, чтобы убедиться, что каждая ссылка на нормативный акт действительно существует и соответствует указанному положению.

• Вам необходимо проверить юридические выводы, стратегию судебного разбирательства или профессиональные правовые интерпретации — этот навык проверяет точность фактов и ссылок, а не правовую аргументацию.
• Вам требуется доступ к платным юридическим базам данных (Westlaw, LexisNexis) — проверка источников опирается на общедоступные официальные источники.
• Вы ищете замену квалифицированному юридическому консультанту в делах с высокими ставками; этот навык является дополнением, а не заменой.

Каждый документ оценивается по шести структурированным категориям: фактическая точность, ссылки на правовые источники, проверка арифметики, верификация источников, выявление предположений и достаточность оговорок. Для каждой категории определены характерные признаки нарушений и соответствующие проверки, что исключает упущение типичных ошибок.

Навык направлен на выявление пяти повторяющихся паттернов галлюцинаций ИИ в юридическом контенте: правдоподобные, но неверные номера статей, самоуверенно неправильные даты, рекомендации, ошибочно представленные как обязательные нормы права, устаревшие правовые ссылки и арифметические ошибки в расчётах сроков. Для каждого паттерна определена соответствующая техника обнаружения.

Выявленные проблемы классифицируются по четырём уровням серьёзности — КРИТИЧЕСКИЙ, ВЫСОКИЙ, УМЕРЕННЫЙ и НИЗКИЙ — с чёткими определениями, примерами и необходимыми действиями для каждого уровня. Проблемы уровня КРИТИЧЕСКИЙ должны быть устранены до любого распространения материала.

Инструмент legal_quality_scorer.py формирует итоговую оценку по шкале от 1 до 5 с разбивкой по категориям. Документы, получившие оценку ниже 4/5, не подлежат распространению; рабочий процесс шлюза предварительного распределения обеспечивает полное отсутствие проблем уровня CRITICAL и наличие всех необходимых отказов от ответственности.

Два Python-скрипта — legal_fact_checker.py и legal_quality_scorer.py — поддерживают ввод текста или файлов, вывод в формате JSON, подробный режим и сохранение отчётов. Они служат инструментами первичного сканирования, предназначенными для последующей ручной проверки в рамках процесса Legal Red Team.

Три готовых к запуску рабочих процесса охватывают полную состязательную проверку, быструю проверку цитат и контроль перед распространением. Каждый рабочий процесс включает шаг валидации для подтверждения выполнения критериев завершения.

Запустите legal_fact_checker.py, чтобы отметить все ссылки и даты, проверьте каждую из них по EUR-Lex или eCFR, затем запустите legal_quality_scorer.py, чтобы подтвердить оценку не ниже 4/5 и отсутствие замечаний с пометкой CRITICAL перед отправкой клиентам или сотрудникам.

Используйте Workflow 2 (Quick Citation Check), чтобы извлечь все правовые ссылки из документа и проверить каждую из них по соответствующему официальному источнику — выявляя вымышленные номера статей или неверно процитированные положения прежде, чем они попадут к юридической команде.

Интегрируйте legal_quality_scorer.py в качестве автоматизированного шлюза контроля качества в конвейер генерации документов. Любой документ, получивший оценку ниже 4/5, задерживается для проверки специалистом; только документы, соответствующие пороговым требованиям и требованиям к отказу от ответственности, передаются на следующий этап обработки.

Примените шестишаговую методологию с состязательным подходом: отметьте каждое фактическое утверждение и числовые данные, проверьте даты на соответствие тексту нормативных актов, выявите случаи представления предположений как достоверных фактов и подготовьте для группы разработчиков отчёт о выявленных недостатках с классификацией по степени серьёзности.