AI生成の法的コンテンツに対する敵対的検証フレームワーク:ファクトチェック、引用の検証、ハルシネーション検出、および配布準備スコアリング。
npx clawhub@latest install legal-red-teamLegal Red Team は、AIが生成した法的文書のための本番環境対応の敵対的検証フレームワークです。事実の正確性を体系的にチェックし、公式ソースに対して法的引用を検証し、既知のハルシネーションパターンを検出し、算術を検証し、配布準備状況についてドキュメントをスコアリングします — これらすべてを構造化された6カテゴリの方法論にわたって実施します。このスキルは法的アドバイスを構成するものではなく、資格を持つ専門的な法的レビューを補完することを目的としており、代替するものではありません。
すべての文書は、6つの構造化されたカテゴリーにわたって評価されます。それらは、事実の正確性、法的権限の引用、算術的検証、出典の確認、推測の検出、および免責事項の適切性です。各カテゴリーには明確なレッドフラグとチェック項目が定義されており、一般的な失敗パターンを見逃さないようになっています。
このスキルは、法的コンテンツにおける5つの反復的なAIハルシネーションパターンを対象としています:もっともらしいが誤った条文番号、自信を持って述べられた不正確な日付、拘束力のある法律として誤って描写された指針、時代遅れの法的参照、およびタイムライン計算における算術エラーです。各パターンには、定義された検出手法が設けられています。
調査結果は、CRITICAL、HIGH、MODERATE、LOW の4つの重大度レベルに分類され、各レベルには明確な定義、具体例、および必要な対応措置が設けられています。CRITICAL に該当する問題は、いかなる配布よりも前に解決される必要があります。
legal_quality_scorer.py ツールは、カテゴリ別の内訳を含む1〜5の複合スコアを生成します。4/5未満のスコアが付いた文書は配布してはなりません。配布前ゲートワークフローにより、CRITICALな問題がゼロであること、および免責事項が完備されていることが強制されます。
2つのPythonスクリプト — legal_fact_checker.py と legal_quality_scorer.py — は、テキストまたはファイル入力、JSON出力、詳細モード、およびレポート保存をサポートしています。これらは初期スキャンツールとして機能し、手動による敵対的レビューへの入力として活用されるよう設計されています。
すぐに実行できる3つのワークフローが用意されており、完全な敵対的レビュー、迅速な引用確認、および配布前のゲーティングをカバーしています。各ワークフローには、完了基準が満たされていることを確認するための検証ステップが含まれています。
legal_fact_checker.py を実行してすべての引用と日付にフラグを立て、それぞれをEUR-LexまたはeCFRと照合して確認した後、legal_quality_scorer.py を実行して、クライアントまたはスタッフに送付する前に5点満点中4点以上のスコアおよびCRITICAL(重大)な指摘事項がゼロであることを確認してください。
ワークフロー2(クイック引用チェック)を使用して、文書からすべての法的引用を抽出し、それぞれを関連する公式ソースと照合して検証します。これにより、架空の条文番号や誤引用された規定が法務チームに届く前に発見できます。
legal_quality_scorer.py をドキュメント生成パイプラインの自動ゲートとして統合します。スコアが5点中4点を下回るドキュメントはすべて人間によるレビューのために保留され、閾値および免責事項の要件を満たしたドキュメントのみが下流に渡されます。
敵対的な視点で6ステップの方法論を適用します。すべての事実的な主張と数字にマークを付け、日付を法令のテキストと照合して検証し、確実性として提示されている憶測にフラグを立て、起草チーム向けに重大度で分類された調査結果レポートを作成します。
npx clawhub@latest install legal-red-teamnpx clawhub@latest install legal-red-teamレビューを書くにはログイン
まだレビューはありません。最初の体験をシェアしましょう!