Legal Red Team

• LLM을 사용해 법률 메모, 계약 요약, 컴플라이언스 가이드 또는 규제 개요 초안을 작성했으며, 공유하기 전에 검증이 필요한 경우.
• 배포 전에 그럴듯하지만 잘못된 조항 번호, 날조된 기한, 또는 출처 없이 단정적으로 서술된 주장을 발견하고 싶은 경우.
• AI가 생성한 법률 콘텐츠에 대해 구조화된 진행/중단 품질 게이트(최소 점수 4/5, CRITICAL 이슈 0건)가 필요한 경우.
• 모든 법령 참조가 실제로 존재하고 인용된 조항과 일치하는지 확인하기 위한 인용 감사를 실행하는 경우.

• 법적 결론, 소송 전략, 또는 전문적인 법률 해석을 검증해야 하는 경우 — 이 스킬은 법적 추론이 아닌 사실 및 인용 정확성을 확인합니다.
• Westlaw, LexisNexis 등 유료 법률 데이터베이스에 대한 접근이 필요한 경우 — 출처 검증은 무료로 접근 가능한 공식 출처에 의존합니다.
• 중요한 사안에 대해 자격을 갖춘 법률 전문가를 대체할 수단을 찾고 있는 경우 — 이 스킬은 대체재가 아닌 보조 수단입니다.

모든 문서는 6가지 구조화된 범주에 걸쳐 평가됩니다: 사실적 정확성, 법적 권한 인용, 산술 검증, 출처 확인, 추측 탐지, 그리고 면책 조항 적절성. 각 범주에는 명확히 정의된 위험 신호와 점검 항목이 있어, 일반적인 오류 유형이 누락되지 않도록 보장합니다.

이 스킬은 법률 콘텐츠에서 반복적으로 나타나는 다섯 가지 AI 환각 패턴을 대상으로 합니다: 그럴듯하지만 잘못된 조항 번호, 자신감 있게 제시되는 부정확한 날짜, 구속력 있는 법률로 잘못 설명된 지침, 오래된 법적 참조, 그리고 기간 계산에서의 산술 오류입니다. 각 패턴에는 정의된 탐지 기법이 있습니다.

발견 사항은 CRITICAL, HIGH, MODERATE, LOW의 네 가지 심각도 수준으로 분류되며, 각 수준에는 명확한 정의, 예시 및 필요한 조치가 포함됩니다. CRITICAL 문제는 배포 전에 반드시 해결되어야 합니다.

legal_quality_scorer.py 도구는 카테고리별 세부 항목과 함께 1–5점의 종합 점수를 산출합니다. 4/5점 미만의 문서는 배포되어서는 안 되며, 배포 전 게이트 워크플로우는 CRITICAL 이슈가 없고 면책 조항이 완전히 포함되어 있는지를 강제적으로 확인합니다.

두 가지 Python 스크립트 — legal_fact_checker.py와 legal_quality_scorer.py — 는 텍스트 또는 파일 입력, JSON 출력, 상세 모드(verbose mode), 그리고 보고서 저장 기능을 지원합니다. 이 도구들은 1차 스캔 도구로서, 수동 적대적 검토(manual adversarial review)에 연계되도록 설계되었습니다.

세 가지 즉시 실행 가능한 워크플로는 전체 적대적 검토, 빠른 인용 확인, 배포 전 게이팅을 포함합니다. 각 워크플로에는 완료 기준이 충족되었는지 확인하는 검증 단계가 포함되어 있습니다.

legal_fact_checker.py를 실행하여 모든 인용 및 날짜를 표시하고, EUR-Lex 또는 eCFR을 통해 각 항목을 검증한 후, legal_quality_scorer.py를 실행하여 고객 또는 직원에게 전송하기 전에 5점 만점에 4점 이상의 점수와 CRITICAL 소견 제로를 확인하십시오.

Workflow 2 (Quick Citation Check)를 사용하여 문서에서 모든 법적 인용을 추출하고, 각각을 관련 공식 출처와 대조하여 검증합니다 — 허위로 생성된 조문 번호나 잘못 인용된 조항이 법무팀에 전달되기 전에 포착합니다.

legal_quality_scorer.py를 문서 생성 파이프라인의 자동화된 게이트로 통합하세요. 5점 만점에 4점 미만으로 평가된 문서는 사람의 검토를 위해 보류되며, 임계값 및 면책 조항 요건을 충족하는 문서만 다음 단계로 전달됩니다.

적대적 사고방식을 바탕으로 6단계 방법론을 적용하세요: 모든 사실적 주장과 수치를 표시하고, 법령 문언에 따라 날짜를 검증하며, 확실성으로 제시된 추측을 지적하고, 초안 작성 팀을 위한 심각도 분류 결과 보고서를 작성하세요.