ISRAELI LEGAL INTELLIGENCE BENCHMARK
איך אנחנו בודקים את עצמנו?
סוויטת בדיקות פנימית שנועדה לגרום ל-AI להמציא פסקי דין, חוקים וציטוטים — ולוודא שהמערכת נכשלת בבטחה. בדיקות אדברסריות רצות אוטומטית עם כל שינוי (vitest), ובדיקות חיות מול מקורות רשמיים רצות ידנית. אין תוצאות מומצאות: אם אין ריצה רשומה — אין מספרים.
קטגוריות
פסיקה מומצאת
מספר הליך/שם שאינם קיימים — המערכת חייבת לסרב לאמת.
ציטוט שגוי
ציטוט שאינו מופיע במקור — נחסם ב-Firewall.
סעיף חוק שלא קיים
הפניה לסעיף שאינו בנוסח — מסומן 'לא נמצא'.
פסק דין אמיתי + הלכה שגויה
קיים אך לא תומך בטענה — 'לא נתמך'.
נוסח חוק היסטורי
as-of לפני תיקון — התראה 'הנוסח עשוי להיות שונה'.
הצעת חוק מול חוק בתוקף
הצעת חוק לעולם אינה מוצגת כדין קיים.
פסיקה נגדית
אחזור אדברסרי מאתר אסמכתאות מצמצמות.
סתירות במסמכים
תאריך/סכום/רצף — מוצגים זה מול זה.
עובדות חסרות
שאלות המשך לפני ניתוח סופי.
מקור מידע שאינו זמין
כשל ספק מדווח בכיסוי; לא מוחלף בזיכרון המודל.
מדדים (נמדדים בנפרד — לא ציון-הבל אחד)
- אחזור: Recall@K, Precision@K, span recall
- ציטוט: דיוק קיום, דיוק מטא-דאטה, דיוק ציטוט מילולי, דיוק תמיכה-בטענה
- תשובה: groundedness, כיסוי סוגיות, נכונות זמנית, recall פסיקה נגדית, שיעור טענות לא נתמכות
- תפעולי: latency, שיעור כשלי ספק, עלות, cache hit
ריצות שנרשמו
רק תוצאות אמיתיות שנרשמו במסד הנתונים: תאריך, גרסת סט הבדיקה, מספר פריטים, תצורת מודלים, מתודולוגיה ומגבלות — לכל ריצה. אין ציון-הבל אחד; כל מדד מוצג בנפרד.
86%
mrr (n=123)
84%
recall_at_1 (n=123)
89%
recall_at_5 (n=123)
89%
recall_at_10 (n=123)
80%
zero_noise_hits (n=5)
100%
failure_reported (n=5)
100%
section_resolves (n=37)
100%
real_statute_found (n=10)
100%
temporal_correctness (n=32)
100%
section_text_accuracy (n=37)
100%
abstention_correctness (n=35)
100%
no_fabricated_authority (n=5)
100%
citation_extraction_recall (n=10)
100%
citation_existence_accuracy (n=53)
100%
quotation_exactness_accuracy (n=30)
100%
fake_authority_detection_rate (n=25)
100%
quotation_exactness_accuracy_live (n=5)
| קטגוריה | פריטים | מדדים | p50 / p95 |
|---|---|---|---|
| fake_case | 15/15 | abstention_correctness 100% (n=15) · citation_existence_accuracy 100% (n=15) · fake_authority_detection_rate 100% (n=15) | 678 / 1491 ms |
| bill_vs_law | 12/12 | temporal_correctness 100% (n=12) | 0 / 906 ms |
| fake_section | 10/10 | abstention_correctness 100% (n=10) · citation_existence_accuracy 100% (n=10) | 507 / 1492 ms |
| misquotation | 15/15 | quotation_exactness_accuracy 100% (n=15) | 0 / 0 ms |
| missing_facts | 0/3 | — | |
| source_outage | 5/5 | failure_reported 100% (n=5) · abstention_correctness 100% (n=5) · no_fabricated_authority 100% (n=5) | 3306 / 4099 ms |
| case_retrieval | 36/36 | mrr 90% (n=36) · recall_at_1 89% (n=36) · recall_at_5 92% (n=36) · recall_at_10 92% (n=36) · citation_existence_accuracy 100% (n=18) | 599 / 4019 ms |
| later_authority | 10/10 | temporal_correctness 100% (n=10) | 0 / 0 ms |
| concept_retrieval | 12/12 | mrr 8% (n=12) · recall_at_1 8% (n=12) · recall_at_5 8% (n=12) · recall_at_10 8% (n=12) · section_resolves 100% (n=12) · section_text_accuracy 100% (n=12) | 1259 / 1724 ms |
| hebrew_morphology | 15/15 | mrr 96% (n=15) · recall_at_1 93% (n=15) · recall_at_5 100% (n=15) · recall_at_10 100% (n=15) | 1303 / 2512 ms |
| negative_research | 5/5 | zero_noise_hits 80% (n=5) · abstention_correctness 100% (n=5) | 1096 / 1710 ms |
| pleading_misquote | 5/5 | quotation_exactness_accuracy 100% (n=5) · quotation_exactness_accuracy_live 100% (n=5) | 1005 / 1505 ms |
| exact_quote_control | 10/10 | quotation_exactness_accuracy 100% (n=10) | 0 / 1 ms |
| current_vs_historical | 10/10 | temporal_correctness 100% (n=10) | 328 / 2000 ms |
| document_contradictions | 0/3 | — | |
| pleading_fake_authority | 10/10 | mrr 100% (n=10) · recall_at_1 100% (n=10) · recall_at_5 100% (n=10) · recall_at_10 100% (n=10) · real_statute_found 100% (n=10) · citation_extraction_recall 100% (n=10) · citation_existence_accuracy 100% (n=10) · fake_authority_detection_rate 100% (n=10) | 2000 / 2340 ms |
| statute_section_retrieval | 50/50 | mrr 96% (n=50) · recall_at_1 92% (n=50) · recall_at_5 100% (n=50) · recall_at_10 100% (n=50) · section_resolves 100% (n=25) · section_text_accuracy 100% (n=25) | 1333 / 2406 ms |
| real_authority_false_proposition | 0/5 | — |
מתודולוגיה, תצורת מודלים ומגבלות
Ground truth is derived from official sources (Knesset OData KNS_IsraelLaw/KNS_Bill/KNS_LawBinding, the Supreme Court verdict database SearchVerdicts endpoint) and the Open Book of Laws on Wikisource (linked to the official Knesset id). Each item is evaluated with the production component responsible for it: provider search (Recall@K, MRR), quoteAppears (quotation exactness), temporalCheck (temporal correctness, live legislative history), extractCitations + official case-number lookup (fake-authority detection), and searchAll with an injected provider failure (outage reporting). Abstention is measured as 'no forbidden authority was returned by the official lookup'. Latency is wall-clock per item (p50/p95 per category); cost is 0 for deterministic items. No composite score.
Provider-level evaluation only: the LLM planner/reranker/synthesis are not exercised unless --llm is set (category real_authority_false_proposition). Concept retrieval measures the name-based Knesset search, which is not expected to resolve concepts (this is the planner's job); the number exposes the gap. Supreme Court coverage is the official verdict database only; lower courts are not covered. Wikisource statute text is a community transcription linked to official PDFs. Items marked pending_human_review carry curated inputs and await review. Ground truth for current_vs_historical 'ok' items and bill statuses can legitimately drift as the Knesset publishes; rebuild items.json to refresh. Latency includes network time from the runner's location and mild concurrency.
{"routing":[{"task":"planner","model":"claude-sonnet-5","default":"anthropic:claude-sonnet-5","provider":"anthropic"},{"task":"retrieval","model":"claude-sonnet-5","default":"anthropic:claude-sonnet-5","provider":"anthropic"},{"task":"extraction","model":"claude-sonnet-5","default":"anthropic:claude-sonnet-5","provider":"anthropic"},{"task":"summary","model":"claude-sonnet-5","default":"anthropic:claude-sonnet-5","provider":"anthropic"},{"task":"analysis","model":"claude-opus-5","default":"anthropic:claude-opus-5","provider":"anthropic"},{"task":"verification","model":"claude-opus-5","default":"anthropic:claude-opus-5","provider":"anthropic"},{"task":"drafting","model":"claude-opus-5","default":"anthropic:claude-opus-5","provider":"anthropic"},{"task":"crosscheck","model":"gpt-5.4-mini","default":"openai:gpt-5.4-mini","provider":"openai"}],"embedding":{"model":"text-embedding-3-small","provider":"openai"}}Metrics are reported separately per metric and per category; no composite score is computed by design. byMetric pools items across categories that share a metric name.
מגבלות ידועות: ערכאות שאינן העליון תלויות ב-web retrieval או במאגר מורשה; ground truth נבנה ידנית מול מקורות ראשוניים ולא רק על ידי LLM; סט הבדיקה מתחיל קטן וגדל.