BGB 40/10
Exported from 25 run(s) (50 norms).
Modellauswahl
12 / 39 ModelleODER innerhalb einer Kategorie, UND zwischen Kategorien. z.B. Open Source + Europa → nur europäische Open-Source-Modelle.
Grösse
Typ
Region
Anbieter
Score-Tabelle
| Rank | Modell↕ | Score?Durchschnittliche Textähnlichkeit zum Gesetzestext (0-100%), gemessen als normalisierte Levenshtein-Distanz.↓ | Net Correctness?Korrekte Antworten minus falsche Antworten. Enthaltungen werden nicht bestraft, Halluzinationen schon.↕ | Kalibrierung?Anteil der Fälle, in denen das Modell die richtige Entscheidung trifft: antworten, wenn es die Antwort kennt; sich enthalten, wenn nicht.↕ | Halluzinationsrate?Wie oft das Modell im Enthaltungsmodus falsch antwortet, obwohl es im Forced-Modus falsch lag.↕ | VerteilungTP / FP / TN / FN |
|---|---|---|---|---|---|---|
| 1 | Claude Fable 5Anthropic | 90.36% | 31.0✓38 ✗7 ○5 | 84.0% | 54.5% | 38741 |
| 2 | GPT-5.6 SolOpenAI | 83.18% | 26.0✓36 ✗10 ○4 | 78.0% | 60.0% | 361031 |
| 3 | Claude Opus 5Anthropic | 80.75% | 21.0✓33 ✗12 ○5 | 76.0% | 61.1% | 331250 |
| 4 | Gemini 3.5 FlashGoogle | 64.41% | 13.0✓17 ✗4 ○29 | 82.0% | 13.8% | 174245 |
| 5 | DeepSeek-V4-ProDeepSeek | 53.88% | 2.0✓17 ✗15 ○18 | 68.0% | 32.4% | 1715171 |
| 6 | GPT-5OpenAI | 46.34% | -6.0✓8 ✗14 ○28 | 70.0% | 32.5% | 814271 |
| 7 | Mistral Large 2512Mistral AI | 46.03% | -8.0✓13 ✗21 ○16 | 56.0% | 55.9% | 1321151 |
| 8 | Llama 4 MaverickMeta | 42.68% | -32.0✓9 ✗41 ○0 | 18.0% | 100.0% | 94100 |
| 9 | GPT-5.4OpenAI | 41.24% | 6.0✓10 ✗4 ○36 | 92.0% | 9.8% | 104360 |
| 10 | Grok 4xAI | 37.23% | -23.0✓10 ✗33 ○7 | 34.0% | 82.5% | 103370 |
| 11 | GPT-4.1OpenAI | 34.28% | -25.0✓6 ✗31 ○13 | 38.0% | 69.8% | 631130 |
| 12 | GPT-3.5 TurboOpenAI | 16.78% | -47.0✓0 ✗47 ○3 | 6.0% | 93.8% | 04730 |
| Gesamt (12 Modelle) |