BGB 40/10
Exported from 14 run(s) (50 norms).
Modellauswahl
10 / 25 ModelleODER innerhalb einer Kategorie, UND zwischen Kategorien. z.B. Open Source + Europa → nur europäische Open-Source-Modelle.
Grösse
Typ
Region
Anbieter
Score-Tabelle
| Rank | Modell↕ | Score?Durchschnittliche Textähnlichkeit zum Gesetzestext (0-100%), gemessen als normalisierte Levenshtein-Distanz.↓ | Net Correctness?Korrekte Antworten minus falsche Antworten. Enthaltungen werden nicht bestraft, Halluzinationen schon.↕ | Kalibrierung?Anteil der Fälle, in denen das Modell die richtige Entscheidung trifft: antworten, wenn es die Antwort kennt; sich enthalten, wenn nicht.↕ | Halluzinationsrate?Wie oft das Modell im Enthaltungsmodus falsch antwortet, obwohl es im Forced-Modus falsch lag.↕ | VerteilungTP / FP / TN / FN |
|---|---|---|---|---|---|---|
| 1 | Gemini 3 Pro PreviewGoogle | 61.57% | -13.0✓18 ✗31 ○1 | 38.0% | 96.4% | 183110 |
| 2 | Gemini 3 Flash PreviewGoogle | 60.23% | -12.0✓19 ✗31 ○0 | 38.0% | 96.6% | 193100 |
| 3 | Claude Opus 4.6Anthropic | 59.36% | -15.0✓16 ✗31 ○3 | 38.0% | 87.1% | 163130 |
| 4 | GPT-5OpenAI | 46.34% | -6.0✓8 ✗14 ○28 | 70.0% | 32.5% | 814271 |
| 5 | Mistral Large 2512MistralAI | 46.03% | -8.0✓13 ✗21 ○16 | 56.0% | 55.9% | 1321151 |
| 6 | GPT-5.4OpenAI | 41.24% | 6.0✓10 ✗4 ○36 | 92.0% | 9.8% | 104360 |
| 7 | Grok 4xAI | 37.23% | -23.0✓10 ✗33 ○7 | 34.0% | 82.5% | 103370 |
| 8 | DeepSeek-V3.2DeepSeek | 35.11% | -19.0✓6 ✗25 ○19 | 48.0% | 52.4% | 625181 |
| 9 | GPT-4.1OpenAI | 34.28% | -25.0✓6 ✗31 ○13 | 38.0% | 69.8% | 631130 |
| 10 | GPT-3.5OpenAI | 16.78% | -47.0✓0 ✗47 ○3 | 6.0% | 93.8% | 04730 |
| Gesamt (10 Modelle) |