Zum Inhalt springen

Schweregrad

Version v2.3 · 13. Juli 2026

Stuft eine Nachricht in vier Schweregrade ein, von niedrig bis kritisch, und gibt zusätzlich einen kalibrierten Score aus. Version 2.3 schliesst die Langtext-Blindstelle: Warnsignale mitten in langen Nachrichten wurden zuvor vom umgebenden Kontext verdünnt. Kritische Sicherheits- und Rechtsfälle bilden eine eigene Pflicht-Testklasse.

Messungen

Der waagerechte Balken ist die Konfidenzspanne, der senkrechte Strich der Messwert. Die Skala läuft immer von 0 bis 100 Prozent und wird nie beschnitten: Eine breite Spanne bedeutet eine kleine Stichprobe, und genau so soll sie aussehen.

Modell-Ebene

Handannotierte beziehungsweise kuratierte Referenzfälle der Modellentwicklung: eingefrorene Testsplits, Produktions-Testfälle, gezielt zusammengestellte Kohorten. Wenige hundert Fälle je Modell, von Menschen geprüft.

  • Sichtbare Langtext-Signale erkannt

    24 von 24

    Referenzsatz:
    Langtext-Evalset, kuratiert und held-out
    Umfang:
    n = 50 · Stand 13. Juli 2026
    95-%-Konfidenzintervall:
    86,2 % bis 100,0 % (Wilson, 95 %, auf den gezählten Fällen, n = 24)

  • Fehlalarm-Kontrollen bestanden, signalfreie Langtexte

    6 von 6, keine kritisch-Fehlalarme

    Referenzsatz:
    Langtext-Evalset, kuratiert und held-out
    Umfang:
    n = 50 · Stand 13. Juli 2026
    95-%-Konfidenzintervall:
    61 % bis 100 % (Wilson, 95 %, auf den gezählten Fällen, n = 6)

  • Genauigkeit auf Kurztexten

    95 %

    Referenzsatz:
    Eingefrorener Testsplit, Kurztext-Anteil
    Umfang:
    n = 312 · Stand 13. Juli 2026
    95-%-Konfidenzintervall:
    92,0 % bis 96,9 % (Wilson, 95 %, auf dem vollen Referenzsatz, n = 312)

  • Kritische Pflichtfälle erkannt

    7 von 7

    Referenzsatz:
    Kuratierte Produktions-Testfälle
    Umfang:
    n = 30 · Stand 13. Juli 2026
    95-%-Konfidenzintervall:
    64,6 % bis 100,0 % (Wilson, 95 %, auf den gezählten Fällen, n = 7)

Pipeline-Referenzlauf

End-to-end durch die vollständige Pipeline gemessen, gegen die Referenzwerte eines synthetischen deutschen Testkorpus. Grosse Fallzahlen, aber maschinell abgeleitete Referenzwerte.

  • Genauigkeit gegen akzeptierte Stufen-Mengen

    94,4 %

    Referenzsatz:
    Referenzlauf 2026-08-04
    Umfang:
    n = 10.000 · Stand 4. August 2026
    95-%-Konfidenzintervall:
    93,9 % bis 94,8 % (Wilson, 95 %, auf dem vollen Referenzsatz, n = 10.000)

  • Genauigkeit auf sehr langen Nachrichten

    96,4 %

    Referenzsatz:
    Referenzlauf 2026-08-04, Teilmenge sehr langer Nachrichten
    Umfang:
    n = 357 · Stand 4. August 2026
    95-%-Konfidenzintervall:
    93,9 % bis 97,9 % (Wilson, 95 %, auf dem vollen Referenzsatz, n = 357)

Kalibrierung

Beta-Kalibrierung über eine monotone Kurve. Der Out-of-sample-Wert liegt unter dem gesetzten Gate.

Kalibrierungsfehler (ECE)

0,0176

Niedriger ist besser: der ECE misst, wie weit die ausgegebene Konfidenz von der tatsächlichen Trefferquote abweicht.

Gate: höchstens 0,03Der gemessene Kalibrierungsfehler liegt unter dieser Grenze. Niedriger ist besser, die Grenze ist der Strich.

Versionshistorie

Die Kernmetrik einer Version ist Versionskontext, keine eigenständig belegte Messung: Sie nennt weder Referenzsatz noch Umfang. Die belegten Messungen stehen oben.

Die Messungen oben stammen aus dem Referenzlauf vom 4. August 2026, und der läuft auf Korpus-Generation 1.2.0: Der Generator kennt seit dieser Generation eine eigene Klasse für Verbandspolitik, die Anteile sind entsprechend neu normiert. Die Werte der älteren Versionen darunter wurden auf den Läufen vom 6. und vom 29. Juli gemessen. Jede einzelne Zahl bleibt für ihren eigenen Lauf gültig; eingeschränkt ist der Vergleich untereinander, nicht die Messung.

  1. v2.1

    vor 2026-07

  2. v2.2

    6. Juli 2026

  3. v2.3

    13. Juli 2026

    aktuell

Die Abfolge zeigt Reihenfolge und Stand, keine Werte. Die Kernmetrik wechselt zwischen den Versionen: mal eine Zählung, mal ein Anteil, beim Risiko-Modell sogar die Richtung. Eine gemeinsame Achse gibt es dafür nicht, die Werte stehen deshalb einzeln darunter.

  • v2.3

    13. Juli 2026

    Sichtbare Langtext-Signale

    Was sich geändert hat

    • Langtext-Blindstelle geschlossen: Jedes im Analysefenster sichtbare Signal wird erkannt, vorher 18 von 36.
    • Fehlalarme auf signalfreien Langtexten von 2 auf 0.
    • Die Kurztext-Genauigkeit stieg gleichzeitig von 91,4 auf 95,0 Prozent.

  • v2.2

    6. Juli 2026

    Sichtbare Langtext-Signale (Box-Referenzmessung)

    Was sich geändert hat

    • Analysefenster von 192 auf 512 Token vergrössert, erste Langtext-Trainingsrunde.
    • Langtexte blieben teilweise blind. Die Messreihe dazu führte zu Version 2.3.

  • v2.1

    Zeitraum vor 2026-07

    Genauigkeit (Pipeline-Referenzlauf 2026-07-06): 81,7 %

    Was sich geändert hat

    • Basisversion der aktuellen Reihe. Die Langtext-Schwäche ist dokumentiert: sehr lange Nachrichten 51 Prozent.

Wie es dazu kam

Diese Seite zeigt, wo das Modell heute steht. Was eine Version geändert hat, warum sie nötig war und was sie gekostet hat, steht ausführlich in den Neuigkeiten.