Zum Inhalt springen

Thema

Version v2.0 · 3. August 2026

Ordnet Nachrichten Themenfeldern zu, etwa Pannenhilfe, Mitgliedschaft oder Versicherung, samt Detailthemen. Nachrichten mit mehreren Themen erhalten ein Haupt- und ein Nebenthema.

Messungen

Der waagerechte Balken ist die Konfidenzspanne, der senkrechte Strich der Messwert. Die Skala läuft immer von 0 bis 100 Prozent und wird nie beschnitten: Eine breite Spanne bedeutet eine kleine Stichprobe, und genau so soll sie aussehen.

Modell-Ebene

Handannotierte beziehungsweise kuratierte Referenzfälle der Modellentwicklung: eingefrorene Testsplits, Produktions-Testfälle, gezielt zusammengestellte Kohorten. Wenige hundert Fälle je Modell, von Menschen geprüft.

  • Themenzuordnung auf echten Kundennachrichten

    75,8 %

    Referenzsatz:
    Eingefrorene Auswertung echter Kundennachrichten
    Umfang:
    n = 182 · Stand 3. August 2026
    95-%-Konfidenzintervall:
    69,1 % bis 81,4 % (Wilson, 95 %, auf dem vollen Referenzsatz, n = 182)

  • Kuratierte Testfälle bestanden

    91,8 %

    Gemessen am Themenmodell v1.1Gemessen am Vorgängermodell auf einem leichteren, kuratierten Referenzsatz. Das Nachfolgemodell v2.0 ist auf echten Kundennachrichten geprüft, das ist die Zeile darüber; die beiden Zahlen sind nicht vergleichbar. Eine Neu-Messung im Gesamtdurchlauf kommt mit dem nächsten Referenzlauf.

    Referenzsatz:
    Kuratierte Testfälle
    Umfang:
    n = 122 · Stand 11. März 2026
    95-%-Konfidenzintervall:
    85,6 % bis 95,5 % (Wilson, 95 %, auf dem vollen Referenzsatz, n = 122)

Kalibrierung

Temperatur-Skalierung.

Für dieses Modell ist kein Kalibrierungsfehler als Zahl veröffentlicht.

Versionshistorie

Die Kernmetrik einer Version ist Versionskontext, keine eigenständig belegte Messung: Sie nennt weder Referenzsatz noch Umfang. Die belegten Messungen stehen oben.

  1. v1.0

    11. März 2026

  2. v1.1

    11. März 2026

  3. v2.0

    3. August 2026

    aktuell

Die Abfolge zeigt Reihenfolge und Stand, keine Werte. Die Kernmetrik wechselt zwischen den Versionen: mal eine Zählung, mal ein Anteil, beim Risiko-Modell sogar die Richtung. Eine gemeinsame Achse gibt es dafür nicht, die Werte stehen deshalb einzeln darunter.

  • v2.0

    3. August 2026

    Themenzuordnung auf echten Kundennachrichten: 75,8 %

    Was sich geändert hat

    • Zwölftes Themenfeld für verbandspolitische Rückmeldungen ergänzt.
    • Erstmals mit echten Kundennachrichten trainiert und auf einer eingefrorenen Realdaten-Auswertung geprüft; die Fehlzuordnung von Geldbeträgen zum Themenfeld Finanzen ist von 11,1 auf 1,2 Prozent gefallen.
    • Größeres Textfenster, 512 statt 192 Token, damit lange Nachrichten vollständig gelesen werden.

  • v1.1

    11. März 2026

    Kuratierte Testfälle: 91,8 %

    Was sich geändert hat

    • Vierte Feinabstimmungsphase: 112 von 122 kuratierten Testfällen bestanden.

  • v1.0

    11. März 2026

    Erstversion

    Was sich geändert hat

    • Erstes eigenes Themenmodell, trainiert und kalibriert.