Schweregrad: der blinde Fleck in langen Nachrichten
Kurze Nachrichten waren nie das Problem. Lange schon: Ein einzelner kritischer Satz, eingebettet in vier Absätze Vorgeschichte, verlor gegen seinen eigenen Zusammenhang. Wie die Schwäche gefunden, gemessen und geschlossen wurde.
Von Howzer Team, Modelle ·
Das Schweregradmodell ordnet jede Nachricht in vier Stufen ein, von niedrig bis kritisch, und gibt zusätzlich einen kalibrierten Wert aus. Bei kurzen Nachrichten funktionierte das von Anfang an gut. Bei langen nicht, und der Grund war unangenehm einfach.
Version 2.1: die Schwäche stand im Protokoll
Schon die Basisversion der heutigen Reihe hatte die Langtext-Schwäche dokumentiert. Bei sehr langen Nachrichten lag die Trefferquote nur wenig über der Hälfte, während kurze zuverlässig eingeordnet wurden. Das war kein Verdacht, sondern eine gemessene Zahl in einem Protokoll, und sie hat den weiteren Weg bestimmt. Eine dokumentierte Schwäche ist die billigste Art, eine zu haben.
Version 2.2: mehr Platz war nicht genug
Der naheliegende Verdacht war das Analysefenster. Ein Modell liest nicht beliebig viel Text am Stück, sondern einen Ausschnitt fester Länge, und was dahinter steht, existiert für die Einordnung nicht. Version 2.2 vergrößerte diesen Ausschnitt und brachte eine erste Trainingsrunde auf langen Texten mit. Es half, und es reichte nicht: Ein Teil der langen Nachrichten blieb blind. Die Messreihe, die das zeigte, führte direkt zur nächsten Version.
192 Token512 Token
Version 2.2. Mehr Text am Stück, und trotzdem blieb die Blindstelle.
20
Version 2.3. Empfindlicher werden, ohne nervöser zu werden.
Version 2.3: sichtbar heißt gefunden
Die eigentliche Ursache war nicht die Länge des Ausschnitts, sondern die Verdünnung. Ein einzelner alarmierender Satz zwischen vier Absätzen ruhiger Vorgeschichte wurde vom Umfeld überstimmt: Der Durchschnitt der Nachricht war harmlos, also war es die Einstufung auch. Version 2.3 wurde auf genau diese Konstellation trainiert. Seither gilt eine klare Zusage: Was im Analysefenster steht, wird auch gefunden.
- Jedes im Analysefenster sichtbare Warnsignal wird erkannt.
- Fehlalarme auf langen Nachrichten, die gar kein Signal enthalten, gingen auf null zurück.
- Die Genauigkeit auf kurzen Nachrichten stieg gleichzeitig, statt für den Gewinn bei den langen zu bezahlen.
Kurze und sehr lange Nachrichten werden auf der Messseite getrennt ausgewiesen, jeweils mit Umfang und Konfidenzintervall. Wer wissen will, ob die Zusage von oben heute noch trägt, findet die Antwort dort und nicht hier.