Risiko: als das Modell noch Lob für einen Notfall hielt
Ein Text voller Begeisterung erreichte Risikowerte knapp unter dem Maximum. Die Ursache lag im Modell, behandelt wurde sie eine Zeit lang daneben. Wie die Fehleinschätzung verschwand, und was mit ihr verschwinden konnte.
Von Howzer Team, Modelle ·
Das Risikomodell vergibt keinen einfachen Aufkleber, sondern einen kalibrierten Wert zwischen null und eins, dazu eine Stufe. Ein Wert nahe eins bedeutet: Hier geht gleich jemand, oder hier wird es rechtlich. In Version 4 erreichte reines, überschwängliches Lob Werte bis 0,97.
Warum das kein kleiner Ausreißer war
Ein Modell, das gelegentlich danebenliegt, ist normal. Eines, das eine ganze Sorte von Texten planmäßig falsch einordnet, ist etwas anderes: Der Fehler ist dann vorhersagbar, und vorhersagbare Fehler richten in einer Sichtung den größten Schaden an. Wer Rückmeldungen nach Risiko sortiert bekommt, sieht oben Fälle, die keine sind, und verliert das Vertrauen in die Reihenfolge. Danach wird die Sortierung ignoriert, und dann trägt sie nichts mehr.
Version 4: die Kurve war schon einmal das Problem
Die Vorgängerversion hatte an einer verwandten Stelle angesetzt. Das damalige Kalibrierverfahren erzeugte Plateaus: ganze Bereiche, in denen sichtbar verschiedene Nachrichten denselben Wert bekamen. Eine glatte Kurve ersetzte es und löste das. Die Lob-Schwäche blieb, und sie wurde in derselben Runde als bekannte Schwäche notiert statt beiseitegelegt. Diese Notiz war der Auftrag für Version 5.
Wie viele davon mit den Standardschwellen fälschlich als hoch oder kritisch eingestuft wurden. Weniger ist hier besser.
Version 5: die Ursache statt der Wirkung
Version 5 wurde gegen diese Kohorte trainiert, bis die Werte dort hingingen, wo sie hingehören. Wichtiger als das Ergebnis selbst ist, was daneben nicht passiert ist: Die Erkennung kritischer Fälle blieb unverändert. Ein Modell vorsichtiger zu machen ist leicht, wenn man bereit ist, dafür echte Notfälle zu übersehen. Das war hier nicht der Preis, und deshalb ist es überhaupt eine Verbesserung.
Zwei Notbehelfe konnten gehen
Solange die Schwäche im Modell saß, hielt das laufende System sie in Schach: eine Sonderschwelle und eine Prüfung, die erst die Stimmung befragte, bevor ein hoher Risikowert durchgelassen wurde. Beides war als Übergang gebaut, und beides ist zurückgebaut. Solche Stützen sind teurer, als sie aussehen. Sie beschreiben an einer zweiten Stelle, was das Modell selbst wissen müsste, und wenn das Modell besser wird, korrigieren sie weiter etwas, das es nicht mehr gibt.
Der heutige Stand des Modells, samt Kalibrierfehler und Erkennung kritischer Fälle, steht auf seiner Messseite mit Referenzsatz und Konfidenzintervall.