Wir haben nachgesehen, ob die Notbremse greift
Software meldet gern Erfolg. Die interessantere Frage ist, ob die Teile, die im Ernstfall einspringen sollen, jemals eingesprungen sind. Wir haben in Howzer nachgezählt und die Antworten in dieses Release gepackt.
Von Howzer Team, Technik ·
Jedes System hat Teile, die im Normalbetrieb nichts tun. Sie sitzen da für den Fall, dass etwas schiefgeht: die Weiterleitung an die Rechtsabteilung, die Warnung bei ungewöhnlichen Werten, die Ersatzantwort, wenn das Sprachmodell nicht erreichbar ist. Solche Teile haben eine unangenehme Eigenschaft. Wenn sie kaputt sind, merkt man es nicht, denn ein Teil, das nichts tut, sieht genauso aus wie ein Teil, das nichts tun muss.
Wir haben deshalb nicht gefragt, ob Howzer funktioniert. Wir haben gefragt, welche Sicherung wann zuletzt tatsächlich ausgelöst hat. Drei Antworten haben uns nicht gefallen, und dieses Release besteht aus nichts anderem als diesen drei Antworten.
Die Weiterleitung, die nie einen Fall bekam
Wenn jemand mit rechtlichen Schritten droht, soll das nicht in der allgemeinen Warteschlange landen, sondern bei den Leuten, die damit umgehen können. Diese Regel gab es seit Langem. Sie hat nur nie gegriffen: Sie prüfte Merkmale, die es in dieser Form nicht mehr gab, seit die Analyse auf eigene Sprachmodelle umgestellt wurde. Die Bedingung konnte nie wahr werden, und deshalb blieb die Warteschlange für Rechtsfälle leer. Nicht selten. Leer.
Die Regel stützt sich jetzt auf ein Signal, das unabhängig von jedem Sprachmodell arbeitet und den vollständigen Text liest, nicht nur seinen Anfang. Genau daran lag es bei den schwersten Fällen: Wer seine Kündigung sachlich beginnt und erst am Ende einer langen Nachricht mit dem Anwalt droht, wurde vorher nicht als solcher Fall erkannt. Eine zweite Regel, die ähnlich stillgelegt war, haben wir nicht heimlich repariert, sondern als unwirksam gekennzeichnet. Eine Sicherung, die es nicht gibt, soll auch nicht so aussehen, als gäbe es sie.
Der Wert, der immer perfekt sagte
Jede erzeugte Antwort trug eine interne Qualitätsnote. Wir haben sie über eine breite Durchsicht mit unserer eigenen Bewertung derselben Antworten verglichen. Das Ergebnis war eindeutig, nur leider nicht so, wie man es sich wünscht.
Ein Messwert, der fast immer Bestnote vergibt, misst nichts. Er beruhigt nur.
Wir haben diesen Wert nicht nachgebessert, sondern entfernt. Ein Programm, das seine eigene Arbeit benotet, gibt sich verlässlich gute Noten, und niemand schaut mehr hin. Qualität beurteilen bei uns Menschen, die die Antworten lesen. Aus demselben Grund ist auch die Möglichkeit verschwunden, unsere Auswertungen von einem Sprachmodell benoten zu lassen.
Wenn die Antwort nicht vom Modell kommt
Fällt das Sprachmodell aus, hat Howzer immer eine schlichte Ersatzantwort erzeugt, damit niemand ohne Rückmeldung bleibt. Das ist richtig so. Falsch war, dass diese Ersatzantwort für alle nachfolgenden Schritte aussah wie eine ganz normale Antwort. Sie ging in den Versand, sie stand im Protokoll, und im laufenden Betrieb wäre nicht aufgefallen, dass seit Stunden niemand mehr eine individuelle Antwort bekommt.
- Ersatzantwort nicht von einer echten unterscheidbar
- Ausfall des Modells blieb ohne Protokolleintrag
- Versand entschied allein nach Textlänge
- Ein stiller Ausfall konnte lange unbemerkt laufen
- Jede Antwort trägt ihre Herkunft mit
- Der Ausfall wird protokolliert, sobald er auftritt
- Zugestellt wird nur, was nachweislich vom Modell stammt
- Ersatzantworten gehen in die manuelle Sichtung
Und der Weg zu Ihnen
Beim Nachrechnen des Auslieferungspakets kam noch etwas ans Licht. Das Paket wurde bisher zusammengestellt, indem der Ordner durchsucht wurde, in dem gerade entwickelt wird. Dabei sind Dateien mitgereist, die dort nur zufällig lagen und in einer Auslieferung nichts verloren haben. Das Paket entsteht jetzt ausschließlich aus dem, was verbindlich zur Version gehört, und wird nach dem Bauen dagegen geprüft, in beide Richtungen.
- Die Installation ohne Netzzugang funktioniert wieder wie beschrieben. Sie verlangte bisher Zugangsdaten, obwohl alle Modelle bereits lokal vorlagen.
- Zugangsdaten für angebundene Systeme liegen dort, wo sie hingehören, und nicht mehr in der Prozessumgebung.
- Die Warnschwelle für Antwortzeiten passt jetzt zum tatsächlichen Betrieb mit Sprachmodell, statt dauerhaft Alarm zu schlagen.
- Der belegte Grafikspeicher lässt sich begrenzen, damit sich Analyse und Antwortmodell auf einer Karte nicht gegenseitig verdrängen.
An der Analyse selbst ändert dieses Release nichts. Wer eine laufende Installation hat, aktualisiert sie an Ort und Stelle. Zwei Dinge sollte man dabei wissen: Rückmeldungen mit rechtlichem Bezug erreichen ab jetzt tatsächlich die dafür vorgesehene Warteschlange, diese Stelle sollte also besetzt sein. Und Antworten werden nur noch zugestellt, wenn sie vom Modell stammen.
Nichts davon ist eine neue Funktion. Es ist die Sorte Arbeit, die man nur findet, wenn man den eigenen Erfolgsmeldungen misstraut und nachzählt. Wir halten das für die interessantere Art, an einem Produkt zu arbeiten, das im Ernstfall verlässlich sein soll.