Weniger Alarm, mehr Treffer

Ein Modell, das Nachrichten einsortiert, kann nur die Fächer benutzen, die es kennt. Das klingt harmlos und ist es nicht. Denn was in kein Fach passt, bleibt nicht liegen, es landet im nächstbesten. Aussortiert wird nichts, es wird nur falsch einsortiert, und zwar mit derselben Selbstsicherheit wie alles andere. Diese Version schliesst zwei solche Lücken.

Die Kategorie, die es nicht gab

Kundenrückmeldungen kommen in Wellen, und die grösste Welle betrifft oft nicht ein Produkt, sondern eine Entscheidung: eine Regeländerung, eine Beitragsanpassung, eine Neuausrichtung. Für diese Art Rückmeldung hatte das Themenmodell kein Fach. Sie verteilte sich also auf die vorhandenen, meist auf Beschwerden über Abläufe, wo sie niemandem half. Jetzt gibt es das Fach, und die Welle ist als Welle sichtbar statt als Rauschen in vier anderen Themen.

Der zweite Fehler war subtiler und deshalb hartnäckiger. Steht in einer Nachricht ein Geldbetrag, hielt das Modell das für ein starkes Signal, es gehe um Zahlungen. Meistens geht es aber um etwas ganz anderes, und der Betrag ist nur das Beispiel, an dem jemand seinen Ärger festmacht. Wir haben dem Modell beigebracht, den Betrag zu lesen und trotzdem weiterzulesen.

Dramatik ist kein Handlungsbedarf

Der Schweregrad soll beantworten, wie dringend jemand etwas tun muss. Er hat aber lange etwas anderes gemessen, nämlich wie aufgebracht der Text klingt. Das sind nicht dieselben Dinge, und der Unterschied fällt genau dort auf, wo es teuer wird: Eine sachlich formulierte Kündigung ist dringend und klingt ruhig. Eine wütende Beschwerde über eine Kleinigkeit klingt dringend und ist es nicht.

Das neue Modell misst den Handlungsbedarf. Das hat eine Folge, die uns besonders gefällt: Lob landet nicht mehr in der höchsten Stufe. Das klingt nach einem Kuriosum, war aber ein echtes Ärgernis. Wer sich überschwänglich bedankt, schreibt lang, emotional und mit Ausrufezeichen, und genau das hat vorher die Alarmglocke ausgelöst.

Was beides zusammen bewirkt

Beide Modelle wirken auf dieselbe Entscheidung: Was muss sofort auf einen Tisch? Wir haben das an einem festen Satz echter Rückmeldungen nachgerechnet, einmal mit den alten und einmal mit den neuen Modellen.

Wer täglich mit einer Prüfliste arbeitet, merkt das an einer Stelle sofort: Sie wird kürzer, und was darauf steht, gehört eher dorthin. Die Werte, die wir laufend nachziehen, stehen mitsamt ihrem Umfang und ihrer Unsicherheit auf unserer Messseite.

Und was Howzer jetzt lieber offen lässt

Zum Schluss zwei Änderungen, die nichts besser erkennen, sondern ehrlicher sein, wenn etwas nicht erkannt werden kann. Beide folgen derselben Regel: Eine Analyse, die nicht trägt, soll als solche sichtbar sein und nicht als Ergebnis durchgehen.

• Nachrichten in einer Sprache, für die Howzer nicht gebaut ist, werden als solche erkannt und zur menschlichen Prüfung gegeben. Vorher wurden sie analysiert, als wären sie deutsch, und das Ergebnis sah aus wie jedes andere.
• Die Schnittstelle gibt keine erkannten Personenangaben mehr im Klartext zurück, sondern nur noch deren Art und Anzahl. Wer wissen muss, ob eine Nachricht eine Telefonnummer enthält, erfährt das weiterhin. Die Nummer selbst verlässt die Analyse nicht mehr.

Für laufende Installationen ist das ein Update an Ort und Stelle. Eine Sache lohnt den Blick danach: Die Überwachung der Modellsicherheit vergleicht laufende Werte mit einem hinterlegten Normalzustand, und dieser Normalzustand stammt noch von den alten Modellen. Er will einmal neu gesetzt werden, sonst meldet die Überwachung eine Abweichung, die keine ist.

Wir haben in dieser Version keine Funktion hinzugefügt. Wir haben zwei Modelle ausgetauscht, und das Ergebnis ist, dass Howzer seltener ruft. Das ist die Art Fortschritt, die man erst nach ein paar Wochen bemerkt, und dann daran, dass die Liste stimmt.