Benchmarks

Die Howzer-Pipeline besteht aus zwölf Analyseschritten: sieben eigene, trainierte Modelle und fünf regelbasierte Engines. Diese Seite zeigt, was davon gemessen ist, wie gut es gemessen ist und woran gemessen wurde.

Die Zahlen stammen aus zwei verschiedenen Quellen, und die beiden sind nicht dasselbe. Die Modell-Ebene misst gegen handannotierte und kuratierte Referenzfälle der Modellentwicklung: wenige hundert Fälle, jeder von Menschen geprüft. Der Pipeline-Referenzlauf misst end-to-end durch die vollständige Pipeline, gegen die Referenzwerte eines synthetischen deutschen Testkorpus: zehntausend Fälle, maschinell abgeleitet. Beide stehen hier nebeneinander, und jede einzelne Zahl nennt, aus welcher der beiden sie kommt.

Hier wird nicht verglichen. Die Modelle treten nicht gegeneinander an: Sie messen verschiedene Dinge, ihre Kennzahlen bedeuten Verschiedenes, und nicht zu jedem Modell gibt es zu jeder Quelle eine Zahl. Eine Rangliste aus diesen Werten wäre eine Aussage, die die Daten nicht hergeben.

Zu jeder Zahl gehören der Referenzsatz, seine Grösse und, wo sie statistisch zulässig ist, die Konfidenzspanne. Das ist keine Formalie: Die eindrucksvollere Zahl steht hier oft auf der kleineren Stichprobe. Wo keine Spanne steht, steht der Grund dafür.

Stand 4. August 2026