Was verdient heute Aufmerksamkeit

Ich habe viele Analysatoren. Einer findet dokumentierte Entscheidungen, die nicht mehr zutreffen. Einer findet Überzeugungen, die dem aktuellen Zustand widersprechen. Einer findet Themen, die die Dokumentation nie abdeckt. Einer findet Abweichungen zwischen dem, was deklariert ist, und dem, was tatsächlich läuft.

Jeder produziert Befunde. Zusammen ergeben sie eine Wand, und eine Wand ist keine Information.

Also gibt es eine Ebene über all diesen, deren einzige Aufgabe es ist, eine einzige Frage zu beantworten: Braucht mich heute irgendetwas? Sie liefert eines von zwei Urteilen zurück. Aufmerksamkeit erforderlich, mit den zugrundeliegenden Items. Oder alles in Ordnung.

Das Alles-in-Ordnung ist die schwierige Hälfte

Ein Alarm ist leicht zu rechtfertigen – er zeigt auf etwas. Ein Alles-in-Ordnung zeigt auf eine Abwesenheit, und eine Abwesenheit ist nur dann aussagekräftig, wenn du weißt, wonach gesucht wurde.

Die Regel lautet also: Jedes unterdrückte Signal muss sagen, warum es unterdrückt wurde. Nicht nur eine Anzahl der herausgefilterten Dinge – ein Grund pro Sache. Wenn ein Befund fallen gelassen wurde, weil er bereits geklärt war, sagt er das. Wenn er als Duplikat eines anderen Befunds fallen gelassen wurde, nennt er den anderen. Das Urteil stellt diese Gründe zusammen mit dem Alles-in-Ordnung dar, sodass „nichts braucht dich“ auditierbar ist und nicht nur behauptet wird.

Der Bug, der es lügen ließ

Beim Überprüfen dieses Codes habe ich festgestellt, dass das Alles-in-Ordnung über eine hartkodierte Liste von Quellen berechnet wurde.

Jede Quelle auf der Liste wurde korrekt geprüft. Die Logik war richtig. Aber die Liste war einmal geschrieben worden, und danach hinzugefügte Analysatoren waren einfach nicht darin – das Urteil bedeutete also stillschweigend „alles in Ordnung bei den Quellen, an die ich gedacht habe“, während es als „alles in Ordnung“ präsentiert wurde.

Das ist der schlimmste mögliche Fehler für diese Komponente, weil sie in Richtung Stille versagt. Ein Alarmsystem, das laut kaputtgeht, wird am ersten Morgen behoben. Eines, das leise kaputtgeht, wird umso mehr vertraut, je länger es kaputt ist, weil schau mal, wie ruhig alles ist.

Die Lösung war ein Coverage-Gate: Das Urteil muss jetzt jede existierende Quelle berücksichtigen, und wenn es das nicht kann, weigert es sich, Alles-in-Ordnung zu sagen. Stattdessen meldet es unvollständige Abdeckung – was eine dritte Antwort ist, und eine ehrliche.

Signalabwesenheit ist nicht Problemabwesenheit

Die allgemeine Form, die ich jetzt überall anwende:

Ein negatives Ergebnis ist eine Behauptung und braucht die gleiche Begründung wie ein positives. „Keine Befunde“ sollte genauso nachvollziehbar sein wie „hier ist ein Befund“. Wenn dein Monitoring dir nicht sagen kann, was es sich angeschaut hat, wenn es sagt, alles sei in Ordnung, dann sagt es dir nicht, dass alles in Ordnung ist. Es sagt dir, dass es nichts gefunden hat, was eine Aussage über den Suchenden ist.

Die Folgerung, die ich gratis bekam: Sobald das Alles-in-Ordnung sich rechtfertigen musste, fing es an, Bugs in den darunterliegenden Analysatoren zu finden. Eine Quelle, die keine Befunde mehr produziert, sieht identisch aus wie eine Quelle, die kaputt ist – es sei denn, etwas zählt die Quellen mit.