Einem System beibringen, „Ich weiß es nicht“ zu sagen

Ein Retrieval-System, das immer antwortet, ist schlechter als eines, das manchmal ablehnt, weil du die beiden Fehlermodi nicht unterscheiden kannst. Eine dünne Antwort und eine falsche Antwort sehen am Nutzungspunkt identisch aus.

Deshalb gilt in der Memory-Layer meines Homelabs die Betriebsregel grounded-or-blocked: Jede Schlussfolgerung muss die konkrete Tatsache, Kante oder Beobachtung angeben, die sie begründet hat. Eine unbelegte Schlussfolgerung wird nicht abgeschwächt oder relativiert. Sie wird verworfen und gezählt.

Wo die Regel greift

Multi-Hop-Synthese. Die Reasoning-Layer verknüpft Entscheidungs-Records mit Entitäten, Kausalbeziehungen und der Graph-Topologie. Wenn du fragst, was eine bestimmte Architekturentscheidung steuert, läuft sie zu den abhängigen Elementen weiter und meldet, welche davon überhaupt keine Dokumentation haben. Jeder Hop zitiert die Kante, die ihn erzeugt hat. Eine Kette mit nur einem unbelegten Hop wird komplett blockiert – sie wird nicht mit einem Vorbehalt zurückgegeben. Nur eine vollständig belegte Kette darf von einem Language Model formuliert werden, und dessen Aufgabe ist strikt das Formulieren. Es trifft niemals eine Auswahl.

Self-Audit. Ein Decay-Pass prüft jede dokumentierte Entscheidung und jedes Runbook erneut gegen den aktuellen Fact Store und klassifiziert sie als intakt, widersprochen, veraltet oder nicht verifizierbar. Ein Widerspruch muss die Tatsache benennen, die ihn ausgelöst hat. Wenn das Urteil keine Quelle angeben kann, wird es herabgestuft statt angezeigt. Ein separater Correctness-Pass leitet die Welt aus Live-Quellen neu ab und prüft jeden gespeicherten Glaubenssatz erneut, mit einer festen Baseline, sodass ein Glaubenssatz, der mal wahr war und jetzt widersprochen wird, einen Regression-Check in der CI nicht besteht.

Blindspots. Eine Mengendifferenz zwischen den Themen, von denen der Graph weiß, dass sie existieren, und den Themen, die der Fact Store tatsächlich abdeckt, sortiert nach ihrer Zentralität. Das ist der Teil, der dem System erlaubt, „Ich weiß das nicht“ zu sagen, statt selbstbewusst dünnen Kontext zu liefern. Dabei hat es unter anderem festgestellt, dass mein eigenes NAS ein Blindspot war.

Was mich überrascht hat

Die Regel strikt zu machen, hat natürlich mein Vertrauen in die Ergebnisse erhöht. Was ich nicht erwartet hatte: Es hat auch die Menge der Ergebnisse erhöht. Wenn blockierte Ketten gezählt statt stillschweigend verworfen werden, wird die Block-Count zur To-Do-Liste. „Sieben Schlussfolgerungen blockiert, weil eine Quelle fehlt“ ist ein besseres Morning-Signal als sieben plausible Sätze.

Wo das Modell überhaupt eingreifen darf

Sehr eingeschränkt, und das mit Absicht:

• Auswahl, Ranking und Klassifikation sind deterministisch. Offline reproduzierbar, kein Modell im Loop.
• Ein Modell darf ein bereits ausgewähltes Ergebnis formulieren.
• Ein Modell darf niemals ein Item hinzufügen, entfernen oder ein Urteil ändern.

Jede Schicht fällt auf den deterministischen Pfad zurück, wenn das Modell nicht verfügbar ist. Meine GPU ist oft mit Video-Generierung beschäftigt, und ich habe lieber ein sprachlich schlechtes Briefing als gar keins.

Die ehrliche Einschränkung

Grounded-or-blocked schützt vor Halluzinationen. Es schützt nicht vor einer gut belegten Behauptung, die auf einer schlechten Prämisse basiert – wenn die Quelle zwar echt ist, aber nie wirklich die behauptete Eigenschaft beobachtet hat. Für diese Art Fehler habe ich fünf Fehlalarme gebraucht, um sie zu erkennen, und das ist ein anderes Thema.