Homelab Segundo Cerebro

Problema

Quería un modelo local, en mi propia GPU, que respondiera preguntas sobre mi propia infraestructura: qué depende de qué, por qué algo está configurado de cierta manera, qué cambió recientemente. La recuperación simple sobre mi documentación costaba entre 30,000 y 50,000 tokens por pregunta y no tenía noción de tiempo: una decisión escrita en junio y una observación de esta mañana regresaban con la misma autoridad.

Mi rol

Diseñé y construí todo solo, en aproximadamente ocho semanas, como 220 pull requests fusionados.

Restricciones

• Debe ejecutarse completamente local. Una GPU de consumo de 24GB que frecuentemente está ocupada con otros trabajos.
• Nunca debe convertirse en otra fuente de verdad. Git y las observaciones en tiempo real siguen siendo las fuentes autoritativas; cualquier cosa derivada debe poder eliminarse y reconstruirse.
• Debe ser honesto. Un asistente de operaciones que inventa información es peor que no tener asistente, porque no puedes distinguir una respuesta superficial de una incorrecta.

Arquitectura

Una capa compilada sobre fuentes autoritativas: un almacén temporal de hechos que cierra hechos en vez de sobrescribirlos, un grafo de relaciones (940 nodos, 1,449 aristas), cápsulas de resumen con sello de generación y un índice vectorial, todo ensamblado en un paquete de contexto limitado por tokens.

La recuperación es escalonada y se detiene temprano: exacta, luego léxica BM25, luego cápsula, luego grafo, luego semántica. Los conflictos se resuelven por precedencia fija: tiempo de ejecución sobre hecho sobre cápsula, y un artefacto derivado cuya generación va retrasada respecto a su fuente se marca como obsoleto para que la ruta de consulta regrese a la evidencia original.

Encima están las capas de análisis: decaimiento (qué decisiones documentadas ya no son ciertas), validación de corrección contra fuentes en vivo con una línea base comprometida y una puerta de regresión en CI, reconciliación de desviaciones entre estado declarado y observado, detección de puntos ciegos, razonamiento causal y multi-hop, y un ciclo detecta-propone-aprueba-actúa con control, cuyo ejecutor se detiene en un pull request de borrador y nunca fusiona.

Durante todo el proceso, una regla: fundamentado o bloqueado. La selección y el ranking son deterministas y reproducibles offline. Un modelo de lenguaje puede redactar un resultado ya seleccionado y nunca puede agregar, eliminar o reclasificar uno.

Resultado

Aproximadamente un 99% de reducción en tokens por consulta, validado en modo sombra contra el enfoque anterior antes de la promoción. 31 herramientas de línea de comando, 93 herramientas de solo lectura expuestas sobre Model Context Protocol, y 293 pruebas solo sobre el subsistema de memoria dentro de una capa de operaciones en Python de 116,000 líneas que lleva 1,865 pruebas.

Qué haría diferente

Construí el almacén de hechos antes de construir lo que audita si los hechos siguen siendo ciertos. Esas dos cosas deben ir en el mismo release: una memoria sin auto-auditoría es solo un caché confiado. Y habría separado “qué observé” de “qué concluyo” en el contrato del detector desde el inicio; mezclarlos produjo una tanda de alertas bien citadas que eran el mismo bug.