Etiqueta · 1 publicación
Todo lo que he escrito etiquetado como RAG.
Responder una pregunta operativa le costaba a un modelo local un volcado de 30-50K tokens. Construí una capa de memoria compilada que lo hace en 2-5K y se bloquea cuando no puede citar una fuente.