Condense-json 1.0: herramienta para comprimir registros de modelos de lenguaje
Simon Willison lanzó la versión 1.0 de condense-json, una librería de código abierto desarrollada durante más de dieciocho meses para comprimir almacenamiento de JSON en registros de modelos de lenguaje.
La herramienta identifica strings repetidos dentro de objetos JSON y los reemplaza con una notación especial {"$r": ...}. Esto reduce considerablemente el tamaño de los archivos manteniendo la integridad de los datos. La compresión es completamente reversible mediante la función uncondense_json.
Willison implementó la librería para comprimir registros SQLite generados por operaciones de LLM, obteniendo ahorros prácticos de espacio en sistemas de producción.