Condense-json 1.0: ferramenta para comprimir logs de modelos de linguagem
Simon Willison lançou a versão 1.0 da biblioteca condense-json, desenvolvida há um ano e meio para otimizar armazenamento de JSON em logs de modelos de linguagem.
A ferramenta identifica strings duplicadas dentro de objetos JSON e substitui-as por uma sintaxe comprimida especial {"$r": ...}, reduzindo significativamente o tamanho dos ficheiros. O processo é totalmente reversível através da função uncondense_json.
Willison utiliza a biblioteca para comprimir logs SQLite gerados por LLMs, obtendo economias práticas de espaço em sistemas de produção.