Entendendo os formatos de modelos LLM: gguf, gptq, awq e exl2

O artigo explica as diferenças entre vários formatos de modelos LLM, incluindo GGUF, GPTQ, AWQ e EXL2. O GGUF é um formato binário para executar modelos com GGML e llama.cpp, introduzido em 2023. Ele suporta metadados tipados e pode incluir tokenizadores e modelos de chat. O GPTQ, desenvolvido por pesquisadores no IST Austria e ETH Zurich, utiliza a quantização pós-treinamento com dados de calibração. O AWQ, do MIT, se concentra em proteger os pesos-chave para reduzir o erro de quantização. O EXL2, um formato para ExLlamaV2, utiliza métodos de otimização semelhantes ao GPTQ e suporta quantizações de múltiplos bits. O EXL3, seu sucessor, constrói sobre o QTIP e adiciona recursos como decodificação especulativa e suporte multimodal. O artigo destaca os trade-offs entre esses formatos, enfatizando seus casos de uso e diferenças de desempenho. Menciona-se também o Bitsandbytes e o MLX como ferramentas para executar e ajustar modelos em Apple Silicon. O GGUF e o MLX são notados como opções fortes para usuários de Mac. O artigo fornece uma visão geral dos aspectos técnicos e aplicações práticas desses formatos, auxiliando desenvolvedores e pesquisadores na escolha do formato de modelo certo para suas necessidades.