Comprender los formatos de modelos LLM: gguf, gptq, awq y exl2

El artículo explica las diferencias entre varios formatos de modelos LLM, incluyendo GGUF, GPTQ, AWQ y EXL2. GGUF es un formato binario para ejecutar modelos con GGML y llama.cpp, introducido en 2023. Admite metadatos tipados y puede incluir tokenizadores y plantillas de chat. GPTQ, desarrollado por investigadores de IST Austria y ETH Zurich, utiliza la cuantificación post-entrenamiento con datos de calibración. AWQ, de MIT, se centra en proteger los pesos clave para reducir el error de cuantificación. EXL2, un formato para ExLlamaV2, utiliza métodos de optimización similares a GPTQ y admite cuantizaciones de múltiples bits. EXL3, su sucesor, se basa en QTIP y añade características como la decodificación especulativa y el soporte multimodal. El artículo destaca los compromisos entre estos formatos, enfatizando sus casos de uso y diferencias de rendimiento. También se discuten Bitsandbytes y MLX como herramientas para ejecutar y ajustar modelos en Apple Silicon. Se señala que GGUF y MLX son opciones sólidas para los usuarios de Mac. El artículo proporciona una visión general de los aspectos técnicos y las aplicaciones prácticas de estos formatos, ayudando a los desarrolladores y a los investigadores a elegir el formato de modelo adecuado para sus necesidades.