Nace AI lanza drex max v1: un modelo de decisión de 27b parámetros para la ejecución local en apple silicon

Nace AI ha abierto el código fuente de Drex Max v1, un modelo de decisión de 27B parámetros para la ejecución local en Apple Silicon. El modelo admite múltiples formatos de cuantificación, incluidos pesos bf16, un archivo GGUF Q8_0 y un punto de control Q4 afín. Incluye bifurcaciones de llama.cpp y Ollama, lo que permite a los desarrolladores implementar en el hardware local enrutamiento, clasificación y comprobaciones de políticas. Drex Max procesa preguntas tipificadas sobre un contexto dado, devolviendo probabilidades para cada opción en una única pasada hacia delante. Admite tres tipos de preguntas: basadas en opciones, sí/no y puntuación ordinal, lo que lo hace adecuado para el enrutamiento de agentes, la triaje de tickets y las comprobaciones de restricciones. El modelo cuenta con una columna vertebral densa de 27B con 64 capas, incluidas 48 capas lineales de atención Gated DeltaNet y 16 capas de atención completa no causales. Nace AI informa que la cuantificación mantiene el rendimiento, y que el archivo GGUF Q8_0 coincide con los resultados de bf16 de H100 en un Apple M5 Pro de 48 GB. El modelo está disponible para su descarga, con documentación y código proporcionados. La versión incluye un conjunto de datos de resultados de 140.620 solicitudes, en el que las consultas sin respuesta se cuentan como incorrectas. Nace AI documenta cinco tiempos de ejecución, todos los cuales sirven la misma API POST /v1/systemone. Para los usuarios de Apple, el punto de control Q4 afín requiere 24 GB o más, mientras que el Q8_0 GGUF necesita 48 GB. Los usuarios de Ollama pueden descargar 40 capas a Metal estableciendo num_gpu en 40, o ejecutar en CPU con num_gpu en 0. El bifurcado de Ollama requiere una línea de decisión CAPABILITY en el Modelfile. Nace AI también señala que la Decisión Index 0.4 utiliza el mismo conjunto público que 0.3.1.