Guía: cómo ejecutar el modelo nvidia dory 4b con llama.cpp, analizando los efectos del bucle

Una guía técnica detalla el proceso de ejecutar el modelo de razonamiento de NVIDIA Dory 1.0 4B utilizando llama.cpp. Este modelo cuenta con un bloque recurrente compartido que puede iterarse una a cuatro veces por token, lo que permite que un único punto de control opere en cuatro diferentes presupuestos de cómputo sin necesidad de volver a entrenar. El tutorial implicaba la construcción de una rama específica de llama.cpp y la carga del archivo GGUF de 3.7 GB para predecir los costes de parámetros y memoria caché en función de la arquitectura. El análisis implicó pruebas rigurosas en siete configuraciones (de una a cuatro bucles en ambos modos de caché). Las mediciones incluían la velocidad de decodificación en un prompt fijo y una evaluación GSM8K emparejada para realizar un seguimiento de los cambios en la precisión y la longitud de las respuestas a medida que aumentaban los recuentos de bucle. El proceso confirmó que el recuento de bucles incorporado de 4 en el encabezado GGUF difería de la recomendación de 2 en la tarjeta del modelo, lo que requería ajustes explícitos. Los principales hallazgos de la investigación incluyeron que el bloque recurrente representaba el 1.84 de los 3.98 mil millones de parámetros del modelo. La guía también destacaba advertencias prácticas: los usuarios deben establecer explícitamente el recuento de bucles, ya que el valor predeterminado de GGUF es de 4, y el commit específico de la rama debe estar fijado debido a que el soporte para Dory es una solicitud de extracción abierta en llama.cpp.