Cactus Compute Lanza Needle 2: Un Modelo de 45M Parámetros para Llamadas de Herramientas en Dispositivos

Cactus Compute ha lanzado Needle 2, un modelo de código abierto con 45 millones de parámetros diseñado para llamadas de herramientas, interacción con dispositivos y extracción de datos estructurados en hardware con recursos computacionales limitados. El modelo se distribuye como un binario de 14 MB y ejecuta una sesión completa en aproximadamente 28 MB de RAM, alcanzando 500 tokens por segundo en una Raspberry Pi 5 y 300-700 tokens por segundo en teléfonos con valor inferior a $200. La arquitectura compacta utiliza un mecanismo de atención simplificado con capas Hadamard MLP y memoria engram de clave-valor, requiriendo solo 70 MFLOPs por token. Los pesos están disponibles en múltiples formatos, incluyendo nativo, GGUF, ONNX y MLX, compatibles con llama.cpp, MLX, vLLM y otros motores de inferencia.