Cactus Compute Lança Needle 2: Um Modelo de 45M Parâmetros para Invocação de Ferramentas em Dispositivos

A Cactus Compute lançou o Needle 2, um modelo de código aberto com 45 milhões de parâmetros destinado a invocação de ferramentas, interação com dispositivos e extração de dados estruturados em hardware com recursos computacionais limitados. O modelo é distribuído como um binário de 14 MB e executa uma sessão completa em aproximadamente 28 MB de RAM, atingindo 500 tokens por segundo num Raspberry Pi 5 e 300-700 tokens por segundo em telefones com valor inferior a $200. A arquitetura compacta utiliza um mecanismo de atenção simplificado com camadas Hadamard MLP e memória engram de chave-valor, consumindo apenas 70 MFLOPs por token. Os pesos estão disponíveis em múltiplos formatos, incluindo nativo, GGUF, ONNX e MLX, compatíveis com llama.cpp, MLX, vLLM e outros motores de inferência.