Aficionado logra hito: ejecuta un modelo de 2.8 billones de parámetros en un servidor antiguo sin GPU

El creciente tamaño de los modelos de IA, que a menudo requieren grandes y costosas clústeres de GPU para su funcionamiento, ha sido desafiado por una reciente demostración. Un aficionado logró ejecutar con éxito Kimi K3 de Moonshot AI, un modelo con 2.8 billones de parámetros, utilizando únicamente un servidor más antiguo equipado con un procesador de 40 núcleos y sin tarjeta gráfica dedicada. Este logro notable sugiere un avance significativo en el despliegue de modelos, posiblemente a través del uso de la memoria Optane. La prueba se compartió dentro de una comunidad en línea, destacando un esfuerzo para superar las limitaciones del hardware convencionales en el campo de la inteligencia artificial.