Usuario ejecuta un modelo kimi k3 de 2.8 billones de parámetros en memoria optane intel de segunda mano sin GPU

Un usuario llamado u/IndividualSurvival compartió un experimento en su laboratorio casero en Reddit el 2 de noviembre, demostrando el funcionamiento exitoso del modelo Kimi K3 de Moonshot AI, que cuenta con 2.8 billones de parámetros, sin utilizar una tarjeta gráfica dedicada. La configuración se basó en el uso de memoria persistente Intel Optane de segunda mano. La configuración involucró un procesador Intel Xeon Scalable de tercera generación de 40 núcleos y la memoria Optane de la serie 200. La prueba utilizó el modo App Direct, presentando la DRAM y la Optane como espacios de datos separados para el software, con la inferencia ejecutada a través de llama.cpp. Intel Optane, una tecnología de almacenamiento no volátil desarrollada por Intel y Micron, se basa en 3D XPoint. Aunque la prueba fue exitosa, la velocidad de generación de tokens no fue perfecta. Con el modelo cuantificado a 1 bit y los datos comprimidos, la tasa de generación inicial era de aproximadamente 0,85 tokens por segundo. Esta velocidad mejoró a 1,50 tokens por segundo después de desactivar el acceso directo (DAX) y permitir que los datos accedidos con frecuencia se beneficiaran del almacenamiento en caché de la DRAM. Una prueba separada de cuantificación de 3 bits produjo una tasa más lenta de 0,75 tokens por segundo, requiriendo aproximadamente 18,5 horas para generar 50.000 tokens.