AMD y spectro cloud lanzan instinct coder 355, una plataforma de codificación de IA empresarial capaz de realizar inferencias locales de GLM-5.3

AMD, en colaboración con Spectro Cloud, ha presentado el Instinct Coder 355, una plataforma de programación de IA de nivel empresarial. Este sistema está diseñado para soportar el despliegue de inferencias de GLM-5.3, logrando hasta el 98% del rendimiento del modelo de vanguardia, mientras opera de forma local. La configuración de hardware principal cuenta con ocho aceleradores AMD Instinct MI355X, junto con dos procesadores EPYC 9575F Zen 5 de 64 núcleos. El sistema también está equipado con 3 TB de memoria DDR5-6400 RDIMM y un total de 63,36 TB de almacenamiento SSD. La plataforma es escalable, con cada nodo que soporta hasta 85 desarrolladores, acomodando 50 concurrentemente. Spectro Cloud proporciona el software de gestión PaletteAI Inference Launchpad necesario para el Instinct Coder 355. Una característica clave de este software es su configuración predeterminada para utilizar la potencia de cálculo local en lugar de depender de las APIs en la nube. Existen variaciones del sistema disponibles en configuraciones de Dell y Supermicro, que difieren en las especificaciones de hardware específicas.