Together AI presenta un compilador que optimiza continuamente la inferencia de IA para obtener ganancias significativas en velocidad

Together AI ha lanzado Together Compiler (TKCC), un sistema novedoso impulsado por agentes, diseñado para re-optimizar continuamente la inferencia del modelo a medida que evolucionan los patrones de tráfico de producción. Este compilador utiliza agentes de codificación para reescribir la pasada hacia adelante de un modelo en función de los parámetros de entrada, como los perfiles de tráfico y las configuraciones de hardware. El sistema logra mejoras significativas en el rendimiento, superando notablemente las mejores configuraciones de código abierto en hasta 2,6x en TPS en la carga de trabajo AgentX de SemiAnalysis InferenceX. A diferencia de los métodos tradicionales que requieren reiniciar los motores de servicio para cada prueba, TKCC inicia el motor solo una vez, lo que permite a los agentes enviar pasadas candidatas a través de RPC y intercambiar punteros de función. Las pruebas revelaron que un enfoque de medición en dos niveles, una capa rápida que escanea 12 capas y una capa lenta que confirma las ganancias en 60 capas, produjo 8,1 veces más candidatos que una sola capa lenta, lo que resultó en una solución 7,2% más rápida. Además, Together AI informó un rendimiento de 252 veces mayor de los experimentos de agentes en comparación con una línea de base de reinicio del motor. El compilador incorpora un modelo de costes que evalúa los diseños paralelos de tensores, expertos, datos y contexto, teniendo en cuenta las micropruebas y el desequilibrio de expertos MoE. En Kimi K3, esto condujo a un diseño de producción que alcanzó hasta un 24% de TPS más alto. Si bien las bases de conocimiento curadas por expertos mostraron una aceleración de entre un 25% y un 31% después de 12 horas, los agentes ingenuos instruidos para maximizar la velocidad superaron las estrategias de expertos en la puntuación de conjunto.