Together AI revela compilador que otimiza continuamente a inferência de IA para ganhos significativos de velocidade

A Together AI lançou o Together Compiler (TKCC), um sistema inovador baseado em agentes, projetado para re-otimizar continuamente a inferência do modelo à medida que os padrões de tráfego de produção evoluem. Este compilador utiliza agentes de codificação para reescrever a passagem para frente de um modelo com base em parâmetros de entrada, como perfis de tráfego e configurações de hardware. O sistema alcança melhorias de desempenho significativas, superando as melhores configurações abertas em até 2,6x em TPS na carga de trabalho AgentX da SemiAnalysis InferenceX. Ao contrário dos métodos tradicionais que reiniciam os motores de servindo para cada teste, o TKCC inicia o motor apenas uma vez, permitindo que os agentes enviem passes candidatos através de RPC e troquem ponteiros de função. Os testes revelaram que uma abordagem de medição em duas camadas — uma camada rápida que verifica 12 camadas e uma camada lenta que confirma os ganhos em 60 camadas — produziu 8,1x mais candidatos do que uma única camada lenta, resultando em uma solução 7,2% mais rápida. Além disso, a Together AI relatou uma taxa de transferência de experimentos de agente 252x maior em comparação com uma linha de base de reinicialização do motor. O compilador incorpora um modelo de custo que avalia layouts paralelos de tensores, especialistas, dados e contexto, levando em consideração microbenchmarks e desequilíbrios de especialistas MoE. No Kimi K3, isso levou a um layout de produção que alcançou até 24% de TPS mais alto. Embora as bases de conhecimento curadas por especialistas mostraram uma aceleração de 25% a 31% mais lenta após 12 horas, agentes