Moore threads presenta "prefill-as-a-service" para abordar los desafíos de la inferencia con contextos largos

Moore Threads ha publicado el documento técnico "MTT S5000 Prefill-as-a-Service", introduciendo un nuevo paradigma para la inferencia de IA aprovechando su tarjeta de computación inteligente integrada de IA de última generación, el MTT S5000. La iniciativa se dirige a escenarios de inferencia con contextos largos, como agentes de IA, generación de código y análisis de documentos ultra-largos, ofreciendo una solución práctica que equilibra la eficiencia de la inferencia, el control de costes y la utilización de los recursos informáticos. Según Moore Threads, a medida que los tamaños de contexto de los modelos más grandes aumentan rápidamente hasta cientos de miles o incluso un millón de tokens, las demandas computacionales y de latencia de las entradas de texto largas se están convirtiendo en un cuello de botella crítico para los servicios de inferencia empresariales. Las configuraciones tradicionales de clústeres homogéneos ya no son suficientes para satisfacer las diversas necesidades de recursos de hardware en diferentes etapas de cálculo. El problema principal radica en la desalineación estructural: durante la inferencia en línea de modelos grandes, la fase de prellen es intensiva en cómputo y está limitada por las capacidades de coma flotante, mientras que la fase de decodificación es intensiva en el ancho de banda de la memoria. Ejecutar ambos procesos en el mismo conjunto de recursos físicos conduce a ineficiencias, ya sea con una utilización subóptima de la memoria o con unidades de cómputo inactivas. El documento destaca que superar este desafío requiere desacoplar el prellen y la decodificación, permitiendo que cada uno opere en hardware optimizado para sus características computacionales específicas. Al implementar la estratificación del hardware, Moore Threads pasa de un modelo de sobre-provisionamiento genérico a un enfoque impulsado por la demanda, lo que permite una infraestructura rentable para el procesamiento de tokens al tiempo que se mantienen los objetivos de nivel de servicio (SLO).