Moore threads apresenta 'prefill-as-a-service' para resolver desafios de inferência com contexto longo

A Moore Threads lançou o documento técnico 'MTT S5000 Prefill-as-a-Service', introduzindo uma nova abordagem para a inferência de IA, aproveitando a sua principal placa inteligente de computação integrada para treino e inferência de IA, a MTT S5000. A iniciativa visa cenários de inferência com contexto longo, como agentes de IA, geração de código e análise de documentos ultra-longos, oferecendo uma solução prática que equilibra a eficiência da inferência, o controlo de custos e a utilização dos recursos computacionais. De acordo com a Moore Threads, à medida que os tamanhos do contexto de entrada dos modelos grandes aumentam rapidamente para centenas de milhares a um milhão de tokens, as exigências computacionais e de latência dos textos longos estão a tornar-se um gargalo crítico para os serviços de inferência empresarial. As configurações tradicionais de clusters homogéneos já não são suficientes para satisfazer as necessidades variáveis de recursos de hardware em diferentes fases de computação. A principal questão reside no desalinhamento estrutural: durante a inferência online de modelos grandes, a fase de preenchimento é intensiva em computação e limitada pelas capacidades de ponto flutuante, enquanto a fase de decodificação é intensiva em largura de banda de memória. A execução de ambos os processos no mesmo conjunto de recursos físicos leva a ineficiências, seja com subutilização da memória ou com unidades de computação ociosas. O documento destaca que superar este desafio requer a separação do preenchimento e da decodificação, permitindo que cada um opere em hardware otimizado para as suas características computacionais específicas. Ao implementar a camada de hardware, a Moore Threads muda de um modelo genérico de sobreprovisionamento para uma abordagem orientada pela procura, permitindo uma infraestrutura de baixo custo para o processamento de tokens, mantendo os objetivos de nível de serviço (SLOs).