Usuário executa modelo kimi k3 de 2,8 trilhões de parâmetros em memória intel optane aposentada sem GPU

Um usuário chamado u/IndividualSurvival compartilhou um experimento em um laboratório doméstico no Reddit em 2 de novembro, demonstrando o funcionamento bem-sucedido do modelo Kimi K3 da Moonshot AI, que possui 2,8 trilhões de parâmetros, sem utilizar uma placa de vídeo dedicada. A configuração dependia do uso da memória persistente Intel Optane aposentada. A configuração envolvia um processador Intel Xeon Scalable de terceira geração com 40 núcleos e a memória Optane da série 200. O teste utilizou o modo App Direct, apresentando DRAM e Optane como espaços de dados separados para o software, com a inferência executada via llama.cpp. A Intel Optane, uma tecnologia de armazenamento não volátil desenvolvida pela Intel e Micron, é baseada em 3D XPoint. Embora o teste tenha sido bem-sucedido, a velocidade de geração de tokens não foi perfeita. Com o modelo quantizado para 1 bit e os dados comprimidos, a taxa inicial de geração era de aproximadamente 0,85 tokens por segundo. Essa velocidade melhorou para 1,50 tokens por segundo após desativar o acesso direto (DAX) e permitir que os dados acessados com frequência se beneficiassem do cache DRAM. Um teste separado de quantização de 3 bits resultou em uma taxa mais lenta de 0,75 tokens por segundo, exigindo aproximadamente 18,5 horas para gerar 50.000 tokens.