Entusiasta alcança marco: execução de um modelo de 2,8 trilhões de parâmetros em um servidor antigo sem GPU

O crescente tamanho dos modelos de IA, que frequentemente exigem grandes e caros clusters de GPU para operação, foi desafiado por uma demonstração recente. Um entusiasta conseguiu executar o Kimi K3 da Moonshot AI, um modelo com 2,8 trilhões de parâmetros, utilizando apenas um servidor mais antigo, equipado com um processador de 40 núcleos e sem uma placa de vídeo dedicada. Esta proeza notável sugere um avanço significativo no lançamento de modelos, potencialmente através da utilização de memória Optane. O teste foi compartilhado em uma comunidade online, destacando um esforço para superar as limitações de hardware convencionais no campo da inteligência artificial.