Nvidia disponibiliza o código-fonte da Run:ai para kubernetes: gestão de gpus

A Nvidia disponibilizou o código-fonte da plataforma Run:ai sob a licença Apache 2.0, tornando-a disponível no GitHub. A plataforma, projetada para a orquestração de GPUs no Kubernetes, permite que os desenvolvedores gerenciem o agendamento, as quotas e as cargas de trabalho das GPUs. Agora integrada na plataforma NVIDIA DSX AI Factory, permite que as equipas inspecionem, clonen e hospedem a plataforma de forma autónoma, sem a necessidade de uma assinatura paga. A versão inclui quatro componentes, com um guia de desenvolvimento local que cria serviços de 50 Go dentro de contêineres e cria um cluster Kubernetes de 5 nós. A plataforma suporta GPUs NVIDIA reais com a flag --gpu-operator, exigindo Linux, Docker e o NVIDIA Container Toolkit. Também inclui projetos relacionados como Model Streamer e Grove, que melhoram, respetivamente, a memória da GPU e os fluxos de inferência multicomponente. Um teste da Microsoft revelou uma velocidade de carregamento 3 a 6 vezes mais rápida utilizando VMs NVIDIA H100. A versão é suportada por oito parceiros do ecossistema DSX, incluindo Crusoe e Mirantis, e está disponível através de gráficos Helm da comunidade NGC e edições comerciais como NVIDIA AI Enterprise.