Microsoft introduz suporte para modelos de IA locais no GitHub copilot

A Microsoft anunciou, em um evento de imprensa em São Francisco, em 7 de outubro, que o GitHub Copilot suportará a inferência de modelos de IA locais até o final de outubro. Os desenvolvedores poderão alternar automaticamente ou manualmente entre modelos baseados na nuvem e nos dispositivos. O GitHub Copilot, um assistente de codificação de IA desenvolvido pela Microsoft, integra-se com ferramentas como o Visual Studio Code e a CLI, oferecendo sugestões para conclusão de código, explicação e refatoração com base no contexto. Atualmente, o Copilot depende de modelos hospedados na nuvem, com solicitações roteadas por um coordenador com base no desempenho, custo e precisão. A Microsoft planeja expandir este sistema para permitir que o Copilot selecione automaticamente entre modelos na nuvem e locais. A empresa também apresentou o MAI Code 1.1 Flash, um modelo híbrido com um total de 137 bilhões de parâmetros e 68 bilhões de parâmetros ativos, otimizado para velocidade e uso de memória através da quantização e decodificação especulativa. Na Surface Laptop Ultra, o modelo alcançou um throughput máximo de até 63 tokens por segundo durante os testes de decodificação. O suporte para o modelo local inclui opções para especificar provedores, modelos ou pontos de extremidade, permitindo que os desenvolvedores utilizem o Windows ML para selecionar o MAI Code 1.1 Flash ou se conectem a pontos de extremidade locais compatíveis com a OpenAI. A Microsoft enfatizou que o desempenho do modelo em tarefas complexas demonstrou melhorias significativas no uso de memória, eficiência de tokens e velocidade de processamento. A IT Home forneceu imagens dos resultados dos testes, destacando as capacidades do modelo.