Microsoft introduce el soporte para modelos de IA locales para GitHub copilot

Microsoft anunció en un evento de prensa en San Francisco el 7 de octubre que GitHub Copilot soportará la inferencia de modelos de IA locales a finales de octubre. Los desarrolladores podrán cambiar automáticamente o manualmente entre modelos basados en la nube y en el dispositivo. GitHub Copilot, un asistente de codificación de IA desarrollado por Microsoft, se integra con herramientas como Visual Studio Code y CLI, ofreciendo sugerencias para la finalización de código, explicación y refactorización basadas en el contexto. Actualmente, Copilot se basa en modelos alojados en la nube, con las solicitudes dirigidas por un coordinador en función del rendimiento, el coste y la precisión. Microsoft planea ampliar este sistema para permitir que Copilot seleccione automáticamente entre modelos en la nube y locales. La empresa también presentó MAI Code 1.1 Flash, un modelo híbrido con un total de 137 mil millones de parámetros y 68 mil millones de parámetros activos, optimizado para la velocidad y el uso de la memoria a través de la cuantificación y la decodificación especulativa. En el Surface Laptop Ultra, el modelo logró un rendimiento máximo de hasta 63 tokens por segundo durante las pruebas de decodificación. El soporte para el modelo local incluye opciones para especificar proveedores, modelos o puntos finales, con los desarrolladores pudiendo utilizar Windows ML para seleccionar MAI Code 1.1 Flash o conectarse a puntos finales locales compatibles con OpenAI. Microsoft enfatizó que el rendimiento del modelo en tareas complejas mostró mejoras significativas en el uso de la memoria, la eficiencia de los tokens y la velocidad de procesamiento. IT Home proporcionó imágenes de los resultados de las pruebas, destacando las capacidades del modelo.