El arquitecto jefe de jiostar detalla la escalabilidad de la IA para más de 500 millones de usuarios utilizando interfaces de voz

Vijay Seshadri, arquitecto jefe en JioStar, discutió los desafíos de implementar IA de producción a gran escala, particularmente en plataformas de entretenimiento y deportes en vivo utilizadas por más de 500 millones de consumidores. JioStar integró un asistente conversacional en JioHotstar, lo que permitió a los usuarios encontrar contenido o estadísticas de cricket a través de comandos de voz naturales, soportando aproximadamente 15 idiomas en unas ocho semanas. Seshadri señaló que el sistema requería equilibrar la precisión, la latencia y el costo, especialmente dado que más del 60% de los usuarios preferían la entrada de voz. El proceso de desarrollo implicó una evaluación rigurosa, utilizando un patrón de creador-verificador, donde un LLM generaba respuestas y otro actuaba como verificador. Además, la experiencia en el dominio, como la información de los editores de revistas deportivas, fue crucial para desarrollar evaluaciones precisas de las estadísticas deportivas. Hablando en el Executive Summit de OpenAI en Singapur, Seshadri también aconsejó a los líderes sobre la implementación de la IA, enfatizando la necesidad de supervisar la eficacia del modelo en producción más allá de las métricas tradicionales de la infraestructura. Hizo hincapié en centrarse en los resultados medibles en lugar de simplemente en la actividad, y destacó que el juicio humano es esencial para implementar de forma segura herramientas poderosas como Codex.