Arquiteto-chefe da jiostar detalha a escalabilidade da descoberta de IA para mais de 500 milhões de usuários usando interfaces de voz

Vijay Seshadri, Arquiteto-chefe na Jiostar, discutiu os desafios de implantar IA de produção em grande escala, particularmente em plataformas de entretenimento e esportes ao vivo usadas por mais de 500 milhões de consumidores. A Jiostar integrou um assistente conversacional no JioHotstar, permitindo que os usuários encontrassem conteúdo ou estatísticas de críquete por meio de comandos de voz naturais, suportando aproximadamente 15 idiomas em cerca de oito semanas. Seshadri observou que o sistema exigia equilibrar precisão, latência e custo, especialmente porque mais de 60% dos usuários preferiam a entrada de voz. O processo de desenvolvimento envolveu uma avaliação rigorosa, utilizando um padrão de criador-verificador, onde um LLM gerava respostas e outro atuava como um validador. Além disso, a experiência do domínio, como a entrada de editores de revistas esportivas, foi crucial para desenvolver avaliações precisas de estatísticas esportivas. Falando no OpenAI Executive Summit em Singapura, Seshadri também aconselhou líderes sobre a implantação de IA, enfatizando a necessidade de monitorar a eficácia do modelo na produção além das métricas tradicionais de infraestrutura. Ele enfatizou o foco em resultados mensuráveis em vez de apenas atividade, e destacou que o julgamento humano é essencial para implantar com segurança ferramentas poderosas como o Codex.