OpenAI expande plataforma de armazenamento para suportar 1 bilhão de usuários do ChatGPT

A OpenAI expandiu sua plataforma de armazenamento, Habitat, para suportar mais de 1 bilhão de usuários em todo o mundo. Originalmente uma biblioteca em Python, o Habitat evoluiu para um sistema distribuído que lida com mais de 70 milhões de solicitações por segundo. Lançada no meio de 2024, a plataforma agora gerencia mais de 500 petabytes de dados em 40 regiões. A equipe enfrentou desafios para escalar o sistema para atender à demanda, exigindo uma mudança de uma biblioteca no lado do cliente para um serviço centralizado. Essa mudança permitiu um melhor controle sobre os deployments e a segurança, além de habilitar uma gestão mais eficiente dos recursos de armazenamento, como o Azure Cosmos DB. Apesar das compensações de desempenho, a decisão de manter o Habitat em Python foi estratégica, aproveitando os avanços nos modelos de codificação para simplificar futuras migrações. A transição para um modelo de serviço melhorou a confiabilidade e reduziu a complexidade operacional. No entanto, introduziu novos desafios, como gerenciar a latência e garantir o uso eficiente dos recursos. Ao otimizar o agendamento e o balanceamento de carga do asyncio, a equipe mitigou problemas como alta latência e distribuição desigual de solicitações. Esses esforços destacam as complexidades de escalar a infraestrutura para suportar um crescimento massivo de usuários, mantendo ao mesmo tempo os padrões de desempenho e segurança.