OpenAI amplía Su plataforma de almacenamiento para soportar a 1.000 millones de usuarios de ChatGPT

OpenAI ha ampliado su plataforma de almacenamiento, Habitat, para soportar a más de 1.000 millones de usuarios en todo el mundo. Originalmente una biblioteca de Python, Habitat se ha convertido en un sistema distribuido que gestiona más de 70 millones de solicitudes por segundo. Lanzada a mediados de 2024, la plataforma ahora gestiona más de 500 petabytes de datos en 40 regiones. El equipo se enfrentó a desafíos para escalar el sistema para satisfacer la demanda, lo que requirió un cambio de una biblioteca de cliente a un servicio centralizado. Este cambio permitió un mejor control sobre las implementaciones y la seguridad, al tiempo que facilitaba una gestión más eficiente de los recursos de almacenamiento como Azure Cosmos DB. A pesar de las compensaciones en el rendimiento, la decisión de mantener Habitat en Python fue estratégica, aprovechando los avances en los modelos de codificación para simplificar futuras migraciones. La transición a un modelo de servicio mejoró la fiabilidad y redujo la complejidad operativa. Sin embargo, también introdujo nuevos desafíos, como la gestión de las latencias de cola y la garantía de un uso eficiente de los recursos. Mediante la optimización de la programación asyncio y el equilibrio de carga, el equipo mitigó problemas como la alta latencia y la distribución desigual de las solicitudes. Estos esfuerzos destacan la complejidad de escalar la infraestructura para soportar un crecimiento masivo de usuarios, manteniendo al mismo tiempo los estándares de rendimiento y seguridad.