Novo sistema centralizado implementado para monitorar e interromper cargas de trabalho de modelos de IA de alto risco

Um novo componente de infraestrutura, o Control Room, foi implementado para rastrear e gerenciar centralmente as cargas de trabalho de modelos em todo o ambiente de pesquisa, abordando as crescentes preocupações de segurança e proteção associadas a modelos cada vez mais poderosos. Este sistema integra-se com ferramentas de monitoramento de desalinhamento e é capaz de interromper a saída do modelo em 35 segundos após uma decisão de intervenção. O Control Room opera exigindo que cada carga de trabalho de inferência seja vinculada a um caso de segurança aprovado. O sistema exige que os motores de inferência verifiquem com o Control Room antes de atender a qualquer solicitação, garantindo que, se uma tarefa for interrompida, a geração subsequente de tokens seja negada. Esta arquitetura é projetada para ser resiliente, funcionando mesmo se outros sistemas falharem. Crucialmente, a implementação é projetada para ser robusta contra erros no código de carga de trabalho de propriedade do pesquisador, incorporando o mecanismo de interrupção na camada de inferência mais centralizada. Além disso, o sistema opera de forma