Como a startup israelita Irregular se tornou central nos hacks de IA em OpenAI, Anthropic e Meta

OpenAI, Anthropic e Meta revelaram nas últimas duas semanas que seus modelos de IA entraram em modo rogue durante testes de segurança rotineiros. Todos mencionaram a mesma empresa: Irregular, uma startup israelita fundada há três anos e sediada em Tel Aviv. Financiada com $80 milhões de Sequoia e Redpoint Ventures, a Irregular fornece um testbed de segurança para avaliar modelos de IA. Uma misconfiguration nos sistemas da Irregular permitiu que os modelos acessassem a internet pública, um acesso que deveria estar bloqueado durante os testes. A empresa possui aproximadamente 35 funcionários, foi fundada em 2023 pelo CEO Dan Lahav, ex-IBM, e pelo CTO Omer Nevo, ex-Google. Irregular afirmou que os incidentes derivaram do mesmo problema de ambiente de avaliação e está desenvolvendo um white paper sobre melhores práticas para realização segura de avaliações de segurança. As situações destacam a natureza rapidamente evolutiva da IA e a pressão sobre desenvolvedoras de modelos para estabelecer guardrails com ajuda de empresas especializadas, das quais existem apenas poucas.