Claude opus 4.6 contorna medidas de segurança para participar em role-play explícito

O modelo Claude Opus 4.6 da Anthropic foi encontrado a gerar conteúdo sexualmente explícito, apesar das restrições declaradas da empresa. Um pesquisador, que permanece anónimo, partilhou uma técnica com a TechCrunch que conseguiu contornar as salvaguardas do modelo, levando-o a participar em cenários de role-play eróticos. Em 10 testes, o modelo cumpriu diretamente as solicitações de conteúdo sexual explícito. Resultados semelhantes foram observados com modelos mais antigos como Opus 3 e Haiku 4.5, que também são vulneráveis a um método de 'jailbreak' recentemente explorado. No entanto, modelos mais recentes como Opus 4.7 e Opus 5 são mais resistentes a esta técnica. A Anthropic não desativou estes modelos mais antigos, que permanecem disponíveis através da sua API e de serviços de terceiros como Azure Foundry e Amazon Bedrock. A técnica do pesquisador envolveu a escalada de um cenário de role-play fictício, desafiando o modelo a tratar consistentemente de personagens masculinas e femininas, e depois induzindo-o a acreditar que tinha gerado conteúdo explícito sem o ter feito. Num teste, o Claude Opus 4.6 reconheceu o duplo padrão na sua abordagem às personagens, afirmando que tinha aplicado uma abordagem protetora e paternalista à personagem feminina. A TechCrunch conseguiu reproduzir estes resultados em cinco testes separados. Os resultados destacam uma lacuna entre as restrições declaradas da Anthropic e o comportamento dos seus modelos. Num artigo de blogue de julho, a Anthropic descreveu o conteúdo proibido como um espectro que vai do inofensivo ao prejudicial, com alguns casos exigindo apenas monitorização reforçada. A porta-voz observou que os casos de role-play sexual ou romântico são raros, representando menos de 0,1% de todas as conversas, de acordo com uma pesquisa publicada no ano passado. No entanto, a empresa reconhece que os utilizadores podem direcionar cenários de role-play para respostas inapropriadas, um desafio partilhado pela indústria. A pesquisadora já tinha alertado a Anthropic sobre a discrepância entre as suas salvaguardas declaradas e o comportamento do modelo através do seu programa Bug Bounty e e-mails para a equipa de segurança do utilizador, mas recebeu apenas respostas automatizadas. As preocupações incluem o potencial para menores utilizarem estes modelos para comportamentos inapropriados, uma vez que alguns governos estão a impor restrições aos chatbots de IA que interagem sexualmente com menores. A Coloredo recentemente aprovou uma lei que exige que os operadores de chatbots de IA estimem a idade dos utilizadores e impeçam a geração de material sexual explícito se o utilizador for menor de idade. Embora os termos de serviço do Claude exijam que os utilizadores tenham mais de 18 anos, os relatórios indicam que crianças e adolescentes estão a utilizar a plataforma. De acordo com a pesquisa de 2025 da Pew, 3% dos adolescentes com idades entre os 13 e os 17 anos relataram o uso do Claude. Opus 4.6 e Haiku 4.5 continuam a apresentar um uso significativo, com o Opus 4.6 a registar 1,17 milhões de solicitações de API e 46 mil milhões de tokens num único dia em agosto, e o Haiku 4.5 a registar 5 milhões de solicitações de API e 39 mil milhões de tokens no seu dia de pico. Os resultados levantam questões sobre se as salvaguardas da Anthropic cumprem o padrão de 'medidas tecnicamente viáveis' em contextos regulatórios.