Modelo 5.5 da Anthropic enfrenta escrutínio por verificações de segurança ocultas

O modelo 5.5 da Anthropic, um modelo de linguagem grande de última geração, tem atraído atenção devido à sua compreensão avançada da intenção e mecanismos de segurança. Os utilizadores relatam que o modelo se destaca na interpretação de tarefas complexas e na compreensão da intenção do utilizador, abordando questões subjacentes além das instruções superficiais. Uma característica chave é o mecanismo de 'Autoavaliação', que executa uma verificação de segurança oculta após cada resposta. Este sistema, que reutiliza o contexto e o cache KV existentes, identifica 78% das interações inseguras e deteta comportamentos de alto risco em 93%. O processo utiliza menos de 2% dos custos totais de inferência, sem impacto na faturação ou latência do utilizador. A Anthropic afirma que o sistema respeita a privacidade, embora os utilizadores expressem preocupações sobre o 'julgamento moral' implícito e a potencial vigilância. O sistema de Autoavaliação opera sem modelos externos, dependendo da mesma IA que gerou a resposta. Processa algumas dezenas de tokens, produzindo um resultado JSON de 10 tokens sem retenção de dados para utilizadores individuais. A Anthropic utiliza sinais de risco agregados para análise offline, com o objetivo de descobrir novas ameaças, como a injeção de prompts. Apesar da sua eficiência, o mecanismo tem gerado debate sobre o seu impacto na confiança do utilizador e na liberdade de expressão. A empresa enfatiza que as auditorias de segurança são financiadas pela plataforma e não penalizam os utilizadores, embora os críticos argumentem que o sistema cria uma sensação invisível de vigilância.