Anthropic apresenta sistema de avaliação de plugins para claude code

A Anthropic introduziu um novo fluxo de trabalho de avaliação de plugins para o Claude Code, permitindo que os desenvolvedores avaliem o desempenho dos plugins por meio de testes estruturados. O sistema executa os plugins contra prompts realistas, avalia a saída e compara os resultados com uma versão sem o plugin. Ele aborda três questões-chave: se a habilidade é acionada, se sobrevive a edições e se supera um modelo de base. A ferramenta é implantável no Claude Code v2.1.269 ou posterior, com cada avaliação cobrindo a conta do usuário. As avaliações são organizadas em um diretório 'evals/', com prompts e avaliadores definidos em arquivos Markdown. Existem seis tipos de avaliadores disponíveis, com quatro sendo gratuitos e dois exigindo um modelo de juiz. Os resultados são publicados em um arquivo 'report.html', com compartilhamento opcional público em claude.ai. A ferramenta inclui uma porta CI para habilidades, permitindo testes e relatórios automatizados. As avaliações são executadas duas vezes por caso—uma vez com e uma vez sem o plugin—para medir a contribuição do plugin. Um único caso pode gerar várias execuções, com custos e tempo variando de acordo com a complexidade. A ferramenta também suporta um modo 'bare' para pipelines CI, gerando modelos em vez de relatórios completos. A Anthropic destaca problemas comuns, como plugins que não acionam habilidades naturalmente, que as ferramentas de validação atuais não conseguem detectar.