Anthropic presenta un sistema de evaluación de plugins para claude code

Anthropic ha introducido un nuevo flujo de trabajo de evaluación de plugins para Claude Code, lo que permite a los desarrolladores evaluar el rendimiento de los plugins a través de pruebas estructuradas. El sistema ejecuta los plugins con indicaciones realistas, califica la salida y compara los resultados con una versión sin el plugin. Aborda tres preguntas clave: si la habilidad se activa, si sobrevive a las ediciones y si supera a un modelo de referencia. La herramienta es compatible con Claude Code v2.1.269 o posterior, y cada evaluación se facturará a la cuenta del usuario. Las evaluaciones se organizan en un directorio 'evals/', con indicaciones y calificadores definidos en archivos markdown. Hay disponibles seis tipos de calificadores, con cuatro gratuitos y dos que requieren un modelo de juez. Los resultados se publican en un archivo report.html, con una opción de compartirlo públicamente en claude.ai. El sistema incluye una puerta de CI para habilidades, lo que permite pruebas y generación de informes automatizados. Las evaluaciones se ejecutan dos veces por caso: una vez con y otra vez sin el plugin, para medir la contribución del plugin. Un solo caso puede generar múltiples ejecuciones, con costes y tiempo variables según la complejidad. La herramienta también admite un modo 'bare' para las tuberías de CI, generando plantillas en lugar de informes completos. Anthropic destaca problemas comunes, como el fallo de los plugins para activar las habilidades de forma natural, lo que las herramientas de validación actuales no pueden detectar.