De modelos virtuales a pruebas de laboratorio: evaluar la capacidad de la IA para diseñar proteínas eficaces

Un estudio reciente evalúa la eficacia de la IA en el diseño de proteínas analizando datos del conjunto de datos claude-protein-binder-design de Anthropic, que incluye 1.440 mini-ligandos de proteínas generados por IA, que se han probado contra 16 objetivos. El conjunto de datos proporciona tanto predicciones computacionales como resultados experimentales reales de dos laboratorios independientes, lo que permite a los investigadores evaluar no solo el éxito de los diseños, sino también la fiabilidad de los predictores de estructura y el impacto de la variabilidad experimental. El estudio también introduce un clasificador consciente del objetivo para determinar si estas señales computacionales pueden predecir de forma fiable los resultados experimentales. La investigación comienza abordando el desafío de los nombres de archivo inconsistentes mediante la creación de un sistema de mapeo dinámico para localizar archivos de datos, lo que garantiza el acceso preciso a conjuntos de datos críticos como wetlab_summary y design_summary. Al centrarse en las llamadas reales a los proveedores en lugar de en binder_final, el equipo evita clasificar diseños no probados como fracasos. A continuación, calculan las tasas de éxito en función de los modelos, las campañas, los generadores y los objetivos, utilizando intervalos de Wilson para tener en cuenta los tamaños de muestra pequeños, con el gráfico objetivo que muestra cómo la selección de antígenos influye significativamente en los resultados. Los investigadores evalúan diez predictores utilizando tanto los métricas ipSAE y self-consistency DockQ, junto con intervalos de confianza bootstrap para identificar diferencias significativas. La clasificación de rendimiento se normaliza a percentiles para permitir comparaciones entre métricas, con un mapa de calor de Spearman que ilustra cómo los métodos de conjunto mejoran el rendimiento cuando los predictores difieren. El estudio también convierte las clasificaciones en precision@N para reflejar mejor los escenarios de prueba prácticos y utiliza una tabla de enriquecimiento para evaluar el valor de la triaje a diferentes niveles de presupuesto. Se utilizan κ de Cohen y una comparación log-log KD entre proveedores para establecer los estándares de rendimiento, identificando el ruido de etiquetas como un factor limitante para las puntuaciones de AUC. El estudio también investiga si el título de expresión por sí solo puede distinguir los ligandos, sugiriendo que la solubilidad puede influir en las puntuaciones. Al volver a ejecutar el consenso en diseños expresados solo, los investigadores aíslan la calidad de la interfaz de los factores biológicos. Las listas de contactos de epítopos se analizan en conjuntos de residuos para determinar si los ligandos exitosos comparten patrones de unión comunes en diferentes objetivos. Las secuencias se caracterizan utilizando composición, carga, hidrofobicidad, entropía y longitud de run de hidrofobicidad, con modelos de boosting entrenados bajo dos esquemas: divisiones aleatorias y divisiones agrupadas por objetivo. La diferencia entre estos métodos destaca posibles fugas debido a las tasas base específicas del objetivo. Un control one-hot y la importancia de permutación en un bloque de objetivo de exclusión ayudan a identificar características robustas. El estudio concluye que, si bien la puntuación in silico es útil, no captura completamente el rendimiento del mundo real, enfatizando la importancia de una evaluación y validación específicas del objetivo para garantizar que los modelos generalicen eficazmente a nuevos objetivos.