Da modelagem virtual a testes de laboratório: avaliando a capacidade da IA de projetar proteínas eficazes

Um estudo recente avalia a eficácia da IA no projeto de proteínas, analisando dados do conjunto de dados claude-protein-binder-design da Anthropic, que inclui 1.440 miniproteínas geradas por IA testadas contra 16 alvos. O conjunto de dados fornece tanto previsões computacionais quanto resultados experimentais do mundo real de dois laboratórios independentes, permitindo que os pesquisadores avaliem não apenas o sucesso dos projetos, mas também a confiabilidade dos preditores de estrutura e o impacto da variabilidade experimental. O estudo também introduz um classificador consciente do alvo para determinar se esses sinais computacionais podem prever de forma confiável os resultados experimentais. A pesquisa começa abordando o desafio de nomes de arquivos inconsistentes, criando um sistema de mapeamento dinâmico para localizar arquivos de dados, garantindo o acesso preciso a conjuntos de dados críticos, como wetlab_summary e design_summary. Ao se concentrar em chamadas reais com fornecedores, em vez de binder_final, a equipe evita classificar designs não testados como fracassos. Em seguida, eles calculam as taxas de sucesso em modelos, campanhas, geradores e alvos, usando intervalos de Wilson para levar em conta pequenos tamanhos de amostra, com o gráfico de alvo destacando como a seleção do antígeno influencia significativamente os resultados. Os pesquisadores avaliam dez preditores usando métricas ipSAE e self-consistency DockQ, juntamente com intervalos de confiança bootstrap para identificar diferenças significativas. A classificação de desempenho é normalizada para percentis para permitir comparações entre métricas, com um mapa de calor de Spearman ilustrando como os métodos de conjunto melhoram o desempenho quando os preditores discordam. O estudo também converte classificações em precisão@N para refletir melhor os cenários de teste práticos e usa uma tabela de enriquecimento para avaliar o valor da triagem em diferentes níveis de orçamento. Os valores de Cohen's κ e uma comparação log-log KD entre fornecedores são usados para definir benchmarks de desempenho, com ruído de rótulo identificado como um fator limitante para as pontuações de AUC. O estudo também investiga se o título de expressão sozinho pode distinguir os ligantes, sugerindo que a solubilidade pode influenciar as pontuações. Ao executar novamente o consenso em designs expressos, os pesquisadores isolam a qualidade da interface dos fatores biológicos. Listas de contatos de epítopo são analisadas em conjuntos de resíduos para determinar se os ligantes bem-sucedidos compartilham patches de ligação comuns em vários alvos. As sequências são caracterizadas usando composição, carga, hidrofobicidade, entropia e comprimento de sequência hidrofóbica, com modelos de boosting treinados sob dois esquemas: divisões aleatórias e divisões agrupadas por alvo. A diferença entre esses métodos destaca possíveis vazamentos devido às taxas base específicas do alvo. Um controle one-hot e importância de permutação em um bloco de alvo mantido ajudam a identificar recursos robustos. O estudo conclui que, embora a pontuação in silico seja útil, ela não captura totalmente o desempenho do mundo real, enfatizando a importância de uma avaliação cuidadosa e validação específica do alvo para garantir que os modelos generalizem de forma eficaz para novos alvos.