Un marco unificado para construir modelos del mundo en múltiples dominios

Los investigadores de PhAI Labs, CUHK, Fudan, Stanford, Oxford y Princeton han introducido JEPA-Anything, un marco sin dominio para la construcción de modelos del mundo. Este enfoque utiliza una única receta de aprendizaje para construir modelos predictivos en siete campos distintos, incluyendo visión, biología, trayectorias clínicas, control, dinámica molecular, campos físicos y meteorología. El marco extiende las arquitecturas predictivas de incrustación conjunta (JEPAs) con un método llamado Factorización Predictiva Ortogonal (OPF), que divide los objetivos latentes en subespacios para mejorar la estabilidad y el rendimiento del modelo. Los resultados clave incluyen mejoras significativas en el agrupamiento de datos de células individuales, la predicción de eventos clínicos y las simulaciones de dinámica molecular. En el conjunto de datos UK Biobank, JEPA-Anything logró un PRAUC promedio de 0,718, superando el 0,711 del JEPA estándar. En simulaciones de moléculas, demostró el MAE y el RMSD más bajos para el agua, el cuarzo, el paracetamol y el benceno. Además, el marco identificó posibles intervenciones contra el cáncer, con pruebas de laboratorio que respaldan los hallazgos sobre la inhibición de IL-18 y CD73. Si bien los resultados de planificación fueron mixtos, JEPA-Anything mostró mejoras en algunos entornos como Walker2d y HalfCheetah. El equipo de investigación también observó que los modos orbitales latentes recuperaron la ley de Kepler con una pendiente ajustada de -1,4991, que coincide estrechamente con la teórica de -1,5. El repositorio de GitHub y los puntos de control del modelo están disponibles para una mayor exploración.