Prior labs presenta TabPFN-3.5, un modelo tabular que supera a la solución ganadora de kaggle de 2015 sin ajuste

Prior Labs ha lanzado TabPFN-3.5, un modelo fundamental tabular que supera a la solución ganadora de la competición de Kaggle de Otto de 2015 utilizando la configuración predeterminada. El modelo logra una pérdida logarítmica de 0,375 en el ranking privado, superando el récord anterior de 0,382. Nick Erickson, co-creador de AutoGluon e investigador de IA en Prior Labs, señaló que TabPFN-3.5 funcionó con datos brutos sin ningún ajuste, logrando este resultado en aproximadamente un minuto en una GPU RTX PRO 6000. TabPFN-3.5 también obtiene el primer lugar en siete benchmarks, incluidos TabArena, BeyondArena y STRABLE. El modelo solo se preentrenó con datos sintéticos y nunca se expuso a conjuntos de datos de Kaggle. Está disponible una libreta de Kaggle reproducible para su revisión pública. Erickson destacó la dificultad de mejorar desde el puesto 50 al 10, lo que redujo la pérdida logarítmica de 0,41 a 0,40, y que se requirió un progreso adicional de 0,018 para alcanzar la puntuación ganadora. La versión base del modelo obtiene 1866 Elo en TabArena, superando a TabFM+ en 1823 y a AutoGluon 1.6 extreme en 130 Elo en un quinto del tiempo. A pesar de tener aproximadamente 4 veces más parámetros que TabPFN-3, el tamaño de la caché KV permanece similar, y las predicciones de una sola fila coinciden con la velocidad de TabPFN-3. Sin embargo, en conjuntos de datos de entrenamiento grandes, el modelo base funciona hasta 2 veces más lento que TabPFN-3.