Harvey lanza tenet, un modelo de IA legal basado en kimi k3 con entrenamiento personalizado

Harvey, una empresa de IA respaldada por OpenAI, ha presentado Harvey Tenet, su primer modelo entrenado, como una vista previa de investigación. Tenet se basa en el modelo Kimi K3 y se entrenó utilizando el aprendizaje por refuerzo asíncrono a través de Fireworks, centrándose en tareas legales a largo plazo. Los datos de entrenamiento incluían datos sintéticos, información legal pública y la entrada de expertos humanos, sin utilizar datos de clientes. Tenet superó al modelo base K3 en el Harvey Legal Agent Benchmark (LAB), completando casi el doble de tareas y mejorando la tasa de éxito en un 9 por ciento en LAB: Contratos y un 2 por ciento en el benchmark general de LAB. Harvey afirma un rendimiento de última generación en LAB: Contratos y segundo lugar en el benchmark general de LAB, utilizando las puntuaciones del modelo base de Vals. El modelo también mostró una fuerte transferibilidad, mejorando el rendimiento en Mercor's APE y Crosby's Redline Bench, que no formaban parte de los datos de entrenamiento. Tenet mantuvo el rendimiento en los benchmarks de conocimiento como LegalBench, CUAD, MAUD y Scale's PRBench, sin comprometer el razonamiento legal de los libros de texto. El proceso de entrenamiento implicaba entornos legales en sandbox con instrucciones de estilo de socio, documentos de clientes y rúbricas de expertos, con ejecuciones que excedían las 1.000 iteraciones por sesión. La evaluación se llevó a cabo mediante un LLM como juez, con recompensas basadas en la satisfacción de los criterios de la rúbrica, la resolución de problemas legales y un bono de éxito total. El modelo se optimizó utilizando GSPO con LoRA sobre toda la red K3, en aproximadamente 1.750 entornos y más de 10.000 iteraciones por época. Harvey también desarrolló modelos especializados que Tenet puede enrutar como herramientas o subagentes. Sin embargo, la publicación sigue siendo una vista previa de investigación, sin pesos de modelo, tarjeta de modelo ni punto final de API publicados. La empresa planea trasladar el trabajo de la investigación a la producción dentro de sus productos con el tiempo. La publicación incluye la receta de entrenamiento, no el modelo en sí. Las afirmaciones de Harvey han sido examinadas por Reality Check, que encontró ninguna contradicción en los datos publicados, aunque algunos benchmarks siguen sin ser verificados debido a la falta de tablas de clasificación públicas. La puntuación para Harvey Tenet se calculó como 78, basada en métricas auto-reportadas y sin resultados de tablas de clasificación públicas.