Harvey lança o tenet, um modelo de IA jurídica construído sobre o kimi k3 com treino personalizado

A Harvey, uma empresa de IA apoiada pela OpenAI, revelou o Harvey Tenet, seu primeiro modelo treinado, como uma prévia de pesquisa. O Tenet é baseado no modelo Kimi K3 e foi treinado usando aprendizado por reforço assíncrono através do Fireworks, com foco em tarefas legais de longo prazo. Os dados de treino incluíram dados sintéticos, informações legais públicas e entrada de especialistas humanos, sem usar dados de clientes. O Tenet superou o modelo base K3 no Harvey Legal Agent Benchmark (LAB), completando quase o dobro de tarefas e melhorando a taxa de sucesso em 9 pontos percentuais no LAB: Contratos e 2 pontos percentuais no benchmark geral do LAB. A Harvey afirma ter desempenho de ponta no LAB: Contratos e segundo lugar no benchmark geral do LAB, usando pontuações do modelo base de Vals. O modelo também demonstrou forte transferibilidade, melhorando o desempenho no Mercor APE e no Crosby Redline Bench, que não faziam parte dos dados de treino. O Tenet manteve o desempenho em benchmarks de conhecimento como LegalBench, CUAD, MAUD e Scale's PRBench, sem comprometer o raciocínio jurídico de referência. O processo de treino envolveu ambientes legais isolados com instruções de estilo de parceria, documentos de clientes e rubricas de especialistas, com execuções que excederam 1.000 turnos por sessão. A avaliação foi conduzida por um LLM como juiz, com recompensas baseadas na satisfação dos critérios da rubrica, resolução de questões legais e um bônus de sucesso total. O modelo foi otimizado usando GSPO com LoRA sobre a rede K3 completa, em aproximadamente 1.750 ambientes e em mais de 10.000 execuções por época. A Harvey também desenvolveu modelos especializados que podem ser roteados para o Tenet como ferramentas ou sub-agentes. No entanto, a publicação permanece como uma prévia de pesquisa, sem pesos de modelo, cartão de modelo ou endpoint de API publicados. A empresa planeja mover o trabalho da pesquisa para a produção dentro de seus produtos ao longo do tempo. A publicação inclui a receita de treino, e não o modelo em si. As alegações da Harvey foram examinadas pelo Reality Check, que não encontrou contradições nos dados publicados, embora alguns benchmarks permaneçam não verificados devido à falta de leaderboards públicos. A pontuação para o Harvey Tenet foi calculada como 78, com base em métricas auto-relatadas e sem resultados de leaderboards públicos.