Mistral AI presenta voxtral 3 con capacidades de transcripción, tts y sdk de agente de voz

Mistral AI ha lanzado Voxtral 3, una familia de modelos de voz que incluye un SDK de agente de voz. El lanzamiento incluye tres modelos de transcripción, un modelo de texto a voz y un SDK basado en LiveKit. Todos los cuatro modelos están disponibles en una versión de prueba pública a través de la API de Mistral. Los modelos de transcripción admiten la diarización y el sesgo contextual, con la transcripción por lotes que cubre 50 idiomas, incluidos los 24 idiomas oficiales de la UE. El SDK funciona como una tubería de transmisión con tres etapas, lo que permite la transcripción, el razonamiento y la generación de voz en tiempo real. Voxtral Speech 3 responde en el tono de la conversación, y cada turno se completa en menos de un segundo. Las métricas de rendimiento de Voxtral 3 incluyen un AA-WER del 2,1 % para el modelo Small, lo que lo coloca en segundo lugar, por detrás de Fun-Realtime-ASR-preview. El modelo en tiempo real en FLEURS 35 obtiene un WER del 5,7 % a 2.400 ms, con una menor precisión a menores latencias. Voxtral Speech 3 cuesta $13 por cada 1 millón de caracteres, superando a competidores como OpenAI TTS-1 y ElevenLabs Flash. El modelo ofrece controles explícitos para la emoción, el ritmo y el énfasis, y Pro Voice adapta el estilo del hablante a partir de 30 minutos de audio. Los modelos de Mistral están disponibles en puntos finales europeos, estadounidenses y globales, y OpenRouter también los enumera.