SenseTime lanza un modelo multimodal ligero de código abierto con capacidades de salida de 4k

SenseTime ha anunciado oficialmente la publicación de código abierto de SenseNova U1.5Lite, un nuevo modelo multimodal grande y nativo ligero. El modelo, con 8 mil millones de parámetros, muestra un rendimiento sólido en varias tareas visuales centrales, superando a modelos de tamaño similar y logrando resultados comparables a los de modelos comerciales en escenarios complejos de diseño y renderizado de texto. El modelo admite nativamente longitudes de contexto de hasta 4K, lo que le permite gestionar múltiples restricciones como el sujeto, la cantidad, las relaciones espaciales, el texto, el diseño y el estilo simultáneamente. Esto mejora significativamente la estabilidad durante la ejecución de tareas visuales complejas. SenseNova U1.5Lite introduce varias mejoras clave. Ofrece una generación visual mejorada, mejorando la composición general, el color, los materiales, la iluminación, el realismo y los detalles locales. Esto aborda problemas comunes en los que los modelos tradicionales producen resultados localmente correctos pero globalmente incompletos. Además, el modelo proporciona capacidades de edición de imágenes nativas más fiables, mejorando la preservación de la identidad del sujeto, la estructura espacial, las relaciones de diseño y las áreas no editables. También mejora el rendimiento general de las modificaciones locales, el reemplazo de elementos, la refinación de texto y la edición de imágenes con múltiples referencias. El modelo destaca en el manejo de texto y diseños complejos, fortaleciendo sus capacidades en texto y texto en chino e inglés, carteles, infografías, elementos visuales de marca y formato de texto múltiple. Esto impulsa la generación de contenido hacia una expresión visual completa. En términos de control visual, admite métodos como Bounding Box, marcadores visuales y referencias de una o múltiples imágenes, lo que permite una edición más precisa de regiones y objetos específicos. Cabe destacar que logra una salida de alta resolución nativa de 4K, manteniendo tanto la composición macro general como las texturas extremadamente finas, los pequeños textos y los efectos de iluminación en la generación de alta resolución. El proyecto está disponible en https://github.com/OpenSenseNova/SenseNova-U1