SenseTime lança modelo multimodal de código aberto e leve com capacidade de saída em 4k

A SenseTime anunciou oficialmente a disponibilização em código aberto do SenseNova U1.5Lite, um novo modelo multimodal grande e leve, nativo e unificado. O modelo, com 8 bilhões de parâmetros, demonstra um desempenho robusto em várias tarefas visuais de base, superando modelos de escala semelhante e alcançando resultados comparáveis aos de modelos comerciais em cenários complexos de layout e renderização de texto. O modelo suporta nativamente comprimentos de contexto de até 4K, permitindo que gerencie múltiplas restrições, como sujeito, quantidade, relações espaciais, texto, layout e estilo, simultaneamente. Isso melhora significativamente a estabilidade durante a execução de tarefas visuais complexas. O SenseNova U1.5Lite introduz várias melhorias importantes. Oferece uma geração visual aprimorada, melhorando a composição geral, cor, material, iluminação, realismo e detalhes locais. Isso aborda problemas comuns em que modelos tradicionais produzem resultados localmente corretos, mas globalmente incompletos. Além disso, o modelo fornece capacidades de edição de imagem nativas mais confiáveis, melhorando a preservação da identidade do sujeito, da estrutura espacial, das relações de layout e das áreas não editáveis. Também melhora o desempenho geral de modificações locais, substituição de elementos, refinamento de texto e edição de imagem com múltiplas referências. O modelo se destaca no tratamento de texto e layouts complexos, fortalecendo suas capacidades em texto e layouts em chinês e inglês, pôsteres, infográficos, elementos visuais de marca e formatação de texto. Isso impulsiona a geração de conteúdo em direção a uma expressão visual completa. Em termos de controle visual, suporta métodos como Bounding Box, Marcador Visual e referências de imagem única ou múltipla, permitindo a edição mais precisa de regiões e objetos especificados. Notavelmente, ele alcança uma saída de alta resolução nativa de 4K, mantendo tanto a composição macro geral quanto texturas extremamente finas, pequenos textos e efeitos de iluminação em alta resolução na geração. O projeto está disponível em https://github.com/OpenSenseNova/SenseNova-U1.