Uma ferramenta para avaliar e comparar modelos de inteligência artificial

Simon Willison desenvolveu smevals, uma framework de avaliação compacta destinada a testar diferentes configurações de modelos de IA. A ferramenta permite aos utilizadores criar conjuntos de avaliações estruturados através de ficheiros YAML e executá-los contra vários modelos, automatizando a classificação dos resultados. O fluxo de trabalho de smevals separa a execução dos testes da sua classificação, oferecendo maior flexibilidade. Os resultados podem ser explorados através de um servidor web local ou exportados como relatório HTML estático para distribuição na internet. A ferramenta inclui um exemplo prático que avalia como diferentes modelos geram haikus. O projeto representa a terceira iteração de Willison sobre frameworks de avaliação de modelos, desenvolvido em colaboração com o Prime Radiant applied AI research lab.