Modelos Multimodais de Embedding e Reranker com Sentence Transformers

A atualização v5.4 do Sentence Transformers introduz modelos multimodais de embedding e reranker, que permitem codificar e comparar textos, imagens, áudio e vídeos dentro de um espaço de embedding compartilhado. Isso é crucial para tarefas como busca cross-modal e retrieval-augmented generation. Esses modelos avançados mapeiam diferentes modalidades em um espaço de embedding consistente e avaliam a relevância entre pares de modalidades mistas, embora pontuações de similaridade cross-modal mais baixas possam ocorrer devido ao agrupamento de modalidades.

Notavelmente, os rerankers multimodais fornecem pontuação de alta qualidade ao avaliar pares individuais, resultando em resultados de retrieval mais precisos e relevantes.