Les modèles multimodaux échouent à détecter les contenus nuisibles implicites
En bref
- Les modèles multimodaux échouent à détecter les contenus nuisibles issus de la combinaison image-texte.
- Le benchmark MuPHI révèle des faiblesses dans le raisonnement cross-modal des VLMs.
- La méthode CHIL améliore la généralisation et la robustesse aux contre-exemples.
Une image et une légende anodines prises séparément peuvent devenir nuisibles lorsqu'elles sont combinées. Ce travail propose un benchmark diagnostique, MuPHI, pour évaluer la capacité des modèles à raisonner sur ces mécanismes de composition. Il révèle des lacunes majeures dans le raisonnement multimodal et introduit une méthode, CHIL, améliorant significativement la généralisation des modèles.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur