Se trata de una clasificación binaria que consiste en decidir si un meme determinado contiene o no expresiones o comportamientos sexistas (es decir, es sexista en sí mismo, describe una situación sexista o critica un comportamiento sexista). En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2025). Overview of EXIST 2025: Learning with Disagreement for Sexism Identification and Characterization in Tweets, Memes, and TikTok Videos. In: Carrillo-de-Albornoz, J., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2025. Lecture Notes in Computer Science, vol 16089. Springer, Cham.
Idioma
Inglés
Español
URL Tarea
NLP topic
Dataset
Año
2025
Enlace publicación
Métrica Ranking
ICMSoft
Mejores resultados para la tarea
| Sistema | ICM Soft Ordenar ascendente |
|---|---|
| TrankilTwice_1 | 0.0683 |
| TrankilTwice_3 | 0.0526 |
| TrankilTwice_2 | 0.0129 |
| surrey-mm-group_1 | -0.7061 |
| I2C-UHU-Altair_1 | -0.8558 |
