EXIST-2023: Sexism categorization (soft-soft)

Muchas facetas de la vida de una mujer pueden ser objeto de actitudes sexistas, como las funciones domésticas y parentales, las oportunidades profesionales, la imagen sexual y las expectativas vitales, por citar algunas. Detectar automáticamente cuáles de estas facetas de la mujer son atacadas con más frecuencia en las redes sociales facilitará el desarrollo de políticas de lucha contra el sexismo. En esta tarea, cada tuit sexista debe clasificarse en una o varias de las siguientes categorías: IDEOLOGICAL AND INEQUALITY, STEREOTYPING AND DOMINANCE, OBJECTIFICATION, SEXUAL VIOLENCE, MISOGYNY AND NON-SEXUAL VIOLENCE.En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.

Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2023
Métrica Ranking
ICM

Mejores resultados para la tarea

Sistema ICM Ordenar ascendente
roh-neil_1 0.6431
roh-neil_2 0.6431
UniBo_2 0.6055
AIT_FHSTP_1 0.5995
UniBo_1 0.5965
SINAI_2 0.5913
Mario_3 0.5578
Mario_2 0.5405
Mario_1 0.5305
SINAI_3 0.5213

Si has publicado un resultado mejor que los de la lista, envía un mensaje a odesia-comunicacion@lsi.uned.es indicando el resultado y el DOI del artículo, junto con una copia del mismo si no está publicado en abierto.