Se trata de una clasificación binaria que consiste en decidir si un tuit determinado contiene o no expresiones o comportamientos sexistas (es decir, es sexista en sí mismo, describe una situación sexista o critica un comportamiento sexista).
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | ICM Ordenar ascendente |
|---|---|
| Mario_1 | 0.6995 |
| Mario_3 | 0.6959 |
| Mario_2 | 0.6552 |
| roh-neil_1 | 0.5912 |
| roh-neil_2 | 0.5912 |
| CLassifiers_2 | 0.5659 |
| CIC-SDS.KN_3 | 0.5605 |
| CIC-SDS.KN_2 | 0.5600 |
| CLassifiers_3 | 0.5583 |
| roh-neil_3 | 0.5505 |
