La tarea tiene como objetivo encontrar las mejores técnicas para identificar y categorizar tuit propagandísticos de fuentes gubernamentales y diplomáticas en un conjunto de datos de 9501 tuits en español, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. La tarea consiste en clasificar el tuit en cuatro grupos de técnicas propagandísticas: apelación a lo común, desacreditación del oponente, lenguaje cargado, apelación a la autoridad.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Español
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM Ordenar ascendente | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| UniLeon | 0.91 | ||||||||||||||||||||||||||||||||||||
| UMUTeam | 0.91 | ||||||||||||||||||||||||||||||||||||
| ELiRF-VRAIN | 0.91 | ||||||||||||||||||||||||||||||||||||
| UnedMBT | 0.91 | ||||||||||||||||||||||||||||||||||||
| PropaLTL | 0.89 |
