En esta tarea, se requiere que los sistemas propongan automáticamente una etiqueta de factualidad para cada evento en un texto. Los eventos están anotados y se consideran tres posibles categorías de factualidad:
- Hechos: situaciones actuales y pasadas en el mundo que se presentan como reales.
- Contrahechos: situaciones actuales y pasadas que el escritor presenta como que no han ocurrido.
- Posibilidades, situaciones futuras, predicciones, hipótesis y otras opciones: situaciones presentadas como inciertas, ya sea porque aún no han ocurrido o porque el autor no sabe.
Publicación
Aiala Rosá, Laura Alonso, Irene Castellón, Luis Chiruzzo, Hortensia Curell, Ana Fernandez Montraveta, Santiago Góngora, Marisa Malcuori, Glòria Vàzquez and Dina Wonsever (2020) Overview of FACT at IberLEF 2020: Events Detection and Classification. Proceedings of the Iberian Languages Evaluation Forum (IberLEF 2020)
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2020
Enlace publicación
Métrica Ranking
Macro F1
Mejores resultados para la tarea
Sistema | MacroPrecision | MacroRecall | MacroF1 Ordenar ascendente |
---|---|---|---|
t.romani | 0.6120 | 0.6040 | 0.6070 |
guster | 0.6210 | 0.5740 | 0.5930 |
accg14 | 0.5560 | 0.5450 | 0.5500 |
trinidadg | 0.5580 | 0.5200 | 0.5360 |
premjithb | 0.4550 | 0.3760 | 0.3930 |