Esta tarea consiste en identificar menciones personales de síntomas de COVID-19 en tweets. Es un problema de clasificación de tres categorías, que requiere que los participantes distingan menciones personales de síntomas (informes propios) de otras menciones, como síntomas reportados por otros (informes no personales) y referencias a fuentes externas (menciones en literatura/noticias).
El conjunto de tweets anotados para esta tarea es un conjunto de tweets en español, curados manualmente.
La tarea se aloja en Codalab en https://codalab.lisn.upsaclay.fr/competitions/3535
Publicación
Davy Weissenbacher, Juan Banda, Vera Davydova, Darryl Estrada Zavala, Luis Gasco Sánchez, Yao Ge, Yuting Guo, Ari Klein, Martin Krallinger, Mathias Leddin, Arjun Magge, Raul Rodriguez-Esteban, Abeed Sarker, Lucia Schmidt, Elena Tutubalina, and Graciela Gonzalez-Hernandez. 2022. Overview of the Seventh Social Media Mining for Health Applications (#SMM4H) Shared Tasks at COLING 2022. In Proceedings of The Seventh Workshop on Social Media Mining for Health Applications, Workshop & Shared Task, pages 221–241, Gyeongju, Republic of Korea. Association for Computational Linguistics.
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2022
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 Ordenar ascendente | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 14 | 0.9000 | 0.9000 | 0.9000 | ||||||||||||||||||||||||||||||||||
| 26 | 0.8600 | 0.8600 | 0.8600 | ||||||||||||||||||||||||||||||||||
| 46 | 0.8500 | 0.8500 | 0.8500 | ||||||||||||||||||||||||||||||||||
| 13 | 0.8500 | 0.8500 | 0.8500 | ||||||||||||||||||||||||||||||||||
| 5 | 0.8500 | 0.8500 | 0.8500 |
