La CoNLL-2009 Shared Task combina el análisis sintáctico de dependencias y la tarea de identificar y etiquetar argumentos semánticos de predicados. Los participantes podían elegir entre dos tareas: tarea conjunta (análisis sintáctico de dependencias y etiquetado de roles semánticos) o tarea exclusiva de etiquetado de roles semánticos. La tarea de etiquetado de roles semánticos consiste en desambiguar el sentido del predicado, encontrar los argumentos del predicado y asignar un rol semántico a los argumentos. Para esta tarea, los organizadores proporcionan análisis sintácticos de dependencias obtenidos mediante analizadores sintácticos existentes. En los datos de test se indica qué palabras son predicados, pero la desambiguación del predicado (determinar en qué sentido se usa) es parte de la tarea.
Mejores resultados para la tarea
Sistema | Precisión | Recall | F1 | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 Ordenar ascendente | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Zhao | 0.8046 | ||||||||||||||||||||||||||||||||||||
Chen | 0.8029 | ||||||||||||||||||||||||||||||||||||
Meza-Ruiz | 0.7791 | ||||||||||||||||||||||||||||||||||||
Merlo | 0.7719 | ||||||||||||||||||||||||||||||||||||
Nugues | 0.7652 |