La Similitud Semántica Textual mide la similitud de significado de las oraciones. Esta tarea tiene como objetivo investigar la relación entre la similitud semántica textual y la estimación de la calidad de la traducción automática proporcionando etiquetas de similitud semántica textual para los datos de estimación de calidad del Workshop on Machine Translation 2014. Los datos incluyen traducciones al español de frases en inglés mediante una variedad de métodos y traducción humana. Los sistemas deben comparar oraciones en español e inglés.
Publicación
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. Association for Computational Linguistics.
Idioma
Español
Inglés
NLP topic
Tarea abstracta
Dataset
Año
2017
Enlace publicación
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation Ordenar ascendente | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SEF@UHH | 0.3407 | ||||||||||||||||||||||||||||||||||||
| ECNU | 0.3363 | ||||||||||||||||||||||||||||||||||||
| ECNU | 0.3311 | ||||||||||||||||||||||||||||||||||||
| SEF@UHH | 0.3069 | ||||||||||||||||||||||||||||||||||||
| ECNU | 0.2633 |
