Mu-SHROOM-2025-es

El conjunto de datos Mu-SHROOM consiste en una colección de prompts, salidas de modelos, logits e identificadores de modelos de lenguaje de gran tamaño de acceso abierto. El conjunto de datos abarca 10 idiomas con datos de validación y prueba (árabe estándar moderno, alemán, inglés, español, finés, francés, hindi, italiano, sueco y chino mandarín), 4 idiomas solo de prueba (“sorpresa”) (catalán, checo, euskera y persa), así como datos de entrenamiento no etiquetados para inglés, español, francés y chino. Metadatos complementarios, incluidas las anotaciones en bruto antes del posprocesamiento y las URLs de Wikipedia utilizadas como referencia, así como los scripts empleados para generar las salidas de los modelos en los 14 idiomas y el código de las interfaces de anotación y envío, están disponibles públicamente.

Idioma(s)
Español
Inglés
Árabe
Alemán
Farsi
Francés
Hindi
Italiano
Sueco
Chino
Año
2025
Dominio
Diversos
Tipo Textos
Wikipedia
Anotaciones
Fragmentos de alucinación a nivel de carácter con etiquetas duras y suaves, e identificadores de los anotadores.
Acceso a datos
Publico

Publicación
Raul Vazquez, Timothee Mickus, Elaine Zosa, Teemu Vahtola, Jörg Tiedemann, Aman Sinha, Vincent Segonne, Fernando Sanchez - Vega, Alessandro Raganato, Jind?ich Libovický, Jussi Karlgren, Shaoxiong Ji, Jind?ich Helcl, Liane Guillou, Ona De Gibert, Jaione Bengoetxea, Joseph Attieh, and Marianna Apidianaki. 2025. SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes. In Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), pages 2472–2497, Vienna, Austria. Association for Computational Linguistics.
Licencia
CC-BY-4.0
Número de unidades
200
Tamaño set evaluación
150
Tamaño set desarrollo
50

Si has publicado un resultado mejor que los de la lista, envía un mensaje a odesia-comunicacion@lsi.uned.es indicando el resultado y el DOI del artículo, junto con una copia del mismo si no está publicado en abierto.