Mu-SHROOM, the Multilingual Shared Task on Hallucinations and Related Observable Overgeneration Mistakes

La tarea se centra en detectar alucinaciones y otros errores de sobregeneración en la salida de modelos de lenguaje de gran tamaño ajustados mediante instrucciones. Mu-SHROOM aborda modelos de propósito general en 14 idiomas y plantea el problema de la detección de alucinaciones como una tarea de etiquetado de fragmentos.

Publicación

Raul Vazquez, Timothee Mickus, Elaine Zosa, Teemu Vahtola, JÃ¶rg Tiedemann, Aman Sinha, Vincent Segonne, Fernando Sanchez - Vega, Alessandro Raganato, Jind?ich LibovickÃ½, Jussi Karlgren, Shaoxiong Ji, Jind?ich Helcl, Liane Guillou, Ona De Gibert, Jaione Bengoetxea, Joseph Attieh, and Marianna Apidianaki. 2025. SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes. In Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), pages 2472Â–2497, Vienna, Austria. Association for Computational Linguistics.

Competición

SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes

Idioma

Español

Inglés

Árabe

Alemán

Farsi

Francés

Hindi

Italiano

Sueco