AuTexTification: Model Generated Text Detection

Esta tarea pretende impulsar la investigación sobre la detección de texto generado automáticamente mediante modelos de generación de texto. Los participantes deben desarrollar modelos que exploten pistas sobre la forma y el significado lingüísticos para distinguir el texto generado automáticamente del texto humano. Esta subtarea consiste en distinguir entre texto humano y generado. Está enmarcado como una tarea de clasificación binaria de texto humano (Hum) y MGT (Gen), donde el texto de tres dominios se incluye en el conjunto de entrenamiento y los envíos se evalúan en dos no vistos.

Publicación
Areg Mikael Sarvazyan, José Ángel González, Marc Franco-Salvador, Francisco Rangel, Berta Chulvi, Paolo Rosso (2023) Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 275-288.
Idioma
Español
Tarea abstracta
Año
2023
Métrica Ranking
Macro F1

Mejores resultados para la tarea

Sistema MacroF1
turing_testers 0.6277
bucharest 0.5649
ANLP 0.5138
UAEMex 0.3517
LKE_BUAP 0.3160
TALN-UPF 0.7077
Drocks 0.6537
Ling UCM 0.7060
GLPSI 0.6390

Si has publicado un resultado mejor que los de la lista, envía un mensaje a odesia-comunicacion@lsi.uned.es indicando el resultado y el DOI del artículo, junto con una copia del mismo si no está publicado en abierto.