Inicio Ciencia Open ASR Leaderboard amplía la evaluación de acentos con datos de Egipto...

Open ASR Leaderboard amplía la evaluación de acentos con datos de Egipto y Nigeria

0
92
Open ASR Leaderboard amplía la evaluación de acentos con datos de Egipto y Nigeria

El Open ASR Leaderboard ahora incluye datos privados de inglés con acentos egipcio y nigeriano, ampliando el análisis del rendimiento de los modelos de reconocimiento automático del habla y la representación de variedades lingüísticas fuera de Estados Unidos y Europa.

El Open ASR Leaderboard, de Hugging Face, ahora incluye dos nuevas divisiones privadas para evaluar inglés con acentos egipcio y nigeriano. La actualización se anunció en colaboración con Liva AI y busca ampliar la representación geográfica en las pruebas de reconocimiento automático del habla.

Según la publicación, el cambio complementa una iniciativa iniciada meses antes, cuando el ranking incorporó 11 divisiones privadas proporcionadas por Appen y DataOceanAI. Estos conjuntos cubrían habla guionizada y conversacional de cinco acentos.

Más diversidad en la evaluación del habla

Después de la primera expansión, el leaderboard también recibió una división privada para inglés con acento indio, en colaboración con Voice Arena. La nueva etapa añade variedades asociadas con Egipto y Nigeria.

Hugging Face afirma que el objetivo es mejorar la representación de acentos e idiomas en las evaluaciones de reconocimiento del habla. La empresa también relaciona el uso de datos privados con el intento de reducir el llamado benchmaxxing, una práctica que consiste en optimizar modelos específicamente para conjuntos públicos conocidos.

Con los nuevos datos, el ranking ofrecerá una separación más detallada entre las variedades del inglés. La publicación cita la clasificación de los Tres Círculos de Kachru, una estructura utilizada para organizar distintos contextos de uso de la lengua inglesa.

  • Estados Unidos frente a otros acentos evaluados, incluidos Reino Unido, Australia, Canadá, India, Nigeria y Egipto.
  • Inner Circle, formado por Estados Unidos, Reino Unido, Australia y Canadá, frente a los círculos Outer y Expanding, que incluyen India, Nigeria y Egipto.
  • Posible división futura entre los grupos Outer y Expanding a medida que se añadan nuevos acentos.

El papel de los datos privados

La publicación describe los conjuntos privados como una forma de crear evaluaciones mantenidas fuera del alcance directo de los desarrolladores. La intención es ofrecer una medida más resistente a la adaptación excesiva a benchmarks públicos.

Liva AI se presenta como una empresa que recopila datos multimodales mediante productos orientados al uso por parte de personas reales. Según Hugging Face, este control sobre la recopilación y distribución permite desarrollar productos dirigidos a carencias específicas de los modelos.

La empresa también afirma que este tipo de recopilación puede registrar comportamientos de uso más naturales y contextualizados que las tareas creadas exclusivamente para una evaluación. Sin embargo, la publicación no detalla los métodos de muestreo, la cantidad de hablantes ni los criterios de anonimización de los nuevos conjuntos.

Lo que la actualización aún no responde

La expansión mejora la segmentación anunciada del leaderboard, pero no permite concluir, basándose únicamente en el material divulgado, qué modelos obtuvieron ganancias o pérdidas con cada acento. Tampoco se presentan cifras sobre precisión, tasa de error o rendimiento comparativo.

La inclusión del inglés egipcio y nigeriano amplía la cobertura más allá de los principales acentos utilizados en muchos benchmarks. Aun así, la representatividad final dependerá de la composición de los datos y de la continuidad de la inclusión de nuevos países, hablantes y contextos de uso.

La actualización refuerza una tendencia hacia benchmarks de habla más segmentados y menos dependientes de una única media global. El impacto práctico sobre la calidad de los modelos solo podrá evaluarse cuando el leaderboard presente resultados detallados para estas divisiones.

Fuente original: Hugging Face — Egyptian and Nigerian English join the Open ASR Leaderboard.

Recibe Radar de IA todos los días

Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.

Sin spam. Cancela cuando quieras.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí