ASL Citizen: un nuevo conjunto de datos para la tecnología del lenguaje de señas

Imagine poder buscar un signo de ASL desconocido con solo mostrarlo en su dispositivo. Ya sea que hable lenguaje de señas con fluidez o que recién esté comenzando a aprender, este tipo de interacción podría transformar la accesibilidad en la tecnología: piense en asistentes compatibles con ASL como Siri o Alexa o motores de búsqueda que comprendan consultas en lenguaje de señas. Esta visión está un paso más cerca de hacerse realidad gracias al conjunto de datos ASL Citizen, un proyecto colaborativo en el que trabajamos con Microsoft Research, la Universidad de Washington y la Universidad de Maryland. Los autores del estudio son Aashaka Desai, Lauren Berger, Fyodor O. Minakov, Vanessa Milan, Chinmay Singh, Kriston Pumphrey, Richard E. Ladner, Hal Daumé III, Alex X. Lu, Naomi Caselli y Danielle Bragg.

El proyecto ASL Citizen, publicado en NeurIPS 2023 Datasets and Benchmarks , proporciona el mayor conjunto de datos de colaboración colectiva de signos ASL aislados jamás recopilado. Este innovador recurso establece un nuevo estándar para la investigación de aprendizaje automático en el reconocimiento de lenguaje de señas, que es una piedra angular para la creación de tecnología integrada en ASL.

El conjunto de datos: ¿Qué lo hace único?

ASL Citizen contiene más de 83.000 vídeos de 2.731 signos de ASL, grabados por 52 personas con diferentes orígenes y estilos de lenguaje de señas. A diferencia de muchos conjuntos de datos anteriores, que a menudo se recopilaban en entornos de laboratorio controlados o se extraían de contenido en línea, los vídeos de ASL Citizen fueron grabados por participantes en entornos del mundo real, lo que refleja la variabilidad y la riqueza del lenguaje de señas cotidiano.

Las características principales incluyen:

• Contribuciones colaborativas: usuarios fluidos de ASL grabaron sus propias firmas, con pleno consentimiento y compensación.

• Diversidad: los signatarios provienen de 16 estados de EE. UU. y abarcan diferentes edades, géneros y niveles de experiencia en ASL.

• Alta calidad: los videos están cuidadosamente etiquetados y verificados, lo que garantiza datos de entrenamiento de aprendizaje automático precisos.

  
  

La creación de este conjunto de datos fue guiada por investigadores sordos e incluyó prácticas de reclutamiento y consentimiento culturalmente sensibles.

Allanando el camino para la tecnología ASL

Centramos nuestras primeras pruebas de ASL Citizen en la creación de una tecnología para buscar un signo en un diccionario de ASL. Los usuarios pueden mostrar un signo a una cámara y el sistema recupera las coincidencias más cercanas de un diccionario digital. Las primeras pruebas con el conjunto de datos de ASL Citizen demostraron que el sistema podía identificar correctamente el signo correcto en el primer intento el 63 % de las veces, casi el doble de preciso que los sistemas anteriores creados con conjuntos de datos más pequeños o menos diversos.

Pero la recuperación de diccionarios es solo el comienzo. Este conjunto de datos podría permitir:

• Asistentes de voz compatibles con ASL que responden a comandos firmados.

• Motores de búsqueda que entienden la entrada ASL.

• Herramientas educativas para que los estudiantes de ASL practiquen el lenguaje de señas de forma interactiva.

  
  

Fortalecimiento de la accesibilidad y la innovación

ASL Citizen ejemplifica el poder de la colaboración entre los desarrolladores de tecnología y la comunidad de personas sordas. Al priorizar las necesidades del mundo real y la conciencia cultural, esperamos que este trabajo cree oportunidades para que las comunidades de personas sordas accedan a la tecnología de maneras que resulten intuitivas y significativas. Con conjuntos de datos como ASL Citizen, la brecha entre los usuarios de la lengua de señas y la tecnología digital puede seguir cerrándose, allanando el camino para un futuro tecnológico más inclusivo.