Tecnología de reconocimiento de signos: el punto de referencia Sem-Lex

La tecnología del lenguaje de señas es fundamental para crear herramientas digitales más inclusivas. La mayoría de las tecnologías modernas (desde los asistentes de voz hasta los motores de búsqueda basados en texto) están diseñadas para lenguajes hablados o escritos, excluyendo a los usuarios del lenguaje de señas. Queremos cambiar eso.

En nuestro estudio, "The Sem-Lex Benchmark: Modeling ASL Signs and Their Phonemes" (El punto de referencia Sem-Lex: modelado de signos de ASL y sus fonemas) , realizado por Lee Kezar, Elana Pontecorvo, Adele Daniels, Connor Baer, Ruth Ferster, Lauren Berger, Jesse Thomason, Zed Sevcikova Sehyr y Naomi Caselli, creamos un gran conjunto de datos para ayudar a las computadoras a reconocer el ASL. Este es un paso clave para hacer que la tecnología sea más accesible para las comunidades sordas.

Principales hallazgos

Recopilamos un conjunto de datos de más de 84.000 vídeos en los que aparecen 41 personas sordas que utilizan el lenguaje de señas. Al entrenar a una computadora para que reconozca los signos de estos vídeos, estamos trabajando para crear una tecnología que pueda comprender y responder al lenguaje de señas. Este conjunto de datos permite un reconocimiento más preciso del lenguaje de señas, lo que podría transformar la forma en que las personas sordas interactúan con las herramientas digitales, desde el uso de teléfonos inteligentes hasta la navegación en sitios web.

​

Lo que esto significa para el futuro de la tecnología del lenguaje de señas

Nuestro objetivo es contribuir a la tecnología que sirva mejor a las personas que usan ASL. El Sem-Lex Benchmark es un paso significativo hacia la creación de herramientas que puedan reconocer y responder al ASL, ayudando a crear tecnología habilitada para IA que reconozca la diversidad de la comunicación humana.

Lea el artículo completo.