Correo Electrónico
DNINFOA - SIA
Bibliotecas
Convocatorias
Identidad UNAL
Sedes
Hablemos: desarrollan aplicación que traduce la Lengua de Señas Colombiana en el celular
Según la OMS, más de 430 millones de personas (el 5% de la población mundial) padece una pérdida de audición discapacitante. Foto: Nicol Torres, Unimedios.
La aplicación móvil Hablemos eliminaría algunas barreras de comunicación entre oyente y sordoseñantes. Foto: Comunicaciones Facultad de Minas, UNAL Medellín.
Parte del procesamiento de datos para entrenar el modelo. Foto: Comunicaciones Facultad de Minas, UNAL Medellín.
Las estudiantes Karen Vanessa Rivera y Luisa Valeria Hernández, dos de las desarrolladoras de la app. Foto: Comunicaciones Facultad de Minas, UNAL Medellín.
La iniciativa tuvo en cuenta la opinión de docentes de una institución con oferta bilingüe bicultural para sordos en Villavicencio. Foto: Comunicaciones Facultad de Minas, UNAL Medellín.
En Colombia hay más de 439.000 ciudadanos sordos y tan solo 660 intérpretes de LSC, según el Departamento Nacional de Estadísticas (DANE), lo que revela un déficit en la garantía de este servicio en el país. Por eso, los estudiantes Felipe Andrés Villero Mejía, Luisa Valeria Hernández Sarmiento, Karen Vanessa Rivera Giraldo, Juan Gabriel Goez Duque y Mateo Ortega López diseñaron Hablemos, una aplicación móvil (app) que permite una conversación fluida e instantánea entre oyentes y personas sordoseñantes.
La app tiene tres funciones principales: traducción de señas a texto, traducción de texto a lenguaje de señas y un “diccionario” con el que se pueden aprender algunos signos básicos.
“En términos generales funciona como un chat similar a WhatsApp. La cámara del dispositivo captura los gestos, las manos y el movimiento corporal, y los traduce a textos que aparecen como burbujas. Por otro lado, el módulo de traducción de texto a señas utiliza un avatar digital, lo que facilita la interacción en tiempo real”, explica Juan Gabriel Goez Duque, estudiante de Ingeniería de Sistemas e Informática de la UNAL Sede Medellín.
El módulo de traducción de señas a texto –en el que se fundamentan los demás– fue el más retador, pues implicó procesar un video mediante un tipo de inteligencia artificial llamada “redes neuronales”, que se basa en la forma en que los animales y los humanos aprenden.
“El proceso de aprendizaje con la máquina es similar a enseñarle a alguien a reconocer los gestos: le mostramos muchos ejemplos de una seña específica, como "Hola" o "Amigo", hasta que aprende a identificarla según los movimientos de las manos y la cara. Luego, cuando alguien realiza una seña frente a la cámara, la aplicación compara lo que ve con lo que aprendió y decide cuál es la seña más probable”, explica Karen Vanessa Rivera Giraldo, estudiante de Ingeniería de Sistemas e Informática de la UNAL Sede Medellín.
Por tratarse de un prototipo, inicialmente entrenaron el modelo con cuatro señas básicas: “Hola”, “Amigo”, “¿Cómo estás?” y “Bien”, para las que produjeron 120 videos –30 para cada una– de entre 1.5 y 3 segundos de duración.
Los estudiantes encuestaron a cuatro profesores del Colegio Departamental la Esperanza, de Villavicencio, registrado como una de las instituciones con oferta bilingüe bicultural para sordos (OBBS), con el fin de conocer sus opiniones sobre la idea de la aplicación, partiendo de sus propias experiencias y de las de sus estudiantes.
“Mencionaron la dificultad que existe para la interpretación debido a la no estandarización de la lengua, las variaciones que hay entre comunidades, dialectos y territorios. Así mismo, recibimos sugerencias que, a futuro, podríamos tener en cuenta, como el aprovechamiento de los audífonos entre usuarios con una pérdida auditiva parcial”, cuenta Luisa Valeria Hernández Sarmiento, estudiante Ingeniería Eléctrica de la UNAL Sede Medellín.
Entre otros retos, está que los signos de la LSC son dinámicos e intervienen todo el cuerpo, por lo que es difícil tener los datos suficientes para entrenar al modelo. No obstante, esto puede sobrellevarse si se cuenta con mayores recursos y el acompañamiento de personal experto, como la misma comunidad sordoseñante.
“El alcance de este tipo de proyectos llega hasta la traducción literal de las señas, por lo que para interpretar en toda su complejidad lo que expresa el interlocutor, sería necesario un modelo de inteligencia artificial complementario, por ejemplo, un modelo de procesamiento de lenguaje natural”, agrega la estudiante Rivera.
En el país existe el Centro de Relevo, una iniciativa del Gobierno nacional y la Federación Nacional de Sordos de Colombia (Fenascol), que aprovecha los dispositivos móviles para poner a disposición intérpretes de LSC las 24 horas del día, de forma virtual y gratuita.
Así mismo, en Internet hay servicios como HETAH, un traductor de texto a señas por medio de un avatar. “Sin embargo, entre estas y otras aplicaciones disponibles, nuestro proyecto resalta por su fin principal: mantener una comunicación bidireccional entre los usuarios, empleando para ello la inteligencia artificial”, finaliza la estudiante Hernández.
La iniciativa, que contó con el apoyo de los profesores Santiago Arango Aramburo y Martha Natalia Echeverry Álzate, adscritos a la Facultad de Minas de la UNAL Sede Medellín, se realizó en el marco del seminario Fundamentos de Proyectos de Ingeniería, que promueve el aprendizaje a partir del diseño de soluciones a problemáticas reales.
Luego de optimizarla, se espera que la aplicación esté disponible en plataformas como Google Play, para dispositivos Android con versiones 10 en adelante, y en la App Store de Apple, para dispositivos iOS con versiones 11 o posteriores.
