Inovação

Estudante de engenharia cria IA que transforma linguagem de sinais em inglês em tempo real

Vitor Paiva - 24/02/2022 às 18:15

Quando começou a cursar Ciências da Computação na Vellore Institute of Technology, universidade de tecnologia na cidade de Vellore, na Índia, a estudante Priyanjali Gupta, de 20 anos, se viu provocada por sua própria mãe a criar algo de real valor “agora que estava estudando engenharia”. A convocação materna se deu em fevereiro de 2021, e bateu fundo na jovem indiana, que se sentiu positivamente desafiada a criar algo que respondesse à altura: foi a partir de então que Gupta iniciou o desenvolvimento de um sistema de Inteligência Artificial capaz de “traduzir” a linguagem dos sinais para o inglês de forma imediata e eficaz, apresentado exatamente um ano depois, em fevereiro de 2022.

O sistema de Priyanjali Gupta reconhecendo a jovem dizendo "Eu te amo" com 100% de precisão

O sistema de Priyanjali Gupta reconhecendo a jovem dizendo “Eu te amo” com 100% de precisão

-Crianças da 1ª série aprendem língua de sinais para se comunicar com colega de classe

“Ela me fez contemplar o que eu faria com meu conhecimento e minhas habilidades. Um belo dia, em meio a conversas com a Alexa, me veio a ideia de uma tecnologia inclusiva, que disparou meus planos”, afirmou a jovem, em entrevista à imprensa local. O modelo criado por Gupta aproveita uma interface aberta Tensorflow de detecção de movimentos para “traduzir” os gestos realizados pelas mãos e transferir a um software de IA pré-treinado intitulado ssd_mobilenet, que “lê” a linguagem de sinais para o inglês. O modelo, por enquanto, é treinado para trabalhar com ‘frames’ individuais, como fotos das posições realizadas pelas mãos.

A jovem dizendo "sim" reconhecido com 96% de precisãp

A jovem dizendo “sim” reconhecido com 96% de precisãp

"Não", também com 96%

“Não”, também com 96%

-A deficiente auditiva que ensinou língua de sinais aos seus gatos

“O conjunto de dados foi feito manualmente com uma webcam de computador e anotações, e o modelo, por enquanto, é treinado com imagens individuais”, afirmou a estudante. “Para detectar vídeos, o modelo precisa ser treinado em frames múltiplos, para o qual estou inclinada a utilizar redes de memória longa de curto prazo”, disse, mencionando que o desenvolvimento de um modelo de aprendizado profunda para a linguagem de sinais é desafiador e difícil, e que por isso ela conta com a comunidade dos softwares em códigos abertos para melhorar e ampliar sua criação – divulgada em vídeo postado no Linkedin que viralizou rapidamente.

-É do Brasil! Aplicativo que traduz português para libras ganha prêmio do Google

De acordo com a própria Priyanjali, seu modelo de tradução utilizando Inteligência Artificial para ler a linguagem de sinais em imagens foi inspirado em um vídeo realizado pelo cientista Nicholas Renotte sobre detecção de linguagem de sinais em tempo real. O trabalho da jovem também dialoga com a invenção criada pelos então estudantes Thomas Pryor e Navid Azodi, a Universidade de Washington, que, em 2016, inventaram uma luva chamada “SignAloud”, capaz de traduzir a linguagem de sinais em áudio e texto. Pelo projeto, a dupla conquistou um prêmio no programa Lemelson-MIT, dentro da renomada universidade Massachussetts Institute of Technology.

"Obrigado"

“Obrigado”

Publicidade

© fotos: YouTube/reprodução


Vitor Paiva
Escritor, jornalista e músico, Vitor Paiva é doutor em Literatura, Cultura e Contemporaneidade pela PUC-Rio. Autor dos livros Tudo Que Não é Cavalo, Boca Aberta, Só o Sol Sabe Sair de Cena e Dólar e outros amores, publica artigos, ensaios e reportagens.

Canais Especiais Hypeness