Home Investigação e Inovação Projetos IVLinG - Intérprete Virtual de Língua Gestual
IVLinG - Intérprete Virtual de Língua Gestual
Data: 2021-2023
Setores

Indústria de software, TIC e media

Serviços

Investigação e Desenvolvimento sob Contrato

Departamentos

Computer Vision, Interaction and Graphics

Competências

Visão por computador e processamento de imagem
Computação gráfica, realidade virtual, aumentada e mista

 

ENQUADRAMENTO

O projeto IVLinG compreende a criação de uma plataforma digital de interpretação virtual e bidirecional de Língua Gestual Portuguesa (LGP), que permite agilizar a comunicação entre a população surda e a comunidade ouvinte

 

 

Atualmente, com o avanço da tecnologia e o surgimento de paradigmas emergentes quer associados à inteligência artificial (nomeadamente Machine e Deep Learning), quer ao nível da computação gráfica e realidade virtual, torna-se possível a criação de sistemas que permitam auxiliar o seu acesso a serviços de atendimento ao público, e contribuir, de forma efetiva na integração do surdo na sociedade.

SOLUÇÕES PROPOSTAS

Criação de um intérprete virtual em tempo real de Língua Gestual Portuguesa (LGP), que irá efetuar o reconhecimento automático de gestos e expressões faciais e corporais. ​​​​

 

 

Estes movimentos são posteriormente traduzidos para texto e/ou áudio, sendo que a pessoa ouvinte recebe essa informação no computador ou smartphone. A resposta em LGP é visualizada por meio de um avatar tridimensional. Este sistema pode também ser utilizado a partir de dispositivos móveis e sem necessidade de luvas ou de outros elementos para captação de movimentos.

CONTRIBUIÇÃO CCG/ZGDV

O CCG/ZGDV contribui para o projeto IVLinG, através do departamento de I&I, CVIG, com o desenvolvimento de um sistema de reconhecimento de gestos suportado em Inteligência Artificial (IA), computação gráfica e realidade virtual.

 

 

 

Através de uma gravação do que se pretende expressar, é possível identificar o gesto e a palavra/expressão correspondente, que posteriormente é convertida em texto e/ou áudio enviado ao utilizador não surdo, no computador ou smartphone.

O componente de reconhecimento LGP usa técnicas de IA para identificar 𝑙𝑎𝑛𝑑𝑚𝑎𝑟𝑘𝑠 partes do corpo e redes neurais com noção de sequência LSTM (𝑙𝑜𝑛𝑔 𝑠ℎ𝑜𝑟𝑡-𝑡𝑒𝑟𝑚 𝑚𝑒 𝑚𝑜𝑟𝑦) e ChatGPT para articular essas palavras em frases, com a devida coerência gramatical.

Essa tecnologia traz um enorme benefício ao proporcionar maior autonomia e inclusão à comunidade surda.