Skip navigation

Use este identificador para citar ou linkar para este item: https://repositorio.ufpb.br/jspui/handle/123456789/34086
Tipo: Dissertação
Título: Sincronismo em língua de sinais: uma investigação de técnicas para redução da dissincronia entre o Português e a tradução automática para Língua Brasileira de Sinais
Autor(es): Costa, Richelieu Ramos de Andrade
Primeiro Orientador: Souza Filho, Guido Lemos de
Resumo: A provisão de uma janela com avatares 3D que renderizam a tradução automática de conteúdo audiovisual para línguas de sinais permite uma oferta mais significativa de programação acessível, tanto na televisão ao vivo quanto em serviços de vídeo sob demanda, além de reduzir os custos operacionais envolvidos, especialmente com intérpretes. No entanto, desafios adicionais envolvem a sincronização do áudio original com a apresentação equivalente em sinais, que é mais lenta do que a fala humana. Estudos indicam que a duração da apresentação de um sinal na Língua de Sinais Americana (ASL) é aproximadamente o dobro da duração de uma palavra monossilábica. Este trabalho visa investigar métodos e estratégias para melhorar a sincronização dos sinais com o conteúdo de vídeo associado. Uma das abordagens consideradas é a aplicação de sumarização automática de sentenças (ou compressão), que visa produzir uma paráfrase mais curta para uma dada sentença de entrada, em um processo de simplificação, para exigir menos sinais para transmitir o conteúdo original. Outra técnica aplicável é chamada de ajuste elástico, que consiste em modificar a duração de exibição de um objeto de mídia. Algoritmos de ajuste elástico podem ajustar a velocidade do áudio em até 10%, para cima ou para baixo, mantendo a qualidade da percepção do áudio dentro de limites aceitáveis. A hipótese principal é que a combinação de tais métodos permita que o tempo necessário para interpretar o conteúdo na Língua Brasileira de Sinais não cause uma dessincronização das informações ou fuga do contexto, priorizando preservar as informações mais cruciais relacionadas ao conteúdo. Trinta experimentos com sumarização automática de matérias jornalísticas foram realizados. Em alguns, foi possível exibir a sinalização em Língua Brasileira de Sinais usando um avatar 3D dentro da duração da notícia. Ao final, foi realizada uma análise da qualidade da tradução automática com os algoritmos Bilingual Evaluation Understudy (BLEU), Metric for Evaluation of Translation with Explicit Ordering (METEOR) e Translation Edit Rate (TER).
Abstract: The provision of a window with 3D avatars that render automatic translation of audiovisual content into sign languages enables a more significant offering of accessible programming, both on live television and video-on-demand services, while also reducing operational costs, particularly those associated with interpreters. However, additional challenges involve synchronizing the original audio with its equivalent presentation in signs, which is slower than human speech. Studies indicate that the duration of a sign presentation in American Sign Language (ASL) is approximately twice the length of a monosyllabic word. This study aims to investigate methods and strategies to improve the synchronization of signs with the associated video content. One approach considered is the application of automatic sentence summarization (or compression), which aims to produce a shorter paraphrase of a given input sentence, simplifying it to require fewer signs to convey the original content. Another applicable technique is called elastic adjustment, which involves modifying the playback duration of a media object. Elastic adjustment algorithms can adjust the speed of audio by up to 10%, either up or down, while maintaining acceptable audio perception quality. The main hypothesis is that the combination of such methods will allow the time required to interpret content into Brazilian Sign Language (Libras) to avoid desynchronization or loss of context, prioritizing the preservation of the most crucial information related to the content. 30 experiments with automatic summarization of journalistic content were conducted. In some cases, it was possible to display Brazilian Sign Language (Libras) signing using a 3D avatar within the duration of the news segment. Finally, an analysis of the quality of the automatic translation was carried out using the Bilingual Evaluation Understudy (BLEU), Metric for Evaluation of Translation with Explicit ORdering (METEOR) and the Translation Edit Rate (TER) algorithms.
Palavras-chave: Tradução automática - Línqua de Sinais
Fluxо de vídeo
Avatar 3D
Acessibilidade
Sign language
Video stream
Automatic translation
Accessibility
CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Idioma: por
País: Brasil
Editor: Universidade Federal da Paraíba
Sigla da Instituição: UFPB
Departamento: Informática
Programa: Programa de Pós-Graduação em Informática
Tipo de Acesso: Acesso aberto
Attribution-NoDerivs 3.0 Brazil
URI: http://creativecommons.org/licenses/by-nd/3.0/br/
URI: https://repositorio.ufpb.br/jspui/handle/123456789/34086
Data do documento: 30-Ago-2024
Aparece nas coleções:Centro de Informática (CI) - Programa de Pós-Graduação em Informática

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
RichelieuRamosDeAndradeCosta_Dissert.pdf10,26 MBAdobe PDFVisualizar/Abrir


Este item está licenciada sob uma Licença Creative Commons Creative Commons