Sintetizador de voz controlado pelas mãos permite falar por gestos

O sintetizador gestual de voz permite que um artista faça um dueto consigo mesmo, cantando com seu aparelho vocal normal e produzindo a segunda voz por meio dos gestos.[Imagem: Sidney Fels/UBC]

Dueto de 1
Uma nova tecnologia desenvolvida no Canadá permite que uma pessoa fale ou cante usando apenas suas mãos para controlar um sintetizador de voz.
Sidney Fels, da Universidade da Colúmbia Britânica, afirma que sua tecnologia "sintetizador gesto-para-voz" replica os processos que os humanos usam quando controlam o seu próprio aparelho vocal.
"É como tocar um instrumento musical que emite voz," simplifica Fels.
As aplicações da nova tecnologia poderão incluir desde novas formas de expressão musical e auxílio para pessoas com deficiências da fala, até o controle gestual de grandes equipamentos industriais.
Além, é claro, da inusitada apresentação de um artista que faz um dueto consigo mesmo, cantando com seu aparelho vocal normal e produzindo a segunda voz por meio dos gestos.
Vogais abertas e consoantes fechadas
Os pesquisadores construíram luvas especiais, equipadas com sensores de posição 3-D, que determinam a posição de cada mão no espaço.
Determinadas posturas das luvas estão associadas com áreas definidas do espectro de áudio.

O aparelho é semi-portátil, podendo ser adequadamente disfarçado por uma mochila. [Imagem: Sidney Fels/UBC]

A luva da mão direita tem sensores para detectar a flexão. Quando o usuário fecha a mão, ela cria sons consonantais - os pesquisadores desenvolveram uma coleção de gestos que são mapeados para sons consonantais.
Quando o usuário abre a mão direita, ele produz sons de vogais, da mesma forma que acontece no trato vocal quando a língua se movimenta. A emissão das vogais é controlada pela localização da luva no espaço horizontal.
A luva direita também controla a ritmo da fala pela sua localização vertical no espaço.
Os controles da luva esquerda controlam os chamados "sons de parada" - como a consoante "B".
Controle de guindastes
"Outras aplicações possíveis para esta inovação são interfaces para tornar mais fácil a execução de determinadas tarefas, tais como controle de guindastes ou outras maquinarias pesadas," diz Fels.
"Leva cerca de 100 horas para uma pessoa aprender a falar usando o sistema," diz Fels, cujos interesses de pesquisa incluem interação humano-computador, modelagem biomecânica das vias aéreas superiores, síntese da fala e redes neurais.