Speakz - ferramenta de dublagem por IA criada para assistir a vídeos em outros idiomas com uma criança de 7 anos

Speakz: serviço de tradução de mídia multilíngue

• Traduz vídeos em um idioma para outro e gera uma nova faixa de áudio
• Oferece uma tradução natural e autêntica, harmonizando significado, personalidade e timing, enquanto preserva a voz original, outros sons e a música de fundo
• O desenvolvedor, que é alemão, criou a ferramenta para que ele e sua filha de 7 anos pudessem aproveitar conteúdos do YouTube em alemão

Idiomas suportados e velocidade de tradução

• Idiomas de saída: suporta inglês, chinês, espanhol, árabe, francês, russo, alemão, italiano, coreano, polonês e neerlandês
• Idiomas de entrada: adicionalmente suporta vários idiomas, como hindi, bengali e português
• Leva cerca de 1 hora para traduzir um vídeo de 30 minutos, com potencial de avanço rumo à tradução em tempo real e ao streaming

Uso para criadores e usuários em geral

• Criadores podem usar o Speakz para alcançar um público maior com conteúdo já existente
• O YouTube suporta a adição de várias faixas de áudio aos vídeos, então é possível adicionar automaticamente faixas de áudio em vários idiomas por meio do Speakz
• Usuários comuns também podem participar da beta privada para traduzir os vídeos que quiserem

Custos e participação na beta privada

• O custo ainda não está definido, mas a expectativa é de cerca de US$ 5 por hora por idioma
• Pode haver desconto para traduzir o mesmo vídeo em vários idiomas ou descontos em volume para criadores
• Usuários que quiserem participar da beta privada podem se inscrever pelo site

Opinião do GN⁺

• O Speakz é uma ferramenta útil tanto para usuários que querem consumir conteúdo em vários idiomas quanto para criadores que miram o mercado global
• O recurso de tradução em tempo real tem potencial para derrubar barreiras linguísticas em transmissões ao vivo e eventos em tempo real
• Outros serviços com funções semelhantes incluem o recurso de legendas automáticas do Google e plataformas de tradução baseadas em comunidade como o Amara
• Ao adotar o Speakz, é preciso considerar a precisão da tradução e as nuances culturais
• O benefício dessa tecnologia é a acessibilidade a conteúdo sem barreiras linguísticas, mas é necessário considerar custo e qualidade da tradução

[GN⁺]

Opiniões do Hacker News

• Na Alemanha, a maioria dos vídeos é dublada, mas há a opinião de que até uma criança de 7 anos conseguiria ler legendas, e isso seria uma boa forma de aprender inglês. Dizem que, na Suécia, a maioria das crianças aprende inglês dessa maneira antes mesmo de entrar na escola. Também foi apresentada a alegação de que existe uma forte correlação entre países onde a dublagem é comum e uma menor proficiência média em inglês.
  • A amostra no site é impressionante, e há uma pergunta sobre como são feitos a distinção entre falantes e a clonagem de voz. Supõe-se que isso possa incluir o uso de reconhecimento de voz e pistas temporais para dividir em unidades de frase, o uso de um motor de tradução para oferecer várias opções de tradução, a clonagem da voz original independentemente do idioma e a escolha da tradução com melhor correspondência de tempo.
• Há um pedido para adicionar inglês simples como opção de idioma de saída. Isso permitiria ajustar a complexidade do idioma ao nível das crianças e reduzir gradualmente o suporte.
• Um usuário de russo elogia a dublagem do exemplo do Lex por ser muito parecida com a realidade. Não está no nível de uma dublagem profissional, mas é muito boa, e também é muito próxima das vozes de Lex e Elon.
• Um usuário com experiência no desenvolvimento de soluções de geração automática de legendas elogia o projeto de dublagem automática. Ele explica que a dublagem automática precisa de ajustes manuais para oferecer um resultado confortável ao público e que o foco está em fornecer um editor avançado para refinar a dublagem sem precisar voltar ao software de edição.
• Há comentários de admiração pelo projeto, junto com a opinião de que pagariam por vídeo individualmente. Como feedback sobre a página, apontam o problema de o vídeo continuar reproduzindo, o que dificulta comparar o mesmo trecho em outros idiomas. Também mencionam erros de tradução e problemas de timing, além de casos em que parte do áudio original não é traduzida.
• Há a opinião de que a dublagem em neerlandês só foi vista em TV infantil, mas que o modelo em neerlandês precisa melhorar. Em especial, dizem que a dublagem de um documentário taiwanês era difícil de entender. Também questionam por que o neerlandês foi incluído, mencionando que a maioria dos falantes de neerlandês entende inglês.
• Apontam que, em muitos países onde filmes e programas de TV não são dublados, como a Grécia, pessoas com deficiência visual ou problemas de visão relacionados à idade acabam limitadas a assistir apenas filmes e programas produzidos localmente se não souberem bem inglês. Avaliam que este é um projeto que pode resolver esse problema.
• Elogiam a forma de sincronização do áudio por ser inteligente e perguntam quais modelos estão sendo usados.
• Há a opinião de que, ao assistir a conteúdo em alemão, já houve vezes em que se perguntou se as legendas em inglês tinham sido geradas por IA. Às vezes, as legendas parecem mais confusas que o próprio alemão e dão a impressão de terem sido geradas automaticamente, em vez de feitas por um tradutor real que usa pistas de contexto e outros recursos.