Issen (YC F24) lança tutor pessoal de idiomas com IA
(news.ycombinator.com)- É um app que busca substituir a prática real de conversação, a parte mais escassa no aprendizado de idiomas, por um tutor de voz com IA, reduzindo o custo de coordenar horários e procurar tutores
- A ideia surgiu da dificuldade de encontrar ferramentas para praticar conversação em japonês e francês, e enxerga como principais problemas o custo por hora de tutores humanos e o peso de fazer reservas
- Seu pipeline próprio de IA de voz combina STT, TTS, LLM, memória de longo prazo, interrupções e turn-taking, usando Gemini Flash, Whisper, Scribe e GPT-4o-transcribe para reduzir erros de reconhecimento
- Em vez de gamificação, o foco é em conversas imersivas, conectando novas palavras aprendidas no chat de voz com IA a um vocabulário e flashcards SRS
- Disponível na web, iOS e Android, oferece 20 minutos de teste gratuito, com preço mensal de US$ 20 a US$ 29, dependendo do período e da região
A experiência de aprendizado de idiomas que a Issen mira
- Issen é um app de tutor de voz projetado para que estudantes de idiomas comecem a falar imediatamente e mergulhem no idioma-alvo
- Tutores humanos podem ser eficazes, mas a cobrança por hora, a coordenação de agenda e o custo de busca até encontrar o tutor certo acabam pesando
- O objetivo é melhorar a habilidade real de fala por meio de conversas completas e realistas, em vez de quizzes curtos ou pontuações
- Não há grande foco em gamificação
- A empresa entende que manter um streak longo ou obter pontuações altas dentro do app pode não se traduzir em fluência real
Pipeline de IA de voz e recursos de aprendizado
- O app processa conversas com seu pipeline próprio de IA de voz
- Combina STT, TTS, LLM, memória de longo prazo, interrupções, turn-taking etc.
- Em sotaques dos estudantes, frases com vários idiomas misturados e ambientes ruidosos, é difícil manter a precisão do STT
- Para manter o fluxo da conversa, usa Gemini Flash, Whisper, Scribe e GPT-4o-transcribe em conjunto
- Novas palavras aprendidas no chat de voz com IA são conectadas ao vocabulário e a flashcards SRS
- São usadas para melhorar rapidamente o vocabulário e a habilidade de fala
- Cria um currículo personalizado de acordo com os objetivos, interesses e preferências de cada estudante
- É possível customizar configurações como velocidade, turn-taking e nível de formalidade
- Uma demonstração está disponível
- Funciona na web, iOS e Android; após 20 minutos de teste gratuito, o preço é de US$ 20 a US$ 29 por mês, dependendo do período e da região
1 comentários
Comentários no Hacker News
Quero dizer que concordo que o aprendizado de idiomas precisa de inovação.
Tentei aprender grego básico no app web e a experiência foi melhor do que o modo de voz do ChatGPT ou do Gemini.
Mas, depois de uns 5 minutos, fiquei confuso ao perceber que o tutor de IA não entendia meu plano de estudo nem minhas dificuldades.
Por exemplo, perguntou sobre meus hobbies e logo em seguida me disse uma frase longa em grego sobre fazer trilha na montanha.
Como iniciante total, eu não conseguia responder a essa frase, e nem mesmo repeti-la era fácil.
Eu nem sabia o que deveria fazer naquele momento.
Um professor de verdade teria repetido parte da frase, traduzido ou dado alguma explicação.
Mas o tutor de IA só ficou esperando que eu dissesse alguma coisa e, sem sentido, passou a falar sobre férias na praia.
Ainda assim, achei melhor do que as IAs existentes, então pretendo tentar de novo.
Não vi grande diferença em relação ao modo de voz avançado do ChatGPT, e ficou a impressão de que eu tinha que conduzir a conversa, então tudo pareceu meio aleatório.
Acaba voltando só para temas familiares, o que reduz o valor da prática.
Eu esperava um plano de estudo mais guiado e estruturado, que me ajudasse a expandir para novas áreas e evoluir minhas habilidades.
Como instrutores humanos passaram anos desenhando o currículo de forma sistemática, ele é mais lógico do que qualquer outra coisa.
O curso de grego em especial é excelente, não tem anúncios e é totalmente gratuito.
Recomendo com confiança como a melhor ferramenta de aprendizado de idiomas que já usei.
https://www.languagetransfer.org/
Quando menti dizendo que meu idioma nativo era inglês, funcionou normalmente.
Mas me chamou de Anton em vez do nome que eu tinha informado.
As nuances de eu gaguejar ou ter dificuldade somem completamente no processo de conversão para texto.
As aulas com roteiro eram ótimas, mas no modo de conversa com IA ele esquecia o nível de vocabulário e gramática ensinado nas aulas e falava usando expressões idiomáticas.
No fim, perdi o interesse e parei de usar.
O Duolingo tem gamificação demais, a ponto de eu não conseguir usar, então agradeço que este app tenha menos disso.
Queria saber se é possível alternar naturalmente entre meu idioma nativo e o idioma-alvo, e se posso fazer perguntas em inglês durante a conversa.
Há até artigos publicados sobre otimização global.
Métricas de aprendizagem ou produção de conteúdo são fáceis; o que ninguém conseguiu construir é o ciclo de adaptação real para cada aprendiz.
Até no Duolingo, mesmo apertando “treinar”, não há progresso, e sempre aparece o mesmo Bread and water (conteúdo batido).
Não consigo confiar totalmente em TTS na aprendizagem de idiomas.
Você pode internalizar uma pronúncia errada sem perceber.
No curso de japonês do Duolingo, achei que fossem gravações reais, mas ouvi “oyogu” sintetizado de forma estranha, como “oyNHYAOgu”.
Como iniciante, fico preocupado com a possibilidade de simplesmente imitar esse erro.
Claro que dá para corrigir erros com bastante tempo de imersão, mas aprender errado desde o começo exige ainda mais esforço.
Isso é especialmente importante em japonês, onde o pitch accent é relevante, mas muita gente e muito material ignoram isso.
Ex.: “ima” muda entre “agora” e “sala de estar” dependendo da entonação da segunda sílaba.
Esse problema pode ser ainda maior em idiomas como o japonês, com muitas palavras sino-japonesas.
Estou aplicando essa voz em alguns tutores de japonês, e o pitch accent é quase perfeito.
Às vezes ainda há erros com kanji ou leituras equivocadas, mas quando o furigana sai diferente dá para perceber na hora.
Eu também criei um app de aprendizado de idiomas e usei TTS de vários fornecedores (11labs, OpenAI, play.ht, Azure, Google, Polly etc.), mas uma em cada três frases tinha erro.
Levei cerca de uma semana para corrigir isso, e agora está sem erros.
Esse fenômeno é especialmente forte só no japonês; na maioria dos idiomas tonais, o tom sai certo.
Não me considero qualificado para avaliar naturalidade, mas nunca vi um descompasso tão grave quanto no japonês.
Mas o TTS ainda tem qualidade insuficiente na maioria dos idiomas.
Cada idioma tem um jeito diferente de marcar sílabas.
No espanhol, o comprimento da vogal; no islandês, o volume; no inglês, comprimento + volume; no sueco e no japonês, a altura é importante.
Até em inglês, se você colocar o stress errado, a comunicação pode falhar.
O japonês é ainda mais especial porque há muitos homônimos e o significado muda conforme o pitch.
A entonação correta é essencial.
Este app realmente foi a melhor experiência.
A conversa com uma pessoa da Argentina fluiu de forma muito natural.
Moro em Buenos Aires há mais de 18 anos e minha pronúncia e entonação já são boas.
Minha gramática básica ainda tinha muitas lacunas, e esse app refinou isso com precisão.
No UX do iOS, ao abrir o modal de configurações, o botão de fechar (CTA) quase não aparece, o que foi uma pena.
A cor do estado clicado e do estado desativado do botão de configurações é quase igual.
Solução: adicionar um botão X de fechar no canto superior direito e mudar a cor ao clicar.
Se quiser mais feedback de UX, entre em contato: visualsitemaps.com
Tentei aprender vietnamita, mas a qualidade das aulas era muito baixa e havia informações erradas.
É verdade que um homem pode dizer Anh mệt para se referir a si mesmo, mas é incorreto explicar que Em mệt é só para mulheres.
“Anh” significa um homem mais velho; “Em” é usado para alguém mais novo, independentemente do gênero.
Muitas mulheres preferem Em porque querem parecer mais jovens do que realmente são, mas homens jovens também podem usar Em.
Um bom tutor explicaria o contexto com base na idade e na relação entre as pessoas.
Também houve erros em que frases em inglês eram faladas com sotaque vietnamita.
Às vezes ele dava frases difíceis demais para o meu nível ou perdia o foco quando eu fazia pedidos.
Embora o vietnamita do sul seja mais comum no geral, os tutores eram do norte do Vietnã.
O reconhecimento de voz (STT) também era permissivo demais com pronúncias erradas ou não conseguia distinguir inglês de vietnamita.
Ex.: reconheceu “Phai” como “bye”.
Eu tinha expectativas porque é muito mais barato e permite aprender sem agendamento, mas é difícil confiar na precisão.
Hoje pago $20 por aula para um tutor vietnamita, totalizando $160 por mês.
Obrigado por apontar o problema.
Há uma necessidade enorme de uma boa plataforma de aprendizado de idiomas.
Concordo que o feedback acertou em cheio.
Estou criando uma ferramenta para ajudar na prática de frases básicas e adoraria receber feedback: https://envn.app
Testei em japonês e foi bem frustrante.
Mesmo eu sendo iniciante, o tutor falava só em japonês, apesar de eu ter dito várias vezes que não entendia.
Mesmo pedindo para fazer uma transição gradual do inglês para o japonês, ele dizia uma frase em inglês e voltava imediatamente ao japonês.
Talvez seja útil como prática de conversação para alunos intermediários ou avançados, mas falta uma experiência melhor para iniciantes absolutos.
Como o modelo suporta multimodalidade, seria bom usar materiais visuais de forma mais ativa.
Também sugiro mostrar imediatamente o japonês registrado em rōmaji.
Sendo sincero, o foco atual está mais em alunos de nível B1 ou superior.
Se você precisa de aprendizado do zero ao primeiro avanço como iniciante absoluto, talvez ainda seja melhor usar materiais tradicionais, especialmente os que dão menos ênfase a escuta e fala.
O modo de conversa por voz hands-free no app móvel do ChatGPT é bem útil.
Só que, sem um tema, a conversa fica monótona e sempre presa a assuntos batidos.
Por isso, eu copio um artigo de notícia inteiro com links relacionados e digo: “vamos praticar o idioma com este tema”.
Assim faço prática real enquanto caminho por uma hora falando em espanhol.
Se eu quiser, também faço perguntas ao ChatGPT só na minha língua nativa, enquanto o outro lado (o chatbot) responde apenas no idioma-alvo, para treinar foco em compreensão auditiva.
Tenho curiosidade sobre quanto o Issen melhorou essa experiência.
A velocidade de evolução dos modelos de voz também é muito grande.
Sinto que é preciso uma experiência completa voltada ao aprendizado de idiomas, com currículo personalizado, prompts, modelos de IA para reconhecimento preciso, flashcards/dicionário etc.
Também oferecemos modo hands-free e dá para customizar vários fatores, como gírias, velocidade da fala e proporção de uso do idioma-alvo.
Pratiquei em russo, e a prática em si foi boa, mas algo que falta em todos os apps de idiomas é detectar e corrigir meus erros de pronúncia.
Mesmo se eu falar só mais ou menos parecido, o reconhecimento automático (STT) acaba aceitando.
Espero que chegue o dia em que a IA realmente “ouça” minha pronúncia e aponte com precisão tudo o que está errado.
Hoje ela ainda não detecta bem problemas de sotaque, desinências de caso ou tonicidade das palavras.
Ajuda quando a IA repete a forma ou a entonação corretas para eu imitar, mas isso ainda não me dá a mesma confiança que um professor humano.
Sugestão de produto: adicionar uma função para desligar a transcrição (legendas).
Especialmente em alguns idiomas, ver as letras pode atrapalhar, ou virar um atalho excessivo para iniciantes.
Por fim, em vez de conversas aleatórias e sem direção, como “o que você acha mais interessante em IA?”, seria muito mais divertido ter estruturas de conversa orientadas a objetivo.
Mesmo sem gamificação, daria para usar formatos de debate (“me convença sobre este tema!”) ou conexão com experiências concretas (“qual é sua meta mais importante no trabalho este ano?”), de modo a extrair opiniões e experiências reais.
Acho que é o primeiro produto desse tipo que eu realmente usaria, então deixo os parabéns.
Quando os modelos de voz para voz amadurecerem, vai ser realmente promissor.
OpenAI e Gemini também estão avançando bastante nisso, então planejamos aplicar isso em breve.
Fico me perguntando por que o vídeo fica bloqueado e só pode ser visto após o primeiro play se eu fizer login.
Vi o feedback de que este app mira usuários B1 ou acima, mas o vídeo de demonstração mostra de A1 a C1.
É raro haver usuários que precisem de toda a faixa de A1 a C1; existe um mercado claro para cada nível, então isso precisa ser separado.
O TTS em francês parece menos natural do que a voz padrão do ChatGPT.
Se houvesse tarefas de um clique por nível do usuário, como leitura de notícias seguida de debate, nuance e inferência, isso provavelmente seria muito popular.
Especialmente porque muitos usuários nem percebem que falta coesão na própria fala; uma estrutura que apontasse isso como elemento central da threshold proficiency ajudaria de forma prática.
Parabéns pelo app, já recomendei para cerca de 10 pessoas ao meu redor.
Algumas dúvidas:
Testamos e ajustamos principalmente os idiomas mais populares.
Também removemos idiomas com muitos problemas com base no feedback dos usuários, e ainda existem idiomas que não conseguimos verificar direito.
Os tipos de voz dependem da qualidade dos serviços de TTS (Openi, 11labs, minimax etc.).
Alguns serviços não têm voz masculina, ou só a voz feminina é boa.
Pretendemos adicionar mais vozes no futuro.
No Sesame, é possível colocar a voz real do usuário no TTS para combinar com a sensação e o clima do próprio usuário; nós ainda usamos apenas TTS padrão de mercado.
O Sesame também tem latência extremamente baixa, mas isso pode até ser uma desvantagem para aprendizado de idiomas.
Nosso objetivo futuro é oferecer uma experiência baseada em modelos maduros de voz para voz.