21 pontos por xguru 2022-10-21 | 8 comentários | Compartilhar no WhatsApp
  • A linguagem cotidiana que usamos de fato não é regular e é confusa
  • Os linguistas acreditavam que, para conter essas características arbitrárias, era necessária a "gramática" como uma espécie de cola
  • Mas os grandes modelos de linguagem de IA usam a linguagem com base em enormes quantidades de dados linguísticos e, de forma surpreendente, isso é possível na maior parte do tempo sem a ajuda da gramática
  • Às vezes, a escolha de palavras nas frases geradas é estranha ou sem sentido, mas na maioria dos casos elas são gramaticalmente corretas
  • Na capacidade de prever a próxima palavra, esses modelos de IA e o cérebro humano funcionam de forma semelhante
  • Pode-se pensar que isso acontece porque o GPT-3 foi treinado com o equivalente a 20 mil anos de experiência linguística humana, mas, segundo pesquisas, o GPT-2 treinado com cerca de 100 milhões de palavras também consegue algo semelhante ao modo como o cérebro humano prevê a próxima palavra
    (100 milhões de palavras é semelhante à quantidade de palavras que uma criança média ouve em 10 anos)
  • O que isso demonstra é que, apenas com exposição, é possível aprender a linguagem bem o suficiente para gerar frases com boa gramática e aprender de uma forma semelhante ao processamento do cérebro humano
  • Durante anos, muitos linguistas acreditaram que o aprendizado de linguagem era impossível sem um modelo gramatical inato
    • Mas os novos modelos de IA provam o contrário. Eles mostram que a capacidade de produzir linguagem gramatical pode ser aprendida por meio da experiência linguística
    • Ou seja, para as crianças aprenderem a linguagem, a experiência linguística é mais importante do que a gramática

8 comentários

 
wooseop 2022-10-23

O fato de o AlphaGo jogar Go muito bem não significa que o Go não tenha regras.

 
jujuhkhkkim 2022-10-22

Isso mesmo: a forma mais precisa de aprender um idioma é ter muita experiência. Mas, como a inteligência artificial mostra, a premissa básica é uma "quantidade enorme de experiência". No caso da IA, trata-se de impressionantes 10 anos de exposição. Talvez para humanos não precise chegar a tanto, mas é difícil criar esse tipo de experiência linguística no exterior quando você nem é daquele país.
É isso, para estudar inglês da forma mais rápida, precisa e eficiente, basta fazer intercâmbio por alguns anos e estudar. Mas a maioria das pessoas, seja por motivos econômicos ou outros, vive em contextos familiares em que isso não é possível. Por isso se aprende gramática.
No entanto, acho que, na educação coreana, o fato de a gramática ser enfatizada demais — e de ela não ser usada como ferramenta para aprender o idioma, mas sim como estudo de gramática voltado para questões gramaticais das provas escolares — é algo que deveria ser corrigido.

 
budlebee 2022-10-22

Eu, na verdade, acho que a estratégia de simples exposição é um método ineficiente que exige o equivalente a 10 anos de exposição.

 
bandoche 2022-10-21

| Aprende a língua tão bem que, apenas com exposição, consegue gerar frases com gramática suficientemente boa
Essa parte é exatamente o que eu senti ao ver os resultados do GPT.

 
humblebee 2022-10-21

Interessante! Acho que conhecimentos de outras áreas, incluindo a linguagem, também podem ser aplicados de forma semelhante ao contexto acima. É triste que, em comparação, a educação no nosso país ainda aconteça principalmente por meio da memorização de conhecimentos padronizados, como todos sabemos. Do ponto de vista do sistema, oferecer experiências adequadas para cada indivíduo é difícil e caro, mas espero que, ao ver resultados de IA criados a partir da imitação de neurônios, como os acima, possamos olhar para uma direção melhor.
Acima de tudo, sinto muita pena das crianças que estão estudando de forma deprimente por causa dos adultos 😢 Quando, na verdade, a essência do aprendizado é ser algo prazeroso!

 
tttttaa 2022-10-21

Na verdade, eu já questionava isso desde quando recebia educação em inglês na infância. Quando a gente aprendeu português, por acaso começou pela gramática?

Mesmo hoje, quando vejo o conteúdo de gramática no ensino de coreano para estrangeiros, parece difícil e estranho entender do que estão falando. Ainda assim, eles acabam falando coreano muito bem.

 
525hm 2022-10-21

Interessante. Será que a era de Chomsky está chegando ao fim?

 
orthonormalist 2022-10-23

Na minha opinião, parece mais que a era de Chomsky está chegando. Para Chomsky, a gramática não é algo que se aprende, mas sim algo inato — mais precisamente, algo produzido por uma capacidade inata. E, do ponto de vista de Chomsky, a inteligência artificial atual é um tipo de aprendizado luxuoso que só um computador poderia fazer. Chomsky aponta que bebês não aprendem uma língua decorando centenas de milhares de palavras. A teoria de Chomsky existe justamente para explicar a capacidade dos bebês de aprender uma língua com apenas 1 a 2 anos de experiência linguística, algo muito limitado em comparação com o aprendizado de máquina. Já o aprendizado de máquina atual faz o computador aprender a língua com dados de uma década inteira, partindo da ideia de que, como computador não é gente, não há por que ele precisar aprender linguagem como um bebê.