Os funcionários do Google que criaram o transformer

Oito funcionários do Google inventam a IA moderna: a história interna

• O artigo científico "Attention Is All You Need", escrito na primavera de 2017, tem oito autores.
• Todos eram pesquisadores do Google, e Noam Shazeer, o colaborador mais experiente, ficou surpreso ao ver seu nome listado em primeiro lugar.
• Os autores decidiram 'destruir' a prática de classificar as contribuições por ordem de importância, colocaram um asterisco ao lado de todos os nomes e adicionaram a nota de rodapé "a ordem de listagem é aleatória".

O início da transformação

• Esse artigo avançou a tecnologia de redes neurais no campo da IA, transformando-a em sistemas digitais poderosos que parecem produto de uma inteligência alienígena.
• Essa arquitetura é usada como ingrediente secreto em produtos de IA como ChatGPT, Dall-E e Midjourney.
• O artigo está prestes a completar sete anos desde sua publicação e conquistou status lendário.

A arquitetura da transformação: o transformer

• A história do transformer começa com o quarto autor, Jakob Uszkoreit.
• Com base em sua ideia de self-attention, Uszkoreit concebeu uma nova abordagem.
• Essa rede consegue traduzir palavras consultando quais partes de uma frase deve referenciar, o que ajuda o sistema a gerar boas traduções.

Colaboração e inovação

• Uszkoreit acreditava que um modelo de self-attention poderia ser mais rápido e eficaz do que redes neurais recorrentes.
• A ideia evoluiu por meio da colaboração com outros pesquisadores, como Illia Polosukhin e Ashish Vaswani.
• Eles escreveram um documento de design chamado "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Publicação do artigo e impacto

• A equipe de pesquisa usou o modelo transformer para fazer tradução de idiomas e mediu seu desempenho com o benchmark BLEU.
• O novo modelo superou os concorrentes, e a versão maior, Big, obteve uma pontuação BLEU que bateu o recorde anterior.
• O artigo foi submetido pouco antes do prazo final, e o Google rapidamente registrou uma patente provisória para esse trabalho.

Reação do Google e mudanças

• Dentro do Google, esse trabalho foi visto apenas como mais um projeto interessante de IA, e a empresa começou a integrar transformers em seus produtos a partir de 2018.
• No entanto, essa mudança parece tímida em comparação com o salto radical da OpenAI e com a integração ousada, pela Microsoft, de sistemas baseados em transformer em sua linha de produtos.

Os autores que deixaram o Google

• Todos os autores deixaram o Google e estão trabalhando de várias formas com base no sistema que criaram.
• Muitos deles saíram da empresa e migraram para novas startups de IA.

A opinião do GN⁺

• Este artigo oferece uma visão interessante sobre o avanço da tecnologia de IA ao explicar em detalhes o nascimento e o desenvolvimento do modelo transformer, que desempenhou um papel importante na área.
• O modelo transformer é hoje a tecnologia central do processamento de linguagem por IA e uma invenção importante que serve de base para IAs conversacionais como o ChatGPT.
• O artigo mostra como o ambiente interno de pesquisa inovadora do Google tornou possível um avanço tecnológico de grande impacto.
• No entanto, o fato de o Google ter adotado uma abordagem um tanto conservadora para comercializar essa tecnologia oferece uma lição importante sobre a velocidade da inovação e a estratégia das empresas.
• Empresas ou desenvolvedores que adotarem essa tecnologia devem considerar a complexidade e os requisitos de recursos do modelo transformer, mas os benefícios que podem ser obtidos são muito grandes.

[GN⁺]

Comentários do Hacker News

• Discussão sobre o modelo de atenção:

  • O mecanismo de atenção (Attention) não era algo novo, mas houve pesquisas mostrando que ele era suficiente para prever a próxima sequência de palavras em certos contextos.
  • Quando esse framework foi usado em 2018, ele apresentou comportamentos inesperados, mas isso foi uma experiência interessante.
  • Outros grupos descobriram que executar algoritmos simples em grande escala produz resultados melhores.
  • É irritante afirmar que apenas um grupo descobriu e transformou a IA.
  • Os pesquisadores merecem elogios, mas não inventaram a IA moderna; eles a desenvolveram de uma forma interessante.
  • Agora há interesse em voltar a abordagens mais determinísticas: modelos de mundo, memória, grafos, minimização de energia etc.
  • Os modelos generativos foram divertidos e trouxeram aprendizados, mas não está claro se AGI/SGI pode ser resolvida simplesmente adicionando mais chips.

• Recordação do auge do Google:

  • Ao discutir, no auge do Google em 2014, o papel de Uszkoreit e da equipe de NLP, perguntaram o que ele faria se tivesse orçamento ilimitado, e ele respondeu: "Eu tenho esse orçamento".

• Conversa sobre a história da IA:

  • Uma conversa com Geoffrey Hinton e Fei-Fei Li aborda a história da IA, a direção de pesquisa de Hinton e o esforço de Li com o ImageNet.

• Comparação entre Google e OpenAI:

  • É surpreendente que o Google não tenha se tornado a OpenAI, já que no começo tinha a DeepMind e muitos doutores.

• Menção à colaboração entre funcionários do Google:

  • Destaca-se que todos os autores eram funcionários do Google e trabalhavam no mesmo escritório, sugerindo que a colaboração presencial é a melhor tecnologia para inovação.

• Crítica à estratégia de IA do Google:

  • Nenhum dos autores ainda trabalha no Google, e há espanto com o quanto o CEO da empresa lidou mal com a IA.

• Documentos internos do Google sobre a história da IA:

  • Funcionários do Google podem ver na intranet da empresa momentos importantes da história da IA, como a primeira implementação do Transformer e comentários de revisores.

• Atenção à diversidade dos autores:

  • Seis dos oito autores nasceram fora dos Estados Unidos; dos outros dois, um é filho de um alemão com green card morando temporariamente na Califórnia, e o outro é um americano de primeira geração de uma família que fugiu de perseguição.

• Apoio a departamentos de P&D:

  • Há apoio à ideia de sustentar departamentos de P&D sem cobrança de impostos, na esperança de que ideias que talvez apareçam uma vez por década possam impulsionar toda a economia.
  • As maravilhas da computação moderna são resultado da expansão de P&D feita sem impacto imediato no resultado financeiro das próprias empresas.