Noam Shazeer entra para a OpenAI

 (twitter.com/NoamShazeer)
1 pontos por GN⁺ 7 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Noam Shazeer, figura central na criação da arquitetura Transformer e ex-co-líder do Gemini no Google, anunciou sua entrada na OpenAI
  • Ele foi um dos primeiros funcionários a entrar no Google em 2000 e contribuiu para melhorias na correção ortográfica da busca e para a criação do algoritmo central do AdSense
  • Coautor do artigo "Attention Is All You Need" em 2017, ele criou a arquitetura Transformer, base de praticamente todos os LLMs modernos
  • Também foi um dos principais contribuidores para LaMDA e Meena
    • Meena — chatbot conversacional de domínio aberto apresentado pelo Google em 2020, um projeto de pesquisa que buscava conversas mais naturais e contextualizadas por meio de um modelo com 2,6 bilhões de parâmetros
    • LaMDA (Language Model for Dialogue Applications) — sucessor do Meena, anunciado em 2021 como um grande modelo de linguagem especializado em diálogo, com o objetivo de gerar conversas naturais de múltiplos turnos sobre temas livres, tecnologia que depois serviu de base inicial para os chatbots do Google e o Bard
  • Ele deixou o Google em 2021 para cofundar a Character.AI, mas voltou em 2024, quando a empresa foi reincorporada pelo Google em um acordo de cerca de 4 trilhões de wones (US$ 2,7 bi), passando a atuar como VP Eng e co-líder do Gemini

Leituras relacionadas

1 comentários

 
GN⁺ 7 시간 전
Comentários no Hacker News

  • Para quem tiver interesse, a Wired cobriu há 2 anos os bastidores do artigo Attention Is All You Need: https://www.wired.com/story/eight-google-employees-invented-...
    Isso dá contexto para entender a contribuição de cada autor. Sobre Shazeer, a matéria diz que a entrada dele foi decisiva e que mecanismos teóricos e intuitivos como self-attention muitas vezes precisam ser implementados com extremo cuidado por um pequeno grupo experiente de “magos” para mostrarem sua força. Shazeer reescreveu à sua maneira a versão do código da equipe do Transformer e disse que “pegou a ideia básica e construiu ele mesmo”; às vezes perguntava algo ao Kaiser, mas na maior parte do tempo simplesmente foi lá, testou por um tempo e voltou dizendo “olha, funciona”. O texto diz que ele elevou o sistema a outro nível de um jeito que os colegas depois descreveram com palavras como “mágica”, “alquimia” e “acessórios”

    • Expressões como “mágica”, “alquimia” e “acessórios” soam como gente bem treinada em embalagem exagerada para o público não técnico, sem conteúdo concreto

  • Noam Shazeer é um dos coautores do artigo monumental “Attention Is All You Need”, que apresentou a arquitetura Transformer

    • Isso ainda minimiza a importância dele. A ordem dos autores foi aleatória, mas eu diria que a ideia central era realmente dele. Também fico curioso sobre o que isso diz a respeito da GDM

  • Contexto para quem não acompanhou toda a história: Shazeer era um pesquisador veterano do Google, que entrou na empresa em 2000, e foi coautor de “Attention Is All You Need”
    Em 2021, ele saiu do Google para cofundar a Character.AI e, em 2024, o Google o trouxe de volta junto com parte dos pesquisadores da Character.AI por meio de um acordo de licenciamento e talentos. O valor reportado foi de cerca de US$ 2,7 bilhões, e depois disso ele se tornou co-líder do Gemini. Agora ele está saindo do Google de novo para ir para a OpenAI, então é um momento interessante

    • O motivo de ele ter saído do Google da primeira vez foi que a empresa não queria lançar o tipo de produto de chatbot que ele acreditava ser possível. O Google gastou muito dinheiro para trazê-lo de volta e colocá-lo como um dos líderes do Gemini
    • Vi o Noam pela primeira vez no podcast do Dwarkesh, com o Jeff Dean, e recomendo se você quiser ter uma ideia de como o pessoal do Google enxerga essas questões
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • Nessa altura, fico me perguntando se a remuneração ainda é realmente o principal atrativo, ou se importa mais o que a pessoa pode fazer. Parece que o Google também poderia pagar o que a OpenAI pode oferecer, então talvez, por ser uma empresa antiga, tenha dificuldade em atender condições realmente fora do comum
    • Fico me perguntando como alguém adquirido consegue sair em menos de 2 anos
    • Seria bom se no fim a conclusão fosse “Hopfield Networks is All You Need”

  • Uau, ele voltou faz tão pouco tempo — o que será que aconteceu para fazê-lo sair?
    Espero que isso não esteja certo, mas receio que possa estar: https://x.com/signulll/status/2067446889956430273

    • Para quem não quiser clicar no link acima, aqui vai o link do nitter: https://nitter.net/signulll/status/2067446889956430273
    • O signull é menos um insider conhecido do setor e mais uma conta anônima de falação agressiva, mas pelo menos, do ponto de vista de quem acompanha o clima de fora, ele parece captar bem como Sam Altman contribui para a OpenAI
    • Se eu tivesse que chutar, diria que dinheiro teve seu peso
    • Parece um episódio de Silicon Valley. Dá pena pensar em quantos temas engraçados haveria se rebootassem a série agora
    • Eu diria que foi por “dinheiro” e por muita besteira vinda do lado do Altman

  • [Edit: meu comentário era originalmente uma resposta a outro comentário que chamava o Noam de outro “Scam Altman”, mas o comentário pai mudou. Não ligo que o subfio original tenha sido reorganizado, mas acho que esse contexto é necessário para entender.]
    Noam é alguém de talento real e, internamente na engenharia do Google dos anos 2000, era quase lendário. Dizem que o Paul Buchheit o entrevistou com a pergunta “como você faria um corretor ortográfico”, e ele pensou em algo melhor que o estado da arte da época; depois, essencialmente como seu primeiro projeto de 2 semanas de Noogler, ele criou o corretor ortográfico do Google
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Parece haver alguma percepção interessante aqui. Edit: o post parece ter sido apagado, mas os comentários ainda podem ser vistos. Resumindo em uma linha, mesmo sendo generoso, ele era politicamente explícito e tinha convicções fortes

  • Isso é uma péssima notícia para o Gemini. A breve recuperação do ano passado com o 2.5 Pro parece ter sido liderada pelo Noam

    • Sinceramente, não acho que isso faça muita diferença no longo prazo. Modelos não têm fosso e estão virando commodity cada vez mais
      Dito isso, o Google está em uma posição bem boa. Não está torrando dinheiro em AI como Anthropic/OpenAI, e tem áreas de produto onde pode integrar AI. Além disso, tem um modelo de anúncios maduro, então esse talvez seja justamente o lado que consegue gerar ao menos alguma receita real com grandes modelos de linguagem

  • Primeira pergunta: quanto a OpenAI gastou nisso?
    Segunda pergunta: por que a OpenAI gastaria esse dinheiro para tirar talentos do Google, que claramente pode pagar mais em contratações, em vez da Anthropic, que lidera o mercado e tem algumas limitações financeiras?

    • Pelo que saiu na imprensa, as pessoas da Anthropic parecem muito mais leais, e as tentativas de roubar talentos por OpenAI e Meta em geral não parecem ter dado certo

  • Uau, o Google ofereceu bilhões de dólares para trazer o Noam de volta. Se a reportagem estiver certa, a OAI realmente fez algo impressionante

  • As contratações em AI estão começando a parecer cada vez mais o mercado de free agency dos esportes
    Karpathy foi para a Anthropic, e agora Noam vai para a OpenAI

    • Achei que o Karpathy ia para a OpenAI