Demo do “pato” do Gemini não foi em tempo real nem por voz

• A impressionante demo do pato do Gemini do Google, ao contrário do que o vídeo divulgado sugeria, não foi realizada como uma conversa em tempo real nem com entrada de voz
• O modelo não processou o vídeo diretamente; em vez disso, recebeu imagens estáticas extraídas das cenas
• Um porta-voz informou que prompts humanos também foram usados, e que a narração em voz no vídeo foi adicionada posteriormente
• O modo como a demonstração realmente foi conduzida difere da interação em tempo real e por voz mostrada no vídeo final
• Ao avaliar a demo do Gemini, é preciso distinguir entre o vídeo encenado e as entradas que realmente foram fornecidas ao modelo

---

Como a demo do pato do Gemini foi realmente conduzida

• A demo do Gemini do Google com um pato não foi realizada em tempo real
• O modelo não processou o vídeo diretamente em tempo real; recebeu como entrada imagens estáticas retiradas das cenas do vídeo
• Prompts humanos foram fornecidos ao modelo, e a narração desses prompts foi adicionada depois
• Esse modo de condução foi revelado por meio de um porta-voz

Links relacionados

• Mais detalhes levam a um artigo da Bloomberg Opinion: bloomberg.com/opinion/articl…

[GN⁺]

Opiniões do Hacker News

• Já fiz algo assim na universidade
  Na primeira aula de ciência da computação, recebemos um Raspberry Pi e a tarefa era criar “alguma coisa”, sem experiência em programação nem instruções. A entrega não era código, apenas uma demonstração funcionando
  Nós três compramos um sensor de umidade, conectamos ao Pi e dissemos que criaríamos um sistema de detecção de enchentes, instalado embaixo de uma ponte, que enviaria um e-mail às autoridades logo antes de uma inundação
  Na demonstração real, um amigo no fundo da sala estava com o Gmail aberto, pronto para enviar um e-mail de “alerta de enchente”, e o script só imprimia frases entre comandos wait. Depois de imprimir “aguardando umidade”, três segundos depois ele imprimia “umidade detectada” enquanto mergulhávamos o sensor em um copo d’água; em seguida, quando imprimia “enviando e-mail para [e-mail]”, o amigo lá atrás apertava enviar, o e-mail chegava, e tiramos nota máxima

  • Em sistemas de controle industrial, isso é chamado de fumaça e espelhos (smoke and mirrors)
    Às vezes, antes de um grande projeto estar pronto, o cliente quer ver pelo menos alguma parte como se estivesse concluída e espera um estado finalizado sem entender que 90% do trabalho é invisível para o usuário
    É bem comum configurar uma HMI falsa para alguém apertar botões durante a demo, enquanto outra pessoa, na sala ao lado, manipula manualmente saídas e entradas para fazer parecer que tudo está funcionando de verdade
  • Fiz algo parecido na época da escola ao criar um sistema de navegação local
    No processo, quebrei todos os receptores GPS que tínhamos em mãos, e aquele modelo de módulo GPS RS-232 era realmente frágil. Por isso não dava para demonstrar navegação em tempo real de verdade e, de qualquer forma, o projeto nem estava totalmente pronto
    Ainda assim, finalizamos a GUI e fingimos que “é assim que fica durante a navegação”, sem realmente rodar o código de navegação. Não era uma atividade que contava para nota, mas até hoje me sinto meio mal com isso
  • No fim, vocês estavam aprendendo as habilidades de enganação necessárias para a chamada indústria de tecnologia
  • Isso não é cola/fraude? Parece fraude e também pega bem mal para você
  • Mesmo assim, literalmente havia um backend

• Isso é realmente estranho. O Google inventou o Transformer, que é a base de todos esses modelos, e não entendo como consegue continuar errando tanto assim
  O Google Docs saiu em 2006, mas a Microsoft está roubando seu almoço. O Google criou a capacidade de trocar VMs no lugar e data centers totalmente automatizados, mas na nuvem Amazon e Microsoft estão à frente. Também trabalha com direção autônoma há mais tempo do que qualquer um, mas a Tesla alcançou e provavelmente pode vencer
  A escala dos tropeços é enorme

  • Eu estava na Microsoft em setembro de 2008, e internamente já havia um Office na web muito bonito e funcionando bem
    Tinha outro nome e acho que não era SharePoint; parecia estar relacionado a coisas como relatórios de despesas. Era bom a ponto de fazer até o Google Docs de hoje passar vergonha, mas eles não queriam canibalizar o próprio produto
  • O Google não sabe fazer o resto
    Produtos exigem dedicação e iteração, e os últimos 10% são os mais importantes. Mas o Google continua se recusando a empurrar produtos além da linha de chegada, desiste deles e os adiciona ao famoso Cemitério de Produtos do Google
    Sinceramente, qual é o sentido? Poderiam manter apenas o núcleo de busca/anúncios e não gastar bilhões de dólares com dezenas de milhares de engenheiros caríssimos que passaram por um processo de entrevista ruim
  • É surpreendente, mas não tão inesperado assim. O Google ficou famoso tanto por sua capacidade técnica quanto por sua incompetência em produto
    Dominar a pesquisa de base em IA generativa e, ainda assim, tropeçar de cara em produtos de consumo é bem coerente com a empresa que fez Stadia, GMail/Inbox e 17 aplicativos de chat
  • A tecnologia do Google Docs veio de uma empresa adquirida, e o Google apenas usou seu monopólio em busca para torná-lo mais popular. Usou a mesma estratégia com o YouTube
    Desde o Gmail, o Google quase não lançou produtos bons por conta própria, e até o Gmail cresceu usando o monopólio em busca como um outdoor gratuito
    Há também o trecho: “O Google Docs começou como o Writely, um processador de texto baseado na web lançado em agosto de 2005 pela empresa de software Upstartle”
  • Falam em tropeços, mas o Google tem mais produtos com mais de 1 bilhão de usuários do que qualquer empresa do mundo
    O que o Google sempre se preocupou em fazer foi levar aplicações a bilhões de usuários
    Também está sendo esquecido que o Google hoje é a empresa de IA mais lucrativa do mundo. Todos os seus produtos usam machine learning e IA
    Então quem está perdendo? O objetivo do Gemini não é criar um chatbot tipo ChatGPT apesar de já existir o Bard, e sim integrá-lo a 10 produtos com 1 bilhão de usuários

• A página e todo o conteúdo do Gemini pareceram estranhos. Dava a impressão de tentar ter aparência e sensação de material de marketing da Apple, mas acabando no vale da estranheza
  Frases exageradas, diversidade racial/de gênero ajustada com precisão cirúrgica, animações desnecessárias e até uma apresentação de vendas do CEO; tudo parecia um participante pequeno dessa área tentando parecer um grande jogador

  • Agora os keynotes da OpenAI parecem imitar os keynotes do Google de 5 anos atrás, e os keynotes do Google parecem imitar os keynotes da Apple de 5 anos atrás
    Os keynotes da Apple parecem robôs que acabaram de sair do vale da estranheza fingindo ser humanos. Se daqui a 5 anos os keynotes forem criados por IA, talvez sejam assim; então a Apple também está sempre à frente nas tendências de keynotes
  • Tive a mesma impressão. Nomes como Ultra e Pro também, e declarar a era Gemini quando ainda nem dá para usar parece cafona
    O Google parece querer mostrar que está no mesmo campo de jogo
  • Dá para imaginar os gerentes de produto dando tapinhas nas costas uns dos outros por terem marcado todas as caixinhas de performatividade, sem perceber que aquilo em si parece uma sátira completa
  • Não entendo o que quer dizer “diversidade racial/de gênero ajustada com precisão cirúrgica” nem por que isso seria ruim
    O motivo de usar diversidade no marketing é que o próprio mercado desejado é diverso. Só não entendo muito bem o que significa isso ser “cirúrgico”

• O fato de Sundar ter colocado um prompt para fazer o modelo dizer muitos fatos que poderiam ser verdadeiros ou falsos foi um grande sinal de alerta.
  Pelos números de benchmark divulgados, a maioria das melhorias foi marginal; ou seja, o problema de alucinação não foi resolvido. Mas a demo dava a impressão de que tinha sido. No fim, acho que eles escolheram principalmente casos em que o modelo por acaso acertou ou disse informações consistentes.
  Eles exageraram as capacidades, mas parece mesmo que um modelo multimodal será necessário para convergir para conceitos consistentes sobre fenômenos que possam ser observados de fato em várias modalidades. É um bom avanço, mas agora precisam mostrar de forma convincente que uma determinada arquitetura realmente modela causalidade.

  • No vídeo promocional do Mark Rober[1], também havia uma cena em que ele fazia uma pergunta claramente indutiva ao perguntar por que o avião de papel entrou em estol.
    Era algo como: “Você acredita que uma bolsa de ar quente criou baixa pressão e fez o avião entrar em estol?”, e a própria pergunta era tão esquisita que parecia difícil até de formular direito. Foi realmente constrangedor.
    [1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
  • O problema de alucinação não é resolvido com geração aumentada por recuperação (RAG). A ideia de que é necessária uma arquitetura fundamentalmente diferente não é minha; é de Yann LeCun.
    Usando diretamente, isso fica fácil de entender. Por causa da natureza autorregressiva, um LLM não consegue construir internamente um modelo consistente antes de responder. Existem abordagens como chain-of-thought, mas são paliativos; tratam o problema apenas superficialmente.
  • Desde as críticas de “papagaio estocástico” e “autocomplete superpotente”, a própria possibilidade de resolver em princípio a alucinação dos LLMs virou uma questão.
    Se for possível resolver, isso teria uma importância científica muito básica e fundamental, e parece que seria mais um pequeno avanço em IA.
  • Esses LLMs não têm o conceito de precisão factual, nem foram treinados ou otimizados para isso. É engraçado as pessoas esperarem que eles se comportem como bots de quiz; isso é entender completamente errado a natureza dos LLMs generativos.
    Eles apenas emitem a sequência de saída que parece mais plausível depois da sequência de entrada. Como definir “mais plausível” é objeto de muita pesquisa, mas otimizar para precisão factual é algo completamente diferente.
    Em certos casos, como problemas de programação, eles podem parecer inteligentes, porque, para determinados prompts, o consenso aproximado dos textos da internet fica bem próximo dos fatos e é menos contaminado por conteúdo lixo de não especialistas. Eles também são bons em gerar “conteúdo” genérico e fofinho, mas não sei qual é o valor disso.
    No fim, a qualidade da informação que volta não é melhor do que a de uma busca cuidadosa no Google; ela apenas entrega uma resposta mais rápida, concisa e visualmente bem organizada.
  • Acho que demos, em geral, são sempre um pouco assim, não?

• Fui enganado. O anúncio de lançamento do modelo dizia que ele podia receber entrada multimodal de vídeo e áudio.
  Eu sabia que havia muita edição e cortes, mas acreditei que estava vendo exemplos reais de entrada de vídeo e áudio. Passar de texto e imagens estáticas para “olhos e ouvidos” era um salto enorme, então fiquei completamente impressionado. Também havia uma parte em que desenhavam um instrumento e a música era gerada, então achei que estava vendo um modelo que criava música a partir de prompts em linguagem natural, como modelos especializados.
  Mas era tudo falso. Era uma dramatização montada para maximizar o entusiasmo dos acionistas, juntando exemplos selecionados de engenharia de prompt. O exemplo da música não gerou a música que ouvimos no vídeo; ele apenas produziu uma descrição da peça.
  Há uma diferença enorme entre um vídeo exagerado dizendo “isso pode vir a ser possível” e manipular benchmarks e enganar na demo enquanto se afirma que o novo modelo multimodal é o melhor.
  O Google parece ter entrado em uma fase maligna. OpenAI e Microsoft devem estar bem satisfeitas.

  • Exato. Pessoalmente, acho que ambos podem ser aceitáveis.
    Uma demo voltada para o futuro, que mostre o futuro do produto deixando claro que ainda não chegou lá, mas está indo nessa direção, ou uma demo roteirizada e editada para mostrar os recursos atuais da melhor forma possível, é prática padrão e aceitável.
    Mas o que o Google fez foi simplesmente errado. Merece receber essa reação negativa.
  • Esse tipo de fraude moral e comportamento antiético é tolerado por algum motivo.
    Parece até que os investidores querem ser enganados. Não há espaço para due diligence; mesmo ouvindo mentiras, gritam empolgados como fãs da Taylor Swift.
  • “Fase”?
    Essas megacorporações escapam do que puderem, por tanto tempo e tanto quanto conseguirem. Isso soa como se nosso papel fosse apenas esperar que um dia elas nos concedam uma “fase não maligna”, quando na verdade precisamos restaurar a regulação antitruste que foi sistematicamente desmontada nos últimos 30 anos.
  • Eu também achei que ele podia receber vídeo como entrada.
    Como a quantidade de dados de um vídeo é enorme, imaginei que ele extrairia algo como um frame por segundo e processaria como imagens, mas que a entrada inicial seria o vídeo inteiro.
    No fim, nem isso era o caso.
  • Isso me faz lembrar de um vídeo em que o principal departamento de pesquisa interno do Google era, na verdade, um estúdio de animação. Gostaria de lembrar melhor qual vídeo era.
    Criar vídeos exagerados assim para agradar acionistas faz perder a confiança na área de pesquisa. Acho que eles não fizeram algo assim quando apresentaram o Bert.

• Uso entrada Swype desde a época do T9
  Se eu demonstrasse a entrada Swype exatamente do jeito que uso no dia a dia para alguém acostumado com teclado QWERTY, ninguém a adotaria
  A proporção de palavras inferidas incorretamente ou que precisam ser corrigidas provavelmente fica em 10% a 20%. Mas, como é fácil corrigir, isso não vira problema e não me deixa mais lento. Entre vários métodos de entrada de texto, pessoalmente acho o melhor, mas leva tempo para aprender a usar
  Acho que todo produto é assim. Se você mostrar exatamente como ele funciona de verdade depois de 100 horas criando hábito e ajustando casos de borda, ninguém adotaria nada
  Como as duas opções são ruins, não sei bem qual é a solução
  Edição: estou escrevendo no celular com Swype, então vou deixar os erros de digitação como estão para combinar com este contexto

  • Mostrar um produto da melhor forma possível e demonstrar um modo de funcionamento que não existe são coisas completamente diferentes
    É como se uma demonstração do teclado Swype incluísse controle mental telepático para corrigir erros
  • O Swype facilita a edição? O corretor ortográfico do iOS tem valor negativo. Desativei alguns anos atrás e meus erros diminuíram, mas ainda há erros de digitação para corrigir
    Infelizmente, a edição de texto no iOS também é completamente inútil. Ela força seleções estranhas e insere o texto corrigido de maneiras desajeitadas
    Eu digito mensagens em QWERTY, mas a entrada de texto do iOS é um desastre completo e foi piorando com o tempo
  • Isso é um problema diferente de alucinação de LLM
    No Swype, você já sabe como deve ser a saída correta. Se a saída não é a desejada, você percebe imediatamente e corrige
    Ao fazer uma pergunta a um LLM, você não necessariamente sabe a resposta certa. Se a saída parecer confiante o suficiente, as pessoas a aceitam como verdade. Fora experimentos e testes, as pessoas não perguntam a um LLM coisas cuja resposta já sabem
  • O ponto central aqui é que a velocidade de correção é decisiva para a percepção de valor de longo prazo de uma tecnologia de interface
    Esse também é o principal motivo pelo qual o reconhecimento de escrita à mão não substituiu o teclado. Depois que a escrita é convertida em texto, é mais fácil corrigir os erros com ponteiro e teclado. Depois de repetir isso algumas vezes, a maioria acaba pensando: “vamos simplesmente começar com ponteiro e teclado desde o início e economizar tempo”
    Então a pergunta é: quão fácil é encontrar e corrigir erros em saídas de IA generativa? Infelizmente, a menos que você já saiba a resposta, pode ser muito difícil identificar os erros
  • Sei que marketing é marketing, mas acho uma má prática fazer uma “demonstração” de um jeito totalmente desconectado do uso real
    O teclado Swype exige prática para aprender, mas uma demonstração desse tipo de entrada normalmente mostra um uso realista, mesmo que o apresentador seja um “especialista”
    Esse tipo de demonstração faz as pessoas entenderem errado o que o produto realmente consegue fazer e, no fim, alimenta a reação cínica inevitável. Se o produto for realmente excelente, as pessoas vão perceber apenas com uma demonstração realista de suas capacidades

• A página da Bloomberg vinculada no Twitter saiu do ar agora.[1] A página alternativa é [2], e a nova página diz que parte dela era falsa. Não consegui encontrar a página antiga no arquivo
  [1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
  [2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...

  • A reportagem do TechCrunch tem mais detalhes - https://techcrunch.com/2023/12/07/googles-best-gemini-demo-w...
  • Fico irritado de modo parecido quando personagens de séries respondem mensagens mais rápido do que um ser humano conseguiria digitar. Estraga o realismo da minha comédia romântica favorita

• Acho que este é um ótimo exemplo de por que devemos duvidar da confiança em vídeos, áudios, imagens reais e no marketing das empresas, e presumir que são gerados até que sejam verificados
  Se voz, e-mail, chat e, em breve, vídeo podem ser gerados em tempo real ou quase em tempo real, fico me perguntando como será possível ter certeza de que um funcionário remoto não é, na verdade, uma entidade total ou parcialmente gerada
  Segredos compartilhados são bons para verificação, mas qual é a solução quando o corpo está completamente remoto?
  Estou viajando agora; como minha família pode confirmar que a pessoa enviando uma solicitação no Venmo dizendo que perdeu a bagagem sou eu?

  • Se você não consegue verificar se o funcionário é uma IA, basta demiti-lo e substituí-lo por uma IA
  • PGP
  • É só perguntar algo que apenas a pessoa real saberia
  • Crie uma frase/palavra secreta para emergências, compartilhe com a família e use nessas situações
  • Esse também é o motivo pelo qual a comunidade precisa se manifestar quando detecta esse tipo de coisa. Porque eles estão minando a confiança em demonstrações de tecnologia
    A mentira dará a volta ao mundo antes que a verdade saia da linha de partida, mas isso não significa que possamos simplesmente deixar passar

• Há um aviso nesse sentido no próprio vídeo e na descrição do vídeo. Ainda assim, concordo que algumas pessoas podem sair com uma compreensão equivocada de como o Gemini funciona.
  Seria bom se a interação em tempo real logo se tornasse parte do app. Não parece haver tantas barreiras técnicas

  • O aviso inteiro era apenas “as sequências foram encurtadas de modo geral”, exibido em letras minúsculas na parte inferior da tela por 2 segundos.
    Em outros lugares eles divulgaram a maior parte dos detalhes, mas o vídeo em si foi produzido e editado de forma muito enganosa. Queriam fazer acreditar que ele reagia de maneira complexa a simples prompts de voz e a um feed de vídeo, quando na verdade não era isso
  • O aviso na descrição dizia: “para esta demonstração, reduzimos a latência e encurtamos as saídas do Gemini”.
    Isso é diferente de dizer que “o Gemini recebeu imagens estáticas selecionadas como entrada, não vídeo”
  • As pessoas não prestam muita atenção aos avisos. O Google sabia que as pessoas lembrariam da impressão exagerada, não do aviso, e fez essa escolha
  • Não, o aviso não foi nem um pouco suficiente.
    Aquele vídeo enganou muita gente, inclusive eu. Não foi uma demo comum, superotimizada e roteirizada.
    Foi propaganda claramente enganosa mostrando um recurso que não existia e, francamente, uma atitude vergonhosa do Google
  • Os anúncios da Busca do Google também só têm uma indicação minúscula de “anúncio”, e há uma longa tendência de tornar os anúncios mais explícitos e, ao mesmo tempo, menos distinguíveis.
    Considerando o contexto de conteúdo gerado por IA e de manipulação em geral, vejo esse vídeo como enganoso. Para mim, a única coisa impressionante no vídeo era a responsividade rápida e flexível, como se estivesse processando vídeo em tempo real, mas nada disso era real. Chega perto de uma fraude

• Eu também fui enganado a pensar que o Gemini estava vendo e ouvindo por meio de um feed de vídeo/áudio, e não recebendo imagens estáticas e prompts de texto.
  A diferença entre imagens estáticas e um feed de vídeo pode não parecer grande, mas na prática o bot precisa entender muito do contexto em mudança para não ficar falando besteira sem parar.
  Além disso, numa conversa com feed de vídeo em tempo real, ele precisa reconhecer o estado de ainda não sei para ficar em silêncio quando apropriado, e isso é notoriamente difícil em IA generativa.
  Claro que dá para facilitar com alguns hacks e heurísticas, mas fazer um bot parecer um parceiro humano numa conversa é realmente difícil. Essa era a parte mais impressionante da “conversa” no vídeo, mas infelizmente era tudo falso :(