Polêmica sobre a manipulação da demo do modelo de IA Gemini do Google
- O novo modelo de IA Gemini do Google recebeu reações mistas após ser apresentado ao público pela primeira vez
- Foi revelado que a demo mais impressionante foi, na prática, manipulada, abalando a confiança dos usuários
- O vídeo "Hands-on with Gemini: Interacting with multimodal AI" alcançou 1 milhão de visualizações, mostrando as capacidades de um modelo multimodal flexível e responsivo diante de várias entradas
Uma demo diferente da realidade
- Embora o vídeo pareça ter sido feito em tempo real, na verdade ele usou quadros de imagem e prompts de texto para testar as capacidades do Gemini
- Diferentemente de uma interação real, o vídeo contém elementos que podem induzir a erro sobre a velocidade de resposta, a precisão e a forma de interação com o modelo
- Havia, sim, um aviso dizendo: "Reduzimos a latência e encurtamos as saídas do Gemini.", mas ainda assim tudo parecia extremamente atraente
Diferença em relação às capacidades documentadas
- No vídeo, tudo parece uma avaliação intuitiva e sem palavras, mas as capacidades documentadas indicam que o modelo não raciocina com base em gestos individuais, sendo necessário mostrar todos os gestos de uma vez e dar dicas
- Por exemplo, no vídeo parece que o modelo detecta imediatamente a troca de uma bolinha de papel sob um copo, mas na prática é preciso descrever a atividade e treinar o modelo
- O Google disse que o vídeo "mostra saídas reais do Gemini", o que é verdade, mas não é verdade dizer que apenas "editou algumas partes da demo (e divulga isso com transparência)". Esse vídeo não é uma demo e, na prática, mostra uma interação muito diferente daquela usada para promovê-lo como demo
Opinião do GN⁺
- Foi revelado que o vídeo de demonstração do modelo de IA Gemini do Google foi produzido de forma a exagerar as capacidades reais do modelo, levantando dúvidas sobre a confiabilidade da tecnologia.
- Ao mesmo tempo em que mostra o potencial de avanço da IA multimodal, este caso também evidencia os limites da tecnologia atual e oferece uma lição importante para compreender o verdadeiro estágio da IA.
- Ao destacar a importância da transparência e da honestidade sobre o quanto anúncios e demos de IA correspondem à experiência real do usuário, este episódio proporciona uma discussão interessante para quem atua na área de tecnologia.
5 comentários
O Bard também gerou expectativas no começo.
Lembra o Google Glass... naquela época também parecia que o mundo ia mudar
Força!
Foi um vídeo impressionante, mas acho que esse é um tipo de problema que inevitavelmente aparece quando o material é editado e apresentado em um intervalo tão curto.
Também dá a impressão de que o Google está passando por um momento bem difícil, e ao mesmo tempo fico pensando: só vamos saber de verdade quando isso sair de fato.
De qualquer forma, como é melhor ter concorrência do que deixar a OpenAI correndo sozinha, força aí para o Google.
Foi lamentável.
Acho que visão e valores são justamente coisas que devem ser preservadas ainda mais nos momentos difíceis.