- Todo mundo já sabe que o Google Bard deu uma resposta errada em uma propaganda, mas o Bing AI também deu respostas completamente erradas na demo e ninguém percebeu
Aspiradores de pó para pets
- Ao buscar por
Pet Vacuums, aparecia como desvantagem de um produto que ele "tem pouca sucção, o cabo é curto e faz barulho"
- Fui ver a matéria da HGTV usada como fonte da informação, e não havia absolutamente nada disso. Pior ainda, o produto em questão é sem fio. Um aspirador portátil "sem cabo"
Vida noturna no México
- O Bing montou um roteiro de 5 dias para a Cidade do México, então perguntaram o que fazer à noite
- Um bar que supostamente aceitava reservas pela web não tem site
- Uma boate supostamente popular entre os jovens não tem nenhuma avaliação desde 2014/16. Tudo nesse lugar parece ter sido inventado pela IA
- Um bar descrito como atraente é o bar gay mais antigo do México. O lugar tem mais de 500 avaliações no Google, então também chama atenção o fato de estar marcado como sem nota/avaliações
- Das 5 recomendações de lugares, só 1 estava correta
Resumo das demonstrações financeiras da Gap
- Esse foi o maior erro da demo, e o mais inesperado
- A margem bruta (
Gross Margin) aparece como 37,4%, mas isso é a Unadjusted Gross Margin. A margem bruta ajustada pelos custos de impairment é 38,7%
- A margem operacional aparece como 5,9%, mas esse número não aparece em nenhum lugar do documento
- O EPS diluído também aparece como $1.6/$1.75, mas esses números não estão no documento; os valores são $0.71/$0.77
- Na guidance de 2022, diz que a expectativa é de crescimento de receita líquida em casa baixa de dois dígitos, mas a previsão real é de queda na faixa média de um dígito
- Ou foi tirado de outro documento, ou foi totalmente inventado
- A comparação entre Gap e Lululemon é a mesma coisa
- Os números da Lululemon também não batem com o material
Conclusão
- O Bing AI conseguiu atrair a atenção da mídia, mas não é nem um pouco melhor que o Google Bard
- É difícil acreditar que a equipe do Bing gravou essa pré-demo com material errado
- Mais surpreendente ainda é que isso tenha sido considerado um sucesso, e que todo mundo tenha embarcado no trem de elogios ao Bing AI sem checar direito
- O Bing AI não consegue extrair números corretos de documentos e, mesmo dizendo ter fontes, monta informações de forma arbitrária com total confiança
- É um produto que ainda não está pronto e não deveria ser usado por quem precisa de fatos corretos
7 comentários
Eu também continuo pesquisando deep learning e acho que os modelos têm um problema bem grande de overconfidence; aqui também aparece um problema parecido.
O ChatGPT também inventa fontes do jeito que bem entende, então eu tinha grandes expectativas em relação ao Bard...
Acho que vale a pena ver isso em conjunto com ChatGPT é o JPEG borrado da web.
Realmente conseguiram criar uma IA que parece uma pessoa de verdade.
Isso também vale para o ChatGPT. Se você não tiver conhecimento especializado, ele dá muitas respostas problemáticas que você nem percebe.
A diferença é que o ChatGPT deixa bem claro a limitação de que, do lado da OpenAI, ele não está conectado à internet e, por projeto, muitas vezes se recusa a responder perguntas como a do texto.
Isso mesmo, se não sabe, deveria dizer que não sabe; parece que fica mentindo toda hora.