Não entendo por que as pessoas ainda estão otimistas com LLMs
(twitter.com/skdh)> "I genuinely don't understand why some people are still bullish about LLMs."
- Uso diariamente vários LLMs, como GPT, Grok, Gemini e Mistral
- Eu os uso esperando economizar tempo em busca e resumo de informações, mas eles ainda frequentemente inventam fontes, citações, links etc.
- Ao clicar nos links, aparece erro 404, ou então a frase citada nem existe de fato quando se tenta pesquisá-la
- Mesmo quando citam artigos científicos, muitas vezes eles simplesmente não existem quando você vai verificar
Houve algumas melhorias, mas a confiabilidade ainda é baixa
- O uso de técnicas como DeepSearch ou Chain of Thought melhorou um pouco a precisão em comparação com o passado
- Pela minha estimativa pessoal, o DeepResearch do GPT-4o é atualmente o mais confiável
- O Grok raramente fornece links de referência mesmo quando solicitado, e nem sequer consegue ligar corretamente links de tweets
- O Gemini é ainda pior: em vez de encontrar as fontes, apenas manda o usuário pesquisar por conta própria
Útil para cálculos simples ou busca de constantes, mas a precisão continua sendo um problema
- Coisas como conversão de unidades ou constantes físicas são fornecidas rapidamente, o que realmente economiza tempo
- Mas ele comete erros frequentes em cálculos simples, como estimativas de ordem de grandeza
- Fico em dúvida se realmente é necessário um LLM com mais de 100 milhões de parâmetros para esse tipo de tarefa
Resultados decepcionantes até em resumo de documentos
- Enviei um documento PDF para pedir um resumo, mas ele confundiu um documento claramente marcado como sendo de 2025 no cabeçalho com um de 2023
- Esse tipo de erro parece muito distante de qualquer coisa que eu chamaria de "inteligência"
Grafos de conhecimento também não são a solução
- Muita gente espera que grafos de conhecimento resolvam os problemas dos LLMs, mas na prática isso é impossível
- Ainda há muitos casos em que frases logicamente consistentes não têm absolutamente nenhuma relação com a realidade
- Mesmo que grafos de conhecimento impeçam erros lógicos, ainda podem continuar sendo geradas frases sem relação com os fatos
Preocupação com a supervalorização do mercado
- As empresas continuam exagerando o potencial dos LLMs, e isso é um fator de risco
- Se surgir um modelo de IA completamente novo e superior aos LLMs, existe a possibilidade de o valor das empresas hoje centradas em LLMs despencar rapidamente
- Quando esse dia chegar, é esperado um grande choque no mercado acionário
2 comentários
Eu também pensava de forma parecida por volta do ano passado, mas vendo a velocidade do avanço, acabei ficando mais otimista.
Opinião no Hacker News
LLMs são uma tecnologia impressionante, que torna possível coisas com que se sonha há muito tempo. Entendem e conversam apesar de erros de ortografia ou de perguntas mal formuladas, geram imagens incríveis e também ajudam a escrever código. Mas algumas pessoas reclamam que não são uma superinteligência perfeita. O ritmo de avanço da tecnologia é surpreendentemente rápido. Alguns reclamam que “não escreve código como um engenheiro sênior com 20 anos de experiência”
A experiência de quem usa principalmente o Claude é bem diferente. Não tento tarefas nas quais os LLMs provavelmente não se sairão bem. As pessoas que usam IA se dividem entre as que procuram fracassos e as que procuram sucessos. Em tarefas simples de scripting, os LLMs são quase perfeitos. Se você descobrir como fazer a IA funcionar, ela pode se tornar uma ferramenta poderosa
A usabilidade dos LLMs ainda deixa a desejar. Eles não lidam bem com citações nem com a indicação de fontes. O fato de um computador não conseguir encontrar fatos com precisão vai contra um ponto forte tradicional dos computadores
Muita gente está usando LLMs de forma errada. Recentemente, houve muita discussão sobre se modelos de linguagem são os mais adequados para transcrição de voz. Há 10 anos não existia transcrição mecânica em tempo real, mas agora isso é possível e continua evoluindo. Apesar dos erros dos modelos de IA, a transcrição automática é útil em muitas situações
Fico em dúvida se devo ouvir a opinião da Sabine. LLMs conseguem realizar tarefas de modelagem de sequência e de previsão. Se for possível reduzir um problema à modelagem de sequência, os LLMs podem executar a tarefa
O ponto em comum nas críticas aos LLMs é que eles não são perfeitos. Uso o ChatGPT com frequência em pesquisa acadêmica. Às vezes ele inventa referências bibliográficas, mas ajuda a encontrar artigos importantes. Verificar a precisão é fácil; difícil é encontrar o conhecimento. No fim, o efeito positivo é grande
Muita gente confunde o poder da tecnologia com a bolha em que estamos vivendo. Envio milhões de solicitações para a IA e obtenho o que preciso. A tecnologia está evoluindo, e os custos também estão mudando. Existe uma tendência de achar que a IA consegue fazer coisas que ela não consegue
Uso bastante o Claude e gero programas para perguntas relacionadas à saúde. A capacidade de explicar perguntas complexas de forma lógica e de ajustar a análise é muito valiosa. Em comparação com um médico, a responsabilidade é do usuário
Muitas pessoas não têm habilidade para lidar com ferramentas “imperfeitas”. LLM é uma ferramenta cuja taxa de sucesso não é de 100%, e por isso exige uma abordagem diferente. Se você imaginar um oráculo probabilístico, a utilidade varia de acordo com a probabilidade de sucesso
Tenho muitos amigos que não se dão bem com as pessoas, mas eu me dou bem com todo mundo. Com a IA é a mesma coisa: não é perfeita, mas é uma ferramenta incrível. As vantagens da IA superam em muito os erros. Aprender a lidar com IA e com pessoas é a maior habilidade necessária no século 21