10 pontos por GN⁺ 2025-02-15 | 4 comentários | Compartilhar no WhatsApp
  • À medida que modelos de IA são integrados ao fluxo de trabalho dos desenvolvedores, eles passam a incentivar ou dificultar o uso de determinadas tecnologias
  • Conforme grandes modelos de linguagem fornecem respostas enviesadas em favor de certas tecnologias, surge uma tendência de priorizar a adoção daquelas que a IA consegue dar suporte com mais facilidade
  • Ferramentas com boa documentação e amplo suporte já eram escolhidas antes, mas o problema apontado é que a IA amplifica esse fator de decisão de forma excessiva

Lacuna de conhecimento

  • Como grandes modelos de linguagem passam por datasets massivos e longos períodos de treinamento, muitas vezes já incluem conhecimento desatualizado no momento do lançamento
  • Em relação a novas tecnologias que surgiram após o cutoff de treinamento, a IA não consegue oferecer ajuda adequada
  • Ex.: modelos importantes como Anthropic e OpenAI têm cutoff de conhecimento por volta de 2023~2024
  • Por causa dessa lacuna de conhecimento, quem tenta usar novas tecnologias enfrenta inconvenientes pela falta de suporte da IA, o que acaba atrasando a adoção dessas tecnologias
  • Tecnologias que já têm participação de mercado contam com uma base de usuários entusiasmada, então o material se acumula; já tecnologias totalmente novas geram menos documentação e posts de blog, o que dificulta sua incorporação ao treinamento dos modelos
  • Mesmo quando a IA oferece algum recurso de conexão com a internet, muitas vezes é preciso solicitá-lo explicitamente ou o recurso simplesmente não existe
  • Falta de suporte de IA para novas tecnologias → menos usuários e menos material → menos dados para treinamento do modelo → novamente menos suporte de IA, criando um possível ciclo vicioso
  • Quando um desenvolvedor que quer usar um framework JavaScript recente tenta recorrer à ajuda da IA, se o modelo não consegue oferecer orientação suficiente, o incentivo para escolher documentação antiga ou ferramentas familiares aumenta ainda mais

Impacto do system prompt

  • Alguns modelos de IA, como Claude, frequentemente demonstram preferência por React e Tailwind
  • Ex.: mesmo ao pedir ao Claude para “usar HTML/CSS/JS puro”, foi observado que ele sugeria código em React ou tentava reescrever código existente em React
  • Nos system prompts de alguns modelos (ou prompts internos não públicos voltados a funções específicas), bibliotecas e ferramentas como React, Tailwind e Mermaid são mencionadas explicitamente
  • Em exemplos reais de conversa, ao solicitar o uso de Svelte Runes, o modelo apresentou alternativas em React, levando o usuário, na prática, a aceitar React com mais facilidade
  • Como os usuários tendem a escolher a solução mais simples (Path of least resistance), a opção padrão apresentada pela IA exerce grande influência sobre a escolha tecnológica

Teste

  • Foi realizado um teste simples para verificar se modelos de IA recomendam React quando recebem o pedido de criar um novo app web
    • Anthropic Claude 3.5 Sonnet: nas três vezes, forneceu exemplos de criação de projeto com React + Tailwind
    • OpenAI ChatGPT 4o: nas três vezes, criou o app com React + Tailwind e apresentou prévia com o recurso Canvas
    • Google Gemini 2.0 Flash: nas três vezes, usou HTML/CSS/JS puro, mas recomendou o uso de React, Angular e Vue
    • DeepSeek-V3: apresentou várias combinações, como HTML/CSS/JS puro ou Node.js, Express.js, MongoDB e Bootstrap. Porém, sugeriu mais no formato de visão geral do projeto do que com código específico
  • Esses resultados indicam que Claude e ChatGPT preferem fortemente React + Tailwind; o Gemini prefere HTML/CSS/JS, mas recomenda React; e o DeepSeek apresenta a maior variação tecnológica, embora a qualidade da saída seja mais centrada em visão geral

Reflexão

  • Desenvolvedores iniciantes ou pessoas que constroem apps apenas com prompts têm grande probabilidade de aceitar os resultados de ferramentas como ChatGPT sem alterações
  • Mesmo ao escolher outro framework, o modelo pode continuar conduzindo o usuário para React por causa de regras internas, como system prompts
  • Pode surgir um ambiente em que se escolhem tecnologias já conhecidas por funcionarem bem com IA, o que dificulta a disseminação de tecnologias novas ou de nicho
  • Considera-se que o viés dos grandes modelos de linguagem atua no sentido de prolongar a vida útil das tecnologias populares no momento e elevar a barreira de entrada no mercado para tecnologias novas
  • É sugerido que empresas de IA passem a divulgar explicitamente informações sobre o viés tecnológico de seus modelos
  • Como pesquisa futura, pode-se considerar comparar a variação temporal de system prompts que incluem tecnologias específicas com a tendência de downloads de pacotes para buscar correlação. Ainda assim, há muitas variáveis, então o ruído provavelmente será alto

[Nota 1] A expressão “as plataformas de chat com IA mais populares” se baseia na observação subjetiva do autor
[Nota 2] Claude e ChatGPT exercem impacto especialmente forte sobre iniciantes em desenvolvimento ou novos usuários, porque oferecem resultados fáceis e imediatos por meio de recursos como artifact e canvas

4 comentários

 
iolothebard 2025-04-02

A polarização entre os que têm cada vez mais e os que têm cada vez menos desaparece…
Se você criar um novo produto, no mínimo vai ter que criar junto um servidor MCP…

 
bbulbum 2025-02-17

Embora pareça paradoxal, acho que desenvolver a capacidade de aprender por conta própria é a forma de aumentar a competitividade na era da IA.

 
aer0700 2025-02-15

Será que isso não vale também para o Stack Overflow?

 
GN⁺ 2025-02-15
Comentários do Hacker News
  • A IA não atrapalha a adoção de novas tecnologias

    • Novas tecnologias ou upgrades de versão levam tempo para as pessoas se acostumarem
    • É como dizer que o Stack Overflow atrapalha a adoção de novas tecnologias
    • LLMs são retreinados periodicamente por motivos comerciais
    • Os primeiros adotantes não dependem de LLMs
  • Pontos previstos no artigo do OpenAI Codex

    • Usuários podem tender a aceitar as respostas do Codex partindo da suposição de que os pacotes sugeridos por ele serão mais úteis
    • Possível falta de conhecimento sobre novos pacotes
    • Pode sugerir métodos obsoletos para pacotes já existentes
    • Desenvolvedores open source podem ter mais incentivo para manter compatibilidade com versões anteriores
  • Opinião de que novas tecnologias são lixo que suga dados e salários

    • As pessoas sentem fadiga com novas tecnologias
    • É preciso propor algo novo que não sugue dados nem salários
  • Opinião de que, se o LLM especifica uma tecnologia, então essa tecnologia deve ser usada

    • Se não especifica a tecnologia, é preciso esclarecer e perguntar sobre a escolha tecnológica
    • O LLM não deveria ter preferências fixas impostas pela estrutura de prompts do provedor
    • É necessário trabalhar para evitar vieses como o de React
    • Preocupação com a Anthropic, que recebe investimento de empresas de tecnologia
    • Pode determinar se LLMs podem receber recomendações de AWS, Azure, GCP etc.
  • Opinião de que LLMs serão úteis para linguagens como Elm

    • Uso junto com agentes que possam operar em um loop de avaliação
  • Relato de experiência usando matplotlib para visualização de dados

    • A IA funciona bem o suficiente para pedir alterações em gráficos sem escrever código
    • Há a sensação de que a porta para coisas novas está se fechando
    • Outros exemplos, como Emacs lisp
  • Pergunta sobre o impacto dos LLMs na adoção de novos frameworks e tecnologias

    • Perguntas sobre React recebem boas respostas, mas perguntas sobre novos frameworks não
    • À medida que aumenta o número de desenvolvedores que dependem de ferramentas de IA, a adoção de novas tecnologias pode ficar mais difícil
  • Problema de preferência na geração de código do Claude 3.5 Sonnet

    • Tendência a gerar código em React ou a converter código existente para React
  • Exemplo de desenvolvedores usando os frameworks JavaScript mais recentes

    • Ferramentas de IA não conseguem fornecer orientação realmente útil
    • Um mundo em que Django e React são vistos como escolhas óbvias permite desenvolver web apps mais baratos
  • Exemplo do padrão MCP promovido pela Anthropic

    • Fornece textos longos/MD otimizados para que o Claude consiga entender o protocolo
    • Útil para bootstrap de novos plugins/servidores
    • Um padrão com apenas alguns meses já tem centenas de implementações