Vibe Coding — programação por vibe

• Andrej Karpathy chama de vibe coding uma nova forma de criar em que, com os LLMs ficando bons o suficiente, você quase não pensa no código em si
• Combinando Cursor Composer e Sonnet com entrada de voz pelo SuperWhisper, ele quase não usa o teclado e transmite os requisitos falando
• Mesmo pedidos triviais, como reduzir o padding pela metade, ele delega sem procurar diretamente; sem ler o diff, clica em Accept All
• Mensagens de erro são copiadas e coladas sem explicação; se o LLM não consegue corrigir um bug, ele contorna o problema ou repete mudanças aleatórias até que ele desapareça
• Pode servir para projetos descartáveis de fim de semana, mas o código pode crescer além do escopo de compreensão, ficando mais próximo de observar, falar, executar e colar do que de programar

---

O modo de trabalho do “vibe coding”

• vibe coding é uma abordagem em que você deixa tudo totalmente a cargo do LLM, quase a ponto de esquecer que o código existe
• Um exemplo de ferramenta é Cursor Composer with Sonnet, e para entrada de voz ele usa SuperWhisper
• Em vez de procurar ou modificar o código diretamente, repete-se o seguinte fluxo
  • Observa na tela a mudança necessária
  • Pede ao Composer falando
  • Executa o resultado
  • Copia e cola a mensagem de erro
• Ele já não lê mais o diff e sempre clica em Accept All
• Quando o código cresce além do nível habitual de compreensão, chega-se a um estado em que seria preciso ler o código por um bom tempo para entendê-lo de fato

Limites e exemplos

• Às vezes o LLM não consegue corrigir um bug
  • Nesse caso, contorna-se o bug
  • Ou continua-se pedindo mudanças aleatórias até o problema desaparecer
• Ele avalia que essa abordagem não é ruim para throwaway weekend projects
• Com cerca de uma hora de vibe coding, ele também criou um jogo de Battleship
  • O formato é de dois modelos LLM arbitrários escolhidos pelo usuário lutando entre si em tempo real
  • Ele diz que ainda não há estatísticas fortes, mas parece que o 4o vence o 4o-mini

[GN⁺]

Opiniões no Hacker News

• Usei pessoalmente e achei bem bom, mas é preciso tomar cuidado com alucinações
  Por exemplo, pedi que escrevesse um relatório de apresentação sobre mim com 500 palavras e ele trouxe pelo menos 3 erros. Disse que minha reputação no Stack Overflow era de 47.000 pontos, quando na verdade confundiu os “47k de pessoas alcançadas” do perfil com a reputação de 525 pontos. Também citou que eu teria respondido sobre monkey-patching em PHP, mas na verdade era uma pergunta que fiz 15 anos atrás, e a resposta era de outra pessoa. Por fim, uma citação de entrevista também não era minha, mas de uma entrevista do meu irmão, com quem fundei a empresa
  Serve como ponto de partida, mas o resultado precisa necessariamente ser verificado seguindo os links das fontes

  • A avaliação “bem bom, mas cuidado com alucinações” minimiza demais o problema. Você não contrataria nem manteria por muito tempo alguém que inventa qualquer coisa; então não entendo por que essas ferramentas de “IA” deveriam ser chamadas de algo além de projetos de pesquisa interessantes. Acho que os grandes modelos de linguagem deveriam voltar para a prancheta até adquirirem algum grau de confiabilidade
  • É difícil ver isso como um ponto de partida útil, mesmo do ponto de vista de alguém otimista em relação à IA. Um relatório cheio de erros factuais que um estagiário cuidadoso não cometeria é pior do que inútil
    Se a parte difícil é redigir as frases, é mais rápido pesquisar por conta própria, escrever um esboço e deixar o grande modelo de linguagem transformar isso em texto final. Só que, fazendo isso, você acaba provando que o estilo da prosa é a parte de menor valor do trabalho; como alguém que se formou em literatura inglesa, isso dói, mas em geral é verdade
  • Fico em dúvida sobre o que é mais rápido: pesquisar e escrever do zero um relatório de 500 palavras, ou deixar a IA escrever e depois fazer checagem de fatos em todas as respostas e corrigir manualmente. Por isso não uso IA em tarefas que exigem “a resposta certa”. Uso para reescrever parágrafos ou frases de modo mais legível, mas não confio nas informações que a IA fornece
  • Lembrar errado que “eu respondi no Stack Overflow” parece quase uma demência artificial
    Há empresas lançando produtos muito antes de terem competência para lançá-los adequadamente, e não sei se a defesa jurídica delas será tão sólida assim. Dito isso, resultados auxiliados por banco de dados podem, e devem, limitar bastante esse fenômeno de falsas memórias. É necessária uma verificação linear, como a de uma pessoa que tem ideias e depois as confronta com dados; isso faz parte da diligência e do processo de inferência. Parece que movimentos em uma direção diferente da evolução do produto principal estão bagunçando a pesquisa e desenvolvimento, e soa como uma forma de procrastinação
  • A avaliação exata que eu daria aos produtos baseados em grandes modelos de linguagem nos últimos anos é: “bem bom, mas cuidado com alucinações”

• Quando se fala em “pesquisa profunda”, isso acaba sendo entendido como algo que inclui acertar a resposta
  Hoje, mesmo que só 10% das respostas estejam completamente erradas, muita gente considera que a confiança em todas as interações fica seriamente abalada, seja por erros óbvios de senso comum ou por autocontradições. Fora o uso para confirmar coisas que você já sabe, os modelos de linguagem não são grandes o bastante para realmente saber tudo; eles apenas soam como se soubessem
  O que eu quero não é simplesmente uma resposta correta, mas uma resposta correta mais rápida do que eu pesquisar por conta própria e também mais rápida do que o tempo necessário para verificar a resposta dada pela máquina. Fazer um aluno resolver uma prova cuja resposta você já conhece é algo completamente diferente de confiar na resposta para uma pergunta cuja resposta você mesmo não sabe

  • Os recursos recentes tentam reduzir alucinações recorrendo a uma busca na web ampla, mas me preocupa que a própria web esteja sendo rapidamente contaminada por saídas não filtradas de grandes modelos de linguagem. A partir de certo ponto, para perguntas em que atualidade não é importante, talvez seja mais preciso alimentar um agente de pesquisa com um snapshot da web de cerca de 5 anos atrás do que com a web em tempo real
  • Eu me considero cético na linha “LLM ≠ IA”, mas fico preocupado ao ver pessoas fingindo que estão obtendo algo de grandes modelos de linguagem. É quase um macaco digitador como serviço
    É útil para usar aqui e ali de vez em quando, mas não é tão útil quanto o dinheiro que está sendo investido nisso. Claro, é útil para as empresas que recebem esse dinheiro. Este é um exemplo em que, se fosse IA de verdade, eu esperaria que conseguisse resolver sozinha, mas os grandes modelos de linguagem atuais fracassam miseravelmente: https://x.com/RadishHarmers/status/1885884032220643587
  • Por isso não achei ferramentas de IA muito úteis. Muitas vezes, o tempo gasto verificando e corrigindo a resposta é maior do que simplesmente fazer eu mesmo ou aprender
  • Sempre achei que os problemas em que IAs do tipo grandes modelos de linguagem ajudam na prática têm um caráter um pouco NP-like. Ou seja, resolver o problema pode ser difícil, mas verificar a solução deve ser rápido
    Se não for uma área em que erros ou alucinações sejam aceitáveis, o tempo para uma pessoa verificar a solução precisa ser exponencialmente menor que o tempo que a IA leva para encontrá-la para haver ganho real
  • Se a proporção de respostas completamente erradas era 30% há um ano, 60% há alguns anos e agora é 10%, pode chegar um momento em que fique boa o suficiente. Hoje, as formas de verificar respostas também estão melhorando
    Não será a solução para todos os problemas, mas é como muitos problemas de engenharia. Por exemplo, um ORM não é bom para todas as queries, mas é suficiente para uma parte considerável

• Isso parece assustador. Mesmo reconhecendo os problemas de alucinações e erros, é bem provável que usuários reais ignorem isso e coloquem a saída em seus PowerPoint
  Consultoria de gestão já era ruim o bastante, mas vai piorar quando for possível produzir gráficos e estatísticas em massa do jeito que quiserem. Ainda assim, antes havia algum entendimento por trás de onde os números vinham, e também era possível fornecer as fontes
  Quanto mais poderosas essas ferramentas ficarem, mais comum será o efeito de esses resultados se infiltrarem por todos os lados

  • Ou você se importa com precisão, ou não se importa. Se não se importa, tanto faz se foi uma pessoa que inventou ou uma IA. Se se importa, vai checar os fatos antes de publicar. Não sei por que essa ferramenta mudaria isso
  • Quando pesquisas criadas por alucinação são publicadas em texto, e esse texto é citado por outras pesquisas de IA, empurrando continuamente informações falsas para cima, fica difícil depois saber de onde veio a origem da mentira
  • Também dá para ver isso como uma espécie de vacina. A maioria dos relatórios de consultoria escritos por humanos já é completamente frouxa. Baixa precisão, baixa relação sinal-ruído, e um formato que empurra generalidades pelo volume
    Modelos de linguagem grandes estão fazendo as pessoas criarem imunidade a esse tipo de conteúdo de baixo valor informacional. Pessoas que produzem resultados no nível de um LLM agora passam a ser suspeitas de ter usado um LLM, e fica mais difícil fingir que estão agregando valor. Como consequência, será exigida mais qualidade dos consultores, e quem só produz verborragia em vez de informações precisas, perspicazes e adequadas ao contexto será filtrado
  • Para ser sincero, já fiz consultoria e ainda tenho muitos amigos que fazem, e até um relatório da McKinsey em três de cada quatro vezes não é muito solidamente baseado na realidade e contém muitas estimativas
  • Acho que esse barco já zarpou no momento em que o Facebook deixou a desinformação se espalhar livremente, ou até antes disso

• O Gemini também já tinha um Deep Research com o mesmo nome havia um ou dois meses: https://blog.google/products/gemini/google-gemini-deep-resea...
  Como meta pergunta, fico curioso por que há tanta sobreposição de nomes no setor de IA. Vêm à mente Triton (Nvidia, OpenAI) ou Gro{k,q} (X.ai, groq, OpenAI)

  • Segundo o criador do OpenAI Triton, o nome “Triton” foi dado em meados de 2019, quando ele publicou sua tese de doutorado. Um ano depois, “TensorRT Inference Server” virou “Triton Inference Server”, mas ele disse que não mudou o nome porque era o único que conectava seus orientadores de doutorado ao projeto
  • Se é uma “meta pergunta”, acho que você deveria colocar “@Meta AI” antes da consulta
  • Parece uma espécie de associação informal do setor que empurra em conjunto a redefinição de certos termos para vendas e marketing. Primeiro foi “inteligência”, depois “open source”, depois pegaram “raciocínio”, e isso vai continuar
    Palavras necessárias para o marketing, mas que na prática não foram alcançadas, são redefinidas. “grok” é um exemplo perfeito: originalmente, no livro de ficção científica, significava “compreensão completa”. O Triton mitológico governava o mar profundo, então o jargão de vendas de “deep learning” se apropriou disso imediatamente
  • Eu queria ter testado a versão do Gemini no lançamento, mas acho que moro no país errado. Parece que não funciona fora dos EUA. Com OpenAI e DeepSeek não há esse problema, o que é uma pena. Mesmo estando disposto a pagar, eles não aceitam
  • A versão do Gemini não parece muito “profunda”. Ela mostra muitas informações, mas é bem superficial. A versão da OpenAI parece um passo mais perto de uma profundidade real
    Fazendo você mesmo, percebe que é bem difícil fazer um modelo de linguagem grande realmente se aprofundar. O Deep Research da OpenAI parece um dos primeiros exemplos de como um grande laboratório consegue fazer isso. Normalmente, a parte difícil não é o “agente” em si, mas forçar o modelo a não esquecer de se aprofundar

• Não sei se você percebeu, mas esse recurso parece ser movido pelo modelo o3 não lançado publicamente. Isso combina com o motivo de ele estar tão à frente nos benchmarks e com a alegação de que o o3 é caro demais para um lançamento público. Parece um modelo impressionante, à frente de Google, DeepSeek e Perplexity

  • Nos benchmarks públicos, apenas essa ferramenta/sistema tinha acesso a ferramentas e à web. Então acho que, estritamente falando, é bem provável que a melhoria de desempenho venha disso
    Se o o3 é caro demais para ser disponibilizado ao público, por que usá-lo numa ferramenta que precisa fazer centenas de chamadas de inferência para uma única pergunta? Usariam um modelo muito mais barato. Provavelmente uma combinação de o3-mini ou o1-mini, com o4-mini para algumas tarefas
  • “Caro” pode ter significado que eles queriam cobrar mais, mas o DeepSeek forçou a mão deles
  • Tenho a impressão de que a eficácia nesse ambiente de trabalho é uma questão que vai muito além de um único modelo específico. Seria uma escolha burra usar apenas um modelo do mesmo tamanho em cada etapa do trabalho de pesquisa
    O o3 pode levar vantagem ao sintetizar a resposta final ou escolher entre fontes conflitantes, mas são necessárias muitas etapas para chegar a esse ponto
  • Tenho certeza de que, quando o o3 for lançado daqui a 10 meses, estará uma geração à frente do DeepSeek, Google e Meta daquele momento. É realmente impressionante
  • Fico curioso para saber em que se baseia a crença de que isso é movido pelo o3 não lançado publicamente

• Para quem trabalha na academia, é uma ferramenta realmente interessante. Quero testar, mas no momento não consigo bancar 200 dólares por mês
  Seria ótimo se alguém pudesse testar com o prompt a seguir. É um pedido para atuar como assistente de pesquisa em física de partículas e escrever um resumo técnico comparando o Future Circular Collider (FCC) do CERN, o International Linear Collider (ILC), o Compact Linear Collider (CLIC), várias propostas de Muon Collider e os principais planos de colisores de partículas de próxima geração em 2024, cobrindo faixa de energia, tipo de colisão, cronograma, vantagens e desvantagens técnicas, custo, objetivos de física, relatórios de projeto, cooperação internacional, custo-benefício, potencial de descoberta, infraestrutura, impacto ambiental e caminhos de upgrade

  • Rodei com o3-high e o link do resultado está aqui: https://chatgpt.com/share/67a0b227-8ee4-800f-a8ed-882e7bab97...
    A saída original era longa demais para colocar inteira no HN, e tinha formato de relatório, comparando FCC, ILC, CLIC, Muon Collider, CEPC/SppC etc. em termos de energia planejada, modo de colisão, cronograma, custo, desafios técnicos, objetivos de física, apoio internacional, impacto ambiental e caminhos de upgrade de longo prazo, com tabelas e fontes

• Tenho dúvidas se essa capacidade é realmente um pré-requisito para AGI e ASI
  Raciocínio, resolução de problemas e verificação de pesquisas são, no fundo, coisas mais próximas de pensamento refinado. Pesquisa ainda é uma área em que sou cético quanto à importância disso, porque provas válidas não vêm de uma resposta bem organizada, mas dos resultados da execução
  Por exemplo, por mais que você pesquise na internet o melhor aspirador de pó, até usá-lo pessoalmente você fica preso entre marketing, avaliações falsas e influenciadores. Áreas científicas talvez fiquem um pouco protegidas desse problema por serem tediosas, mas é assustador imaginar uma farmacêutica enchendo a internet com posts de blog personalizados contendo “resultados de pesquisa” médicos sofisticados para criar a atmosfera de artigos que deseja. Em algum momento, talvez a internet se torne totalmente inconfiável, e esse momento pode estar próximo
  Com a explosão de texto gerado, acho que o valor da pesquisa vai cair muito por causa de uma quantidade enorme de lixo informacional. Talvez ela acabe virando algo que fazíamos na época em que a internet ainda era “real”

  • Para esse tipo de uso, basta não usar esta ferramenta. Ainda assim, a crítica é válida
    Antigamente, tentei encontrar textos com medições reais para comparar como Hydroflask, Klean Kanteen e Thermos se saíam com bebidas quentes/frias, mas a maioria dos resultados do Google eram comparações genéricas sem dados concretos. Mesmo assim, artigos dizendo coisas como “Hydroflask é melhor para bebidas quentes” apareciam no topo
    A questão é se esta ferramenta conseguirá ignorar esses textos e usar apenas artigos com experimentos reais, e também se conseguirá filtrar resultados duplicados em que vários blogueiros citam repetidamente o experimento feito por uma única pessoa
  • Isso depende totalmente de como você define “AGI”
  • Isto não é tanto uma única função, mas uma direção dentro de um terreno enorme. Ficar melhor em várias tarefas, como busca, e em pesquisa combinada com raciocínio aproxima os modelos da AGI
    Uma AGI conseguiria realizar esse tipo de tarefa, e quanto mais o diagrama de Venn dessas capacidades cresce, mais conseguimos estreitar o que pode ser o mecanismo fundamental da AGI. Moravec falava da imagem de um terreno de capacidades humanas sendo lentamente submerso pelas capacidades da IA; saberemos que chegamos a uma IA verdadeiramente geral quando a IA puder fazer, na prática ou em princípio, tudo o que humanos conseguem fazer. Deep Research é apenas mais uma ilha sendo coberta por essa inundação

• Se entendi o gráfico corretamente, a taxa de aprovação nos testes internos parece ser de apenas 20%. Se for isso, significa que, depois de esperar 30 minutos e pagar caro, ainda terei de vasculhar uma longa parede de texto que, em geral, provavelmente está errada?
  Se a possibilidade de alucinação não for desprezível, há conteúdo demais para revisar de uma vez. Parece que o processo deveria ser muito mais iterativo

  • Um exemplo do tipo de problema em que ele atinge esses 20% é neste nível: expressar uma transformação natural entre dois funtores como um end, definir uma cotransformação natural como um coend e, então, dadas ∞-categorias sob o delooping nerve dos grupos simétricos Σ4 e Σ7, perguntar pelo número de cotransformações naturais
    Ou seja, não é uma consulta comum, mas algo mais próximo de um benchmark matemático de ponta
  • Uma taxa de aprovação de 26,6% no Humanity’s Last Exam é, na verdade, impressionante. A taxa precisa ser vista no contexto da dificuldade da tarefa
  • Isso só se aplica quando você faz perguntas no nível de benchmarks de ponta
  • É difícil afirmar com certeza por falta de dados. Se assumirmos que uma única consulta realiza um dia de trabalho, então dá para usar de forma razoável quando revisar 5 dias de trabalho leva menos de um dia
    Em casos como pesquisa real, em que o volume de preparação é maior que o produto final, pode fazer sentido conceitualmente. Olhando rapidamente os benchmarks, parece possível que passe de 50% por consulta por volta do fim do ano, e aparentemente dobra a cada uma ou duas gerações de modelos
  • Esse número vem de problemas que até especialistas da área teriam dificuldade para responder com precisão

• Na blogosfera há especialistas conhecidos em nichos estreitos ou pessoas famosas nessas áreas, e há muito mais gente escrevendo textos úteis. No mínimo, escrevem no sentido de desejar que outros humanos leiam
  Mas, se todos os leitores virarem bots, fico me perguntando se eles continuarão escrevendo. Parece que a internet morta está chegando

  • Mesmo que a escrita seja lida apenas por bots, acho bom se for possível saber como fazê-la. Artigos acadêmicos também, na prática, muitas vezes não são lidos de verdade; são folheados rapidamente para citação, e isso vale ainda mais para publicações grandes como artigos de periódicos ou teses
    Ainda assim, como autor, é atraente poder contribuir para um mundo de conhecimento de acesso fácil quando as pessoas quiserem escrever. Não será mais preciso sofrer procurando artigos cujo título apenas parece relacionado, e tudo bem se outras pessoas não tiverem de sofrer lendo meu artigo
  • Claro que continuarão escrevendo. Há muita gente que leva a maior câmera que consegue bancar e tira centenas de fotos que ninguém veria voluntariamente

• Fico curioso se alguém de fato tem acesso a esse recurso. O site diz que ele estará disponível para usuários Pro a partir de hoje, mas mesmo tendo Pro em uma conta corporativa, não vejo a opção Deep Research no compositor de mensagens

  • Sou Pro e estou nos EUA, mas ainda não apareceu para mim
  • Fiquei com acesso cerca de 3 horas atrás. Também aparece no app desktop para Windows, onde alguns recursos demoram mais
    Ao abrir qualquer modelo, a tag (Deep research) aparece na caixa de entrada ao lado da opção de busca na web. Não limpei cache nem nada
  • Sou Pro, mas ainda não apareceu para mim
  • Dois conhecidos que assinam o Pro também dizem que ainda não têm acesso
  • Moro nos EUA, uso Pro e ainda não tenho acesso

[GN⁺]

Comentários do Hacker News

• Todo ano acho que os padrões de qualidade de software não podem cair mais, mas toda vez percebo que estou errado

  • Não entendo por que fazer algo que você nem vai fazer direito
  • É como pregar pedaços de madeira mal cortados e fazer algo parecido com uma cadeira, para depois sentar nela
  • Tem quem diga “às vezes a gente só precisa de um lugar para sentar”, mas ainda assim sinto que deveria haver um mínimo de acabamento
  • Vi pessoas que, por não terem confiança no inglês, passaram a depender totalmente de LLMs, e com isso perderam capacidade de expressão e autoconfiança
  • Em software, raramente se sabe desde o começo que se está construindo uma “cadeira”
    • No fim, isso é só outro nome para programação exploratória ou prototipagem
  • Às vezes o destino não é o mais importante; a pessoa só quer chegar logo a algum lugar
    • É como repreender alguém cansado que se senta no chão por um momento
  • Hoje em dia me preocupa que esteja desaparecendo a noção de realidade de que o código roda em hardware real
    • Muitos desenvolvedores jovens não entendem as consequências físicas do código
    • Acho que a IA e todo esse hype vão desmoronar em algum momento, mas a luta para manter a qualidade precisa continuar

• Eu também sinto prazer em fazer projetos leves desse jeito

  • Mas segurança é algo que nunca dá para fazer de qualquer jeito
  • Já vi assistentes de código com IA criarem APIs sem autenticação ou gerarem templates com risco de XSS muitas vezes
  • Uso LLMs todos os dias, mas tenho certeza de que o papel do engenheiro de segurança continuará existindo por muito tempo

• Quando vejo essa abordagem, parece que o resultado foi entregue por alguém que “come e programa”

• Me preocupo se começar a programar assim fará a capacidade de resolver problemas difíceis atrofiar

  • Mas outra pessoa diz que ainda é possível fazer manualmente, com cuidado, as partes necessárias
  • Em compensação, a barreira de entrada para testar coisas novas cai, o que permite explorar com muito mais liberdade

• Hoje estão surgindo muitos desenvolvedores nativos de IA que aprendem assim desde o começo

  • Parece que entramos numa era em que é menos sobre programar e mais sobre gerenciar codificadores de IA

• Ferramentas como um WYSIWYG editável por comandos em linguagem natural parecem ter um abismo repentino de dificuldade, como os limites das ferramentas RAD

• Algumas pessoas dizem que “não se deve aprender assim”, mas eu acho importante equilibrar esforço e nível de acabamento

  • Vibe Coding é um bom método para aprendizado e exploração
  • Pode abrir um novo espectro entre esforço e acabamento
  • Mas, como dizia Fred Brooks, se a primeira tentativa for fraca, é preciso saber descartá-la sem hesitar
    • Se você se apegar à primeira implementação gerada por um LLM, pode acabar preso a um ponto de partida equivocado sem entender o problema de verdade

• Acho que CSS já dá para fazer tranquilamente com Vibe Coding

  • Mas outra pessoa rebate que, considerando acessibilidade e design responsivo, a coisa não é tão simples assim
  • CSS bem feito pode ser, na verdade, conciso e fácil de manter
  • Colocar IA no meio pode até atrapalhar
  • Outra pessoa disse que já implementou completamente pequenos utilitários web com Claude
  • Alguém também contou que criou uma DSL de busca baseada em React e um editor de pipeline com GUI da mesma forma, explicando que essa abordagem vai muito além de algo no nível de CSS