A "carruagem sem cavalos" da era da IA

 (koomen.dev)
21 pontos por GN⁺ 2025-04-24 | 2 comentários | Compartilhar no WhatsApp
  • Criar software com IA é divertido e produtivo, mas a maioria dos apps de IA é ineficiente, como uma "carruagem sem cavalos (horseless carriage)" que apenas imita o jeito antigo de fazer as coisas
  • O assistente de e-mail com IA do Gmail produz resultados formais demais e não consegue oferecer uma experiência personalizada ao usuário
  • Apps de IA realmente úteis deveriam permitir que o usuário editasse o System Prompt para criar agentes personalizados
  • O app ideal da era da IA não deveria imitar programas existentes, mas sim ser um software nativo de IA que reduz tarefas repetitivas e melhora de verdade a produtividade por meio da automação
  • O verdadeiro potencial da IA está em automatizar o trabalho do dia a dia, ajudando as pessoas a se concentrarem no que é importante e criativo

Por que criar software com IA é mais divertido do que usar apps feitos com IA

  • Recentemente percebi algo interessante: usar IA para criar software por conta própria é mais divertido e produtivo do que usar a maioria dos apps baseados em IA
  • Quando uso IA como ferramenta de desenvolvimento, quase sempre tenho a sensação de conseguir construir rapidamente qualquer coisa que eu consiga imaginar
  • Já muitos apps de IA apenas têm recursos de IA por cima, mas na prática são pouco úteis ou até atrapalham

A ‘carruagem sem cavalos’ da era da IA

  • Hoje, muitos apps de IA basicamente seguem exatamente o mesmo design de software de antigamente
  • Com isso, modelos poderosos como LLMs acabam presos numa estrutura que os limita sem necessidade
  • O autor chama isso de "carruagens sem cavalos (horseless carriages)" da era da IA
    • Uma analogia com a história dos primeiros carros, cujos designs copiavam a forma das carruagens e, por isso, eram ineficientes

Um exemplo de app de IA mal projetado: o assistente de IA do Gmail

  • O Gmail lançou recentemente um recurso que usa o modelo Gemini para gerar rascunhos de e-mail
  • No exemplo, o usuário (o autor) pede um rascunho de e-mail para enviar ao chefe

Prompt: pedir um rascunho de e-mail para o chefe

  • O rascunho gerado pelo Gemini é gramaticalmente perfeito, mas não se parece em nada com a forma como o autor realmente escreveria
    • Estilo real do autor: "hey garry, my daughter woke up with the flu so I won't make it in today"
    • O resultado do Gemini é formal demais e pouco natural
  • No fim, isso leva mais tempo do que simplesmente escrever o e-mail direto
  • O autor descreve a experiência como "gerenciar um funcionário com baixo desempenho"
  • É bem provável que milhões de usuários do Gmail tenham tido uma experiência parecida, e por isso possam concluir, de forma equivocada, que a IA ainda não sabe escrever e-mails direito
  • Mas o problema não está no modelo Gemini em si, e sim na forma como o app foi projetado pela equipe do Gmail

Um exemplo de assistente de e-mail melhor

  • Se o Gmail tivesse criado o assistente de e-mail de uma forma como a abaixo, ele seria muito mais útil na prática

Exemplo de agente de leitura de e-mails

  • Essa demo não funciona escrevendo e-mails, e sim lendo e processando e-mails

  • Ferramentas usadas:

    • labelEmail(label, color, priority) : define um rótulo no e-mail
    • archiveEmail() : arquiva o e-mail
    • draftReply(body) : cria um rascunho de resposta

  • Os e-mails da caixa de entrada são organizados assim:

    • TechCrunch Weekly
    • Gustaf Alströmer - founder intro?
    • HackerNews Digest
    • The Verge Updates
    • Garry Tan - reschedule
    • e mais 12 ao todo

  • Cada e-mail é classificado e priorizado automaticamente, e alguns recebem rascunhos automáticos de resposta ou são arquivados automaticamente

  • Cada e-mail é tratado individualmente de acordo com o System Prompt definido pelo usuário

  • O usuário pode editar o próprio System Prompt para refletir sua lógica pessoal de rotulagem

Esse método é muito mais poderoso, intuitivo e produtivo — então por que a equipe do Gmail não projetou algo assim?

  • O núcleo do problema: "um tom típico e uniforme"
    • Um dos maiores problemas do design do Gmail é justamente esse estilo genérico, sem personalidade

AI Slop: saídas formais e estranhas

  • O rascunho de e-mail gerado pelo Gemini no Gmail é excessivamente prolixo, formal e totalmente diferente do estilo do autor
  • Esse tipo de resultado pode até parecer um e-mail de phishing
  • A maioria dos usuários de LLM já passou por isso e, para evitar, acaba usando naturalmente a estratégia conhecida como prompt hacking
    • Exemplo de prompt:

      "let my boss garry know that my daughter woke up with the flu and that I won't be able to come in to the office today. Use no more than one line for the entire email body. Make it friendly but really concise. Don't worry about punctuation or capitalization. Sign off with “Pete” or “pete” and not “Best Regards, Pete” and certainly not “Love, Pete”"

  • A qualidade do resultado melhora, mas o prompt fica longo demais, e ter de repetir esse processo toda vez é ineficiente
  • A solução simples para esse problema: dar ao usuário permissão para editar o System Prompt

A diferença entre System Prompt e User Prompt

  • Um LLM é, em essência, um sistema que prevê a próxima palavra com base nas palavras fornecidas no prompt
  • Toda entrada e saída é composta de texto
    • Para simplificar, o texto fala apenas de interfaces centradas em texto, embora na prática voz e vídeo também possam ser entradas e saídas
  • OpenAI, Anthropic e outras adotaram uma estrutura que separa o prompt em System Prompt e User Prompt para simplificar isso
    • System Prompt: define a personalidade do agente e seu modo de agir (equivalente à função)
    • User Prompt: pedido ou pergunta específica do usuário (equivalente ao valor de entrada)
    • Resposta do modelo: valor de saída

Exemplo:

  • User Prompt: "Let my boss Garry know that my daughter woke up with the flu this morning and that I won't be able to come in to the office today."
  • System Prompt estimado do Gmail:
    • "You are a helpful email-writing assistant responsible for writing emails on behalf of a Gmail user. Follow the user’s instructions and use a formal, businessy tone and correct punctuation so that it’s obvious the user is smart and serious."
  • O problema é que o Gmail não revela esse System Prompt nem permite que o usuário o edite

O System Prompt personalizado de Pete

  • Se o Gmail desse ao usuário o direito de escrever seu próprio prompt, em vez de usar um System Prompt uniforme, ele poderia ser algo assim:

    You're Pete, a 43 year old husband, father, programmer, and YC Partner.
    You're very busy and so is everyone you correspond with, so you do your best to keep your emails as short as possible and to the point. You avoid all unnecessary words and you often omit punctuation or leave misspellings unaddressed because it's not a big deal and you'd rather save the time. You prefer one-line emails.
    Do your best to be kind, and don't be so informal that it comes across as rude.

  • Ao gerar um e-mail com base nesse System Prompt, o GPT poderia produzir algo como:

    Garry, my daughter has the flu. I can't come in today.

  • O resultado é curto, pessoal e alinhado ao estilo real do usuário

  • A maior vantagem é que esse System Prompt pode ser reutilizado, aplicando o mesmo estilo a todos os e-mails seguintes

A diversão e o potencial de escrever prompts personalizados

  • A experiência de ensinar um LLM a pensar como eu e ver o resultado imediatamente é muito intuitiva e prazerosa
  • O autor recomenda que cada pessoa experimente escrever um "System Prompt só seu" para definir o próprio estilo
    • Exemplos de User Prompt:

      "Let my wife know I'll be home from work late and will miss dinner"
      "Write an email to comcast customer service explaining that they accidentally double billed you last month."

  • Se o resultado sair bom, isso significa que a explicação foi suficiente; se não, basta complementar o conteúdo e iterar
  • Isso pode até ser mais fácil do que ensinar um ser humano, graças a um ciclo de feedback mais rápido e mais honesto

Por que a maioria dos apps de IA não expõe o System Prompt?

Horseless Carriages: aplicar uma tecnologia nova com mentalidade antiga

  • Quando surge uma nova tecnologia, as primeiras ferramentas frequentemente copiam o molde das formas antigas e acabam fracassando
  • “Horseless Carriage” se refere aos primeiros carros que mantinham o design das carruagens puxadas por cavalos
    • Exemplo: o projeto da carruagem a vapor de Trevithick em 1803
    • Na época, esse design parecia inovador, mas hoje é claro que sua estrutura básica não servia bem para automóveis
  • Na época, as pessoas podiam experimentar essas carruagens e pensar que “cavalos são melhores do que motores” — o que parecia razoável antes do surgimento do automóvel moderno
  • O autor diz que os apps de IA de hoje estão numa situação parecida
    • Exemplo: recursos como o Gemini no Gmail, em que a IA foi encaixada num UX antiquado
  • O raciocínio antigo ficava em algo como “vamos trocar o cavalo por um motor”
    • Hoje, muitos apps de IA fazem algo semelhante ao apenas adicionar recursos de IA a apps já existentes

Old World Thinking: os limites do design tradicional de software

  • Antes, só existiam duas formas de usar computadores:
    1. Programando diretamente
    2. Usando programas feitos por outras pessoas
  • Como programar é difícil, a maioria escolhia a segunda opção
  • Com isso, a indústria de software cresceu separando com clareza o papel do desenvolvedor e o do usuário
    • Desenvolvedor: decide o comportamento geral do software
    • Usuário: fornece entradas específicas
  • A divisão entre System Prompt e User Prompt nos LLMs reproduz exatamente essa estrutura
    • System Prompt = papel do desenvolvedor
    • User Prompt = papel do usuário
  • Mas e-mail é uma área profundamente pessoal, e se a IA vai escrever em nome do usuário, ela precisa refletir o estilo daquela pessoa
  • Na estrutura antiga, a personalização era difícil a menos que o usuário programasse o software por conta própria
  • Já na era dos LLMs, o usuário pode escrever o próprio System Prompt
    • Ou seja, vivemos numa era em que é possível projetar o comportamento da IA sem programar

Devolvam ao usuário o que é do usuário

  • A tese do autor: quando um LLM age em meu nome, sou eu quem deve ensinar como ele deve agir por meio do System Prompt
  • Claro, nem todo usuário quer escrever um prompt do zero
    • O Gmail poderia gerar um System Prompt padrão com base no histórico de e-mails do usuário
    • O importante é mostrar esse prompt ao usuário e permitir que ele o edite
  • “E quem não sabe escrever prompts?” → no começo pode ser difícil, mas a maioria aprende rápido
    • O sucesso do ChatGPT prova isso
  • E em áreas como contabilidade ou direito, que não são agentes pessoais?
    • Faz sentido que o System Prompt seja escrito por especialistas do domínio, mas esses próprios especialistas também vão querer ajustá-lo ao seu contexto
  • Exemplo: a equipe contábil da YC usa processos, regras e combinações de software específicos da YC
    • Um agente de IA genérico para contabilidade seria completamente inútil na YC
  • Quase toda equipe contábil tem sua própria forma de trabalhar, por isso prefere ferramentas genéricas como Excel
  • Conclusão: na maioria dos apps de IA, o System Prompt deveria ser escrito e mantido pelo próprio usuário

Apps de IA não deveriam ser agentes prontos (agents), mas sim ferramentas para que o usuário crie seu próprio agente (agent builders)

Devolvam ao desenvolvedor o que é do desenvolvedor

  • Então o que cabe aos desenvolvedores fazer?
    • Projetar uma UI de criador de agentes especializada em domínios específicos, como e-mail ou escrituração contábil
    • Oferecer templates e assistentes de geração de prompts para que o usuário não precise começar do zero
    • Fornecer uma interface de ciclo de feedback para que o usuário veja e corrija o resultado do agente
  • Os desenvolvedores também fornecem ferramentas do agente (agent tools)
    • Envio de rascunhos de e-mail, envio automático, busca de e-mails, integração com APIs externas etc.
  • Essas ferramentas servem para controlar o alcance das ações do agente e sua segurança
    • Restringir comportamentos por meio de ferramentas escritas em código é muito mais seguro e claro do que tentar impor limites só com prompt de texto

No futuro, a preocupação com prompt injection pode virar motivo de piada
→ Criar fronteiras dentro de uma estrutura textual é sinal de uma abstração frágil
→ É preciso encarar o sistema inteiro como espaço do usuário e controlá-lo com ferramentas e UI robustas

O verdadeiro valor de um agente que "lê" e-mails

  • Como já foi dito, até um System Prompt melhor não economiza tanto tempo na hora de escrever e-mails do zero
  • Isso acontece porque os e-mails do autor já são naturalmente muito curtos e diretos
    • Ou seja, o tamanho do prompt do usuário ≒ tamanho do corpo do e-mail
  • Depois de experimentar várias vezes, o autor concluiu que IA generativa é muito melhor em transformar texto do que em gerar texto do zero
  • Por isso, o verdadeiro objetivo de usar LLMs não está em "escrever" e-mails, mas em "ler e processar" e-mails

Demo de agente de leitura de e-mails (baseado em gpt-4o-mini)

  • Ferramentas disponíveis:
    • labelEmail(label, color, priority) : define rótulos de e-mail
    • archiveEmail() : arquiva automaticamente o e-mail
    • draftReply(body) : gera automaticamente um rascunho de resposta
  • Esse agente lê cada e-mail e:
    • filtra bem o spam
    • rotula conforme a importância
    • resume ou cria rascunhos de resposta
    • arquiva automaticamente mensagens desnecessárias
  • E, com mais algumas ferramentas, ele poderia até:
    • cancelar assinaturas
    • registrar compromissos na agenda
    • pagar contas automaticamente
  • É exatamente isso que um cliente de e-mail nativo de IA deveria fazer:
    → automatizar tarefas repetitivas e entediantes para economizar o tempo do usuário
    • Alguns clientes de e-mail, como Superhuman e Zero, já estão sendo desenvolvidos nessa direção

O que significa software nativo de IA

  • O verdadeiro killer app da IA é fazer o computador assumir o trabalho que eu não quero fazer
  • O motivo de o autor ter incluído uma demo neste texto é mostrar que os LLMs já conseguem executar esse tipo de tarefa bem o suficiente na prática
  • O problema não está no desempenho da IA, mas sim no design do app

O que a equipe do Gmail criou foi um "app de e-mail com IA"
→ não uma ferramenta de automação para o usuário, mas uma IA forçada para dentro de uma interface pensada para humanos

  • Em contraste, um app nativo de IA deveria ser assim:
    • maximizar a alavancagem do usuário em um domínio específico
    • Ex.: um cliente de e-mail com IA deve minimizar o tempo gasto com e-mail
    • Ex.: um software contábil com IA deve minimizar o tempo gasto com contabilidade

Expectativas para a era da IA

  • Todo trabalho repetitivo e tedioso será feito por agentes
  • O usuário poderá se concentrar no que realmente importa
  • Será possível fazer mais do que se faz bem e do que se gosta

É por isso que o autor está animado com o futuro da IA
Ferramentas melhores, melhor uso do tempo, produtividade maior

Leituras relacionadas

2 comentários

 
crawler 2025-04-24

Aplicativos de IA realmente úteis deveriam permitir que o usuário modificasse o System Prompt para poder criar agentes personalizados.

Claro que os desenvolvedores que criam as funcionalidades também devem saber disso, mas enquanto houver jailbreak, não é algo simples.
Mesmo que você trave a alteração do system prompt, ainda dá para fazer jailbreak; então abrir a possibilidade de mudar o system prompt é praticamente impossível.
E também podem acabar usando isso para um propósito diferente da função original, e de forma barata.
 
GN⁺ 2025-04-24
Opiniões no Hacker News

  • Abordo com cautela o uso de modelos de linguagem para redigir mensagens pessoais. Isso carece da especificidade da experiência ou do conhecimento individual

    • Seria mais fácil aceitar se modelos como o Gemini conseguissem entender explicações técnicas passadas ou detalhes concretos do trabalho da pessoa
    • Mas, na maioria dos casos, não é diferente de um e-mail que uma secretária dos anos 1970 poderia ter escrito
    • Ao escrever mensagens pessoais, resumos são desnecessários, e expandir mensagens curtas só gera ruído sem sentido
    • Usar IA para escrever mensagens torna mais difusos os limites da transmissão de informação

  • Sinto que 90% dos recursos de IA são inúteis e caros

    • Tirando os recursos de IA para programação, é difícil encontrar funções de IA realmente úteis
    • O preenchimento automático do Gmail ou do iMessage já existia antes dos LLMs
    • Nunca usei recursos do Gmail para fazer um e-mail soar mais profissional

  • O Gemini age como um assistente pessoal e envia e-mails em nome do usuário

    • Escrever mensagens pessoais com IA pode desagradar a outra pessoa

  • É desagradável se comunicar com pessoas que não se importam com gramática e ortografia

    • Não culpo quem erra a ortografia, mas quando a pessoa tem capacidade e mesmo assim não liga para isso, demonstra desinteresse pelo outro

  • O widget interativo conectado a um LLM foi divertido

    • O botão "resumir e-mail" do Gmail parece desnecessário

  • Muita gente acha que a IA escreve em um estilo previsível, mas na prática não é assim

    • Isso se aplica não só ao texto, mas também à geração de imagens
    • As pessoas podem se sentir desconfortáveis ao perceber que a IA consegue falar como uma pessoa de verdade

  • Foi bom ver a demonstração interativa acontecendo em tempo real

    • É possível analisar o estilo de e-mail e redigir um rascunho
    • Isso pode evoluir para um modelo em que a IA escreve o e-mail automaticamente e o usuário apenas aprova

  • A IA não consegue saber o que o usuário quer, e as pessoas têm dificuldade de expressar claramente seus objetivos

    • Se a IA fizer tudo, o usuário deixa de pensar com profundidade, o que limita a especialização e a capacidade de resolver problemas

  • Os recursos de IA mais úteis passam despercebidos

    • Um assistente de categorização de e-mails é um bom exemplo
    • Um recurso que interpreta automaticamente e-mails de "remarcar" e sugere mudanças na agenda é útil

  • Não entendo a ideia de a IA escrever mensagens no lugar da pessoa

    • No caso de mensagens importantes, escrevê-las pessoalmente tem significado, pois é uma expressão de interação viva