Apresentando no HN: um gerador simples de prompts para ChatGPT

[GN⁺]

Comentários do Hacker News

• Os usuários se perguntam se as pessoas ainda escrevem prompts personalizados.

  • No passado, prompts personalizados geravam resultados melhores, mas com as atualizações do ChatGPT a forma de gerenciar prompts de modo eficaz muda com frequência, o que é trabalhoso.
  • Hoje, às vezes usam ChatGPTs personalizados, mas na maior parte do tempo ficam com a configuração padrão.
  • A diferença na qualidade dos resultados diminuiu, e o tempo de resposta para prompts maiores aumentou, então preferem respostas rápidas que sejam "boas o suficiente".
  • Em vez de tentar obter uma resposta perfeita de uma vez só, é mais fácil fazer perguntas adicionais quando o resultado inicial não está completo.

• Há uma sugestão que seria muito útil para iniciantes.

  • Sugerem oferecer vários modelos para instruções prévias e prompts de pós-processamento.
  • Fornecer prompts "testados" que garantam que a saída venha em um formato específico (JSON, lista, conjunto limitado de CSV etc.) ou que a entrada evite formas básicas de escape.
  • Leva muito tempo para aprender as melhores formas de usar prompts que quem usa ChatGPT todos os dias já descobriu.
  • Ter esses modelos confiáveis seria excelente para iniciantes.

• A pessoa está atualmente imersa em tarefas relacionadas ao ChatGPT e desenvolve apps 1 ou 2 vezes por semana.

  • O público-alvo presumido são pessoas que não conhecem bem LLMs baseados em prompts.
  • Para esses usuários, nem o problema nem a solução estão definidos com clareza suficiente.
  • Por exemplo, faltam seletores predefinidos, e o significado dos seletores fornecidos não é transparente.
  • Como resultado, fica pouco claro como as escolhas afetam a saída, e usar a ferramenta vira um problema de ovo e galinha.
  • Nessa situação, é quase mais fácil pedir ao próprio ChatGPT que gere um prompt eficaz.

• Uma pergunta sobre com quem estamos falando quando conversamos com esses bots.

  • Apresentar tecnologia de IA por meio de uma interface de chat semelhante à humana é uma escolha intencional.
  • Interagir com a tecnologia por uma interface de chat pode criar a ilusão de inteligência artificial geral.
  • No entanto, ao interagir diretamente com o LLM pela interface Playground, fica claro que o chat é apenas uma encenação que reforça a ilusão de haver um interlocutor.

• Isso não tem relação direta com o ChatGPT.

  • É apenas uma forma de clicar e combinar blocos de texto.
  • A obsessão com um único fornecedor de LLM não ajuda o avanço da área.

• É necessária uma análise real de como cada recurso de prompt melhora a resposta.

• Quanto mais longas forem as instruções, maior a chance de o ChatGPT não seguir cada uma delas.

  • Parece que a atenção se dispersa: se você diz "faça A", ele faz A, mas se diz "faça A e B", ele só realiza A e B parcialmente.
  • A melhor experiência é usar prompts curtos e executar uma tarefa por vez, ou concluí-la ao longo de algumas tentativas.

• A pessoa experimenta inserir conteúdo deliberadamente sem sentido.

  • Dá instruções como "aja como um piloto de avião experiente, preciso de mais café, calcule".
  • O resultado é bastante divertido no ChatGPT.

• Há dúvida sobre se o padrão "aja de uma determinada maneira" ainda é necessário.

  • Desde que passou a usar o GPT-4, deixou de usar esse padrão.
  • Pedir para "agir como especialista em uma área específica" não parece trazer resultados melhores.
  • É necessário um ferramenta leve, mas eficaz, para testar e comparar vários prompts em pequena escala e verificar se houve melhora.

• Há dúvida sobre se esses prompts são melhores do que apenas digitar algo aleatório.