Explorando os GPTs: ChatGPT de sobretudo?

Como os GPTs são configurados

• GPTs são configurações nomeadas do ChatGPT, incluindo nome, logotipo e uma breve descrição.
• Incluem instruções personalizadas que orientam o comportamento do GPT, equivalentes a um "prompt de sistema".
• Podem fornecer opcionalmente até 4 prompts de exemplo para iniciar conversas.
• É possível enviar vários arquivos para fornecer contexto adicional e ajudar na geração de respostas.
• Code Interpreter, modo Browse e DALL-E 3 podem ser ativados ou desativados.
• É possível configurar "Actions" opcionais, que são endpoints de API que o GPT pode chamar.

Como funciona o construtor de GPTs

• O construtor de GPTs é um chatbot que cria automaticamente um GPT por meio da conversa com o usuário.
• A aba "Create" permite que o usuário crie um GPT conversando, mas na prática ela apenas preenche automaticamente o formulário de "Configure".
• Muitas pessoas recomendam evitar a aba "Create" depois de criar o primeiro GPT.

Exemplos interessantes de GPTs

• Dejargonizer: um GPT que interpreta jargões técnicos, analisando o texto para definir termos especializados.
• JavaScript Code Interpreter: um GPT capaz de executar código JavaScript, usado com um runtime Deno anexado.
• Dependency Chat: analisa a documentação de dependências de um projeto no GitHub e responde a perguntas relacionadas.
• Add a walrus: um GPT que adiciona uma morsa a imagens, usando GPT-Vision e DALL-E.
• Animal Chefs: um GPT em que chefs animais fornecem receitas junto com histórias pessoais.
• Talk to the datasette.io database: um GPT que executa consultas SQL para responder perguntas.
• Just GPT-4: um GPT que desativa todos os recursos extras e oferece uma experiência pura de GPT-4.

O recurso de conhecimento dos GPTs

• Ao anexar arquivos a um GPT, ele tenta responder perguntas usando esses arquivos.
• Parece ser uma implementação de Retrieval Augmented Generation (RAG).
• Como a OpenAI não compartilha muitos detalhes sobre esse recurso, os usuários têm dificuldade para utilizá-lo de forma eficaz.

O modelo de pagamento dos GPTs

• Os GPTs só podem ser usados por assinantes do ChatGPT Plus, que custa US$ 20 por mês, o que limita sua distribuição.
• Isso permite publicar projetos baseados na plataforma da OpenAI sem que o usuário precise fornecer sua própria chave de API.

A importância da segurança e da divulgação de prompts

• Se o usuário se esforçar o suficiente, os documentos e prompts adicionados a um GPT podem vazar.
• É melhor partir do pressuposto de que os prompts vão vazar e, em vez disso, torná-los públicos.

Expectativas futuras para os GPTs

• Espera-se melhorias como documentação melhor para o recurso de conhecimento, acesso por API, formas de disponibilizar GPTs para não assinantes e definição de limites de orçamento.

Opinião do GN⁺

O ponto mais importante deste texto é a exploração dos novos recursos e possibilidades dos GPTs, um tema interessante para quem trabalha com engenharia de software e inteligência artificial. A capacidade de criar seu próprio GPT e interagir com outros usuários apresenta uma nova forma de construir interfaces conversacionais personalizadas. Além disso, mostra o potencial de melhorar a experiência do usuário ao integrar recursos como execução de código, busca em documentos e geração de imagens.

[GN⁺]

Opiniões do Hacker News

• Como usuário de GPT, percebi que não quero usar um GPT se não puder ver o prompt. Não quero usar um ChatGPT em que um estranho possa injetar comportamentos esquisitos sem que eu saiba.
  • Gostaria que a OpenAI adicionasse uma opção de "ver código-fonte" aos GPTs. Acho que isso deveria vir ativado por padrão, mas consigo imaginar que essa possa ser uma decisão impopular.
• Tenho tendência a evitar chatbots baseados em GPT. Não quero ser sutilmente manipulado por instruções personalizadas que desconheço.
  • Adicionar uma opção de "ver código-fonte" faria esse recurso passar de "mais ou menos" para "vale a pena pagar".
  • Tenho passado a maior parte do tempo usando o Kagi e estou pensando em cancelar o GPT Plus, mas essa mudança me faria manter a assinatura.
• Como descubro os novos recursos da OpenAI:
  1. Passo os olhos por manchetes no Twitter anunciando algo novo com grande alarde
  2. Recebo um número avassalador de tweets de influenciadores do Twitter sobre isso
  3. Ignoro e espero até que simonw explique
  4. Leio um post de blog em que simonw já testou o recurso de várias formas e escreveu uma explicação e crítica claras. Tudo faz sentido imediatamente.
• É verdade que isso é "apenas o ChatGPT com um prompt prévio".
  • Também é verdade que é "apenas Custom Instructions com uma boa UI".
  • Mas nunca subestime o impacto transformador de uma "boa UI". O GPT-3 estava disponível há anos, mas quase ninguém sabia ou se importava até criarem uma boa UI.
  • Isso parece um "pequeno ajuste" de usabilidade, mas tem um impacto em nível de "salto quântico" semelhante.
• Algumas pessoas me perguntam com frequência minha opinião sobre GPT/IA. Eu pergunto se elas já usaram. "Não." "Você sabe que é grátis?" "Sim." Essa atitude é difícil de entender. É medo do desconhecido? Preguiça? Necessidade de prova social antes de experimentar algo?
• Não consigo ver os prompts da OpenAI, e provavelmente os autores também não, mas ainda assim quero usar os GPTs da OpenAI.
  • Há um salto de fé considerável aqui. Fico me perguntando se a OpenAI tem algum roadmap concreto para confiabilidade ou consistência.
• Tenho o prompt completo do Custom GPT Builder: [link do GitHub fornecido]
• Agradeço ao simonw por documentar tudo isso em tempo real e por criar ferramentas fáceis de entender e acessíveis (como a linha de comando llm).
  • Eu achava que a Search API estava falhando por não fornecer citações adequadas, então é bom saber que não sou o único.
• Quero saber mais sobre como a OpenAI implementou o recurso de "base de conhecimento" com RAG. Mas faltam detalhes.
  • Consegui fazer upload de todo o texto de grugbrain.dev e conversar com um grug brain muito razoável: [link de chat da OpenAI fornecido]
• Recentemente estou criando o "synbiogpt" e foi aí que percebi os limites dos custom GPTs.
  • Dados de sequência biológica costumam ser muito longos. Os dados em arquivos funcionam bem, mas quando preciso interagir com APIs para recursos avançados, como otimização de códons, tenho de enviar esses dados pela rede. Aí a janela de contexto da chamada de API fica lotada com os dados da sequência e falha.
  • Não é possível injetar dependências. Às vezes o GPT tenta fazer sua própria implementação, mas frequentemente erra.
  • Quando o GPT-4 acha que sabe do que está falando, a Search API muitas vezes não consegue nem abrir o arquivo. Ao falar de partes de genes, quero ser muito específico sobre certas partes da minha biblioteca, e não sobre as partes que o GPT-4 imagina.
  • Resolvi a maior parte dos problemas criando meu próprio ambiente de scripting em lua (as funções biológicas estão em golang, e uso gopher-lua para rodar o ambiente lua). Eu injeto exemplos de lua mostrando como usar os recursos de scripting e a minha pequena biblioteca atual de partes de genes, e peço que ele gere um lua para executar uma tarefa específica sobre o arquivo fornecido. O GPT-4 não vê o arquivo de forma alguma, e meu app interno em golang executa o lua roteirizado. Esse método funciona muito bem e é bem mais rápido que um custom GPT.
  • No momento, o maior problema é a parte de frontend. Quero um clone open source do ChatGPT em que eu possa extrair os arquivos anexados e modificar a entrada inicial do usuário. Até agora não encontrei uma boa opção.
• Sobre como obter melhores resultados usando RAG.
  • Tive algum sucesso com isso.
  • Uso a Assistant API, que acredito não ser a mesma coisa que GPT. Também testei isso pela interface web.
  • Tenho mais de 100 arquivos PDF processados com OCR pelo Tesseract. Depois pedi ao ChatGPT que escrevesse um script para combinar todos os arquivos em um único arquivo txt, preservando o layout.
  • Fiz upload do arquivo e comecei a fazer perguntas. O arquivo contém dados muito técnicos sobre regulamentações de construção em um idioma que não é inglês, então o modelo provavelmente não está acostumado com esse tipo de linguagem.
  • Mesmo assim, os resultados foram surpreendentemente bons. Foi possível responder às perguntas, e as respostas foram boas. Eu precisava anotar de onde as respostas vinham, mas isso não funcionou direito.
  • Testei fazer upload de PDFs, arquivos JSON, CSV etc. Até agora, texto bruto é o que funciona melhor.
• A observação sobre o recurso de RAG de "conhecimento" é interessante.
  • Pelas conversas e experiências, as pessoas descobriram que a busca via RAG é muito específica para o negócio e o modelo de dados. Não existe solução única para tudo aqui. Isso é diferente de gerar SQL com base no schema em um CMS, e também é diferente de navegar por um catálogo de e-commerce.
  • Basicamente, é um problema relacionado a busca. Na prática, é ainda mais difícil. Esses problemas são notoriamente difíceis.