HN divulgado: Construindo uma interface de usuário não linear para o ChatGPT

Introdução ao Grafychat

• Grafychat é um notebook visual baseado em canvas e voltado para privacidade para o ChatGPT e outras IAs conversacionais
• Funciona com OpenAI, Google AI e modelos locais do Ollama
• Você pode importar sua chave de API e começar a conversar

Principais recursos do Grafychat

Canvas infinito

• Permite organizar chats visualmente
• Você pode conectar os pontos para gerenciar conversas
• Pode criar quantos canvas precisar

Voltado para privacidade

• Tudo é armazenado no dispositivo do usuário
• Os dados só saem do dispositivo em solicitações para LLMs não locais
• Não é necessário cadastro nem conta

Controle dos resultados

• Permite aplicar instruções personalizadas com facilidade
• Você pode trocar de modelo em tempo real
• É possível ajustar os parâmetros do modelo

Busca poderosa

• Permite busca em texto completo em todos os dados
• Você pode filtrar com precisão
• É fácil navegar pelos resultados

Suporte de alto nível à OpenAI

• Suporta todos os modelos do ChatGPT, incluindo GPT-4
• Suporte a entrada de voz/ditado
• Suporte a geração de voz/narração
• Suporte a geração de imagens
• Não é necessária uma assinatura ativa do ChatGPT
• Você pode usar sua própria chave de API da OpenAI

Modelos locais gratuitos

• Suporte ao Ollama (Mac, Windows, Linux)
• Catálogo crescente de modelos open source
• Incluindo modelos poderosos como Llama 3
• Pode ser usado totalmente de graça
• Basta executar e configurar o app Ollama no seu dispositivo

Biblioteca de prompts personalizável

• Disponível em todo o app
• É fácil salvar, editar e reutilizar prompts

Cada chat é um editor Markdown

• Todos os chats podem ser editados
• Mantém os dados organizados
• É possível exportar em Markdown pelo Inspector

Visualização clássica de chat com Inspector

• Você pode iniciar ou continuar chats no Inspector
• Pode selecionar e inspecionar a conversa atual
• É possível exportar em Markdown

Aparência e estilo personalizáveis

• É possível adicionar cores ao fluxo
• Você pode mostrar/ocultar partes específicas
• Pode rotular partes da conversa

Suporte a vários provedores de IA

• OpenAI
• Google AI
• Ollama com Llama 3
• E a lista continua crescendo

BYOAK - traga sua própria chave de API

• Importação/exportação de dados em arquivo JSON
• Atalhos de teclado
• Suporte a destaque de código
• Fixar chats e adicionar tags de cor
• Plano de fundo personalizado
• Modo escuro
• E mais

Informações de preço e licença

• Você pode ter a licença com uma única compra
• Cada licença inclui 5 ativações e não tem data de expiração
• Standard ($39): remove todas as limitações e desbloqueia todos os recursos
• Extended ($59): todos os recursos do Standard + pacote self-hosted, app desktop em breve
• Premium ($79): todos os recursos do Extended + suporte premium, app desktop em breve

Resumo do FAQ

• Grafychat é um notebook visual baseado em canvas e voltado para privacidade para o ChatGPT e outras IAs conversacionais
• Não é um app por assinatura, e você pode ter a licença com uma única compra
• As 5 ativações significam que a chave de licença pode ser usada em 5 dispositivos diferentes
• Suporta vários provedores de chatbot, como OpenAI, Google AI e modelos locais do Ollama
• Não é necessário cadastro nem assinatura da OpenAI
• O app desktop ainda não foi lançado, mas está em desenvolvimento
• Grafychat.com não armazena dados do usuário
• A política de reembolso exige contato separado

Opinião do GN⁺

• O Grafychat parece ser uma ferramenta para gerenciar visualmente vários modelos de IA conversacional, como ChatGPT e GPT-4. Em especial, o fato de permitir organizar e conectar conversas em formato de canvas parece útil para estruturar diálogos de forma sistemática.
• Também é uma vantagem o foco em privacidade, com os dados do usuário armazenados no dispositivo e a inserção direta da chave de API. Ainda assim, é preciso ter em mente que, em solicitações para LLMs não locais, os dados são enviados para fora.
• Ele também oferece suporte ao Ollama, um modelo open source que pode ser usado gratuitamente, e inclui recursos que melhoram bastante a usabilidade, como a biblioteca de prompts para salvar e reutilizar prompts frequentes.
• Por outro lado, como o modelo é baseado em licença e não em assinatura, o preço pode pesar um pouco. Mesmo o plano Standard custa $39, o que não é um valor baixo. Embora tenha muitos recursos e atenção à privacidade, considerando que modelos open source podem ser usados de graça, a competitividade no preço ainda é discutível.
• Também vale considerar, na adoção, que ainda não existe app desktop e que o serviço funciona apenas via web, além de ser um serviço novo, o que deixa em aberto questões de estabilidade e continuidade futura.

[GN⁺]

Comentários do Hacker News

• Uma única linha de CSS no site faz meu notebook engasgar feio
  A causa é backdrop-filter: blur(0.1875rem), usado em modais, por exemplo no pop-up de vídeo do YouTube

  • Sou desenvolvedor front-end e, por esse motivo, nunca aplico esse efeito
    Mesmo em notebooks de alto desempenho, o consumo de energia é alto demais e a ventoinha começa a girar forte
  • Fico curioso por que o efeito de desfoque sempre consome tanta energia
    Não sei se não há como usar a GPU, ou se é um problema completamente diferente

• Há algum tempo pensei em uma interface parecida, sem recurso de arrastar, só com visualização em árvore
  Normalmente abordo temas paralelos na mesma conversa, mas depois edito uma mensagem anterior onde o desvio começou para que a IA não se confunda
  Só que a OpenAI descarta essa árvore de desvios, então seria bom mostrar a árvore dos temas paralelos explorados, sem precisar organizá-la manualmente

  • O ChatGPT não mantém a árvore inteira? Da última vez que vi, dava para alternar para frente e para trás a partir de um nó específico

• É uma abordagem interessante. Parece lidar com um fluxo de trabalho intermediário típico
  Mesmo que o resultado final prefira um formato linear, o trabalho real muitas vezes começa completando uma estrutura hierárquica
  Uso o Gingko https://gingkowriter.com/ há anos, e ele reduz o esforço de estruturar problemas ao permitir expansão infinita de níveis, mas ainda assim dobrar tudo facilmente em uma estrutura linear
  Nesse caso, fico curioso se ele mantém N contextos, tantos quanto o número de folhas da árvore, se os chats ficam separados entre si, e como se passa de uma tela infinita e não estruturada para um produto final organizado

  • Boa pergunta
    No fim, contexto é uma forma de agrupamento, então manter ou não tantos contextos quanto o número de folhas depende da situação
    Vejo a passagem de uma tela não estruturada para um resultado organizado como RAG combinado com comandos dentro do app, e estou trabalhando em uma solução local de RAG
    Ainda está em estágio inicial, mas é promissor; basicamente é um jeito de conversar com todos os seus dados e aplicar vários comandos sobre eles
  • Não sei por que seria necessário converter para um produto final organizado
    Como potencial usuário e alguém que já pensou em criar uma ferramenta parecida, a árvore, ou mais precisamente o próprio grafo direcionado, é o resultado final desejado
  • Fugindo um pouco do assunto, acho que havia um software standalone para Mac parecido com o Gingko
    Procurando, parece ser uma versão antiga do app desktop do Gingko, e ainda dá para baixar em https://github.com/gingko/client/releases
  • É difícil aceitar cobrança por assinatura em um software que deveria ficar totalmente dentro do meu computador

• Com o Obsidian e um plugin como https://github.com/AndreBaltazar8/obsidian-canvas-conversati..., dá para criar algo assim por conta própria facilmente

  • É parecido com quando substituí o Dropbox por alguns scripts e sftp
  • Mencionei mais plugins gratuitos para o Obsidian Canvas nos comentários abaixo: https://news.ycombinator.com/item?id=40301465
  • "Facilmente" vale para pessoas técnicas, não para usuários comuns

• Achei a demo interessante, mas imagino que eu me cansaria rápido de arrastar nós e procurar os nós que me interessam
  Fico curioso se há uma função de busca
  Seria mais interessante se a IA criasse a visualização em grafo como um agente, ou pelo menos sugerisse e destacasse perguntas de acompanhamento, com elas sendo organizadas automaticamente dentro do grafo

  • A busca é um dos meus recursos favoritos aqui. Experimente o atalho /
  • Pessoalmente, vejo valor em dedicar tempo para organizar e arrastar as coisas
    Talvez seja porque eu costumo pensar visualmente

• Meu único feedback é que produtos de IA de código fechado me parecem suspeitos, então acho que eu não compraria
  Ainda assim, agradeço e fico feliz por terem evitado a onda do modelo de assinatura
  Eu poderia pagar se fosse open source, de modo que eu pudesse ter certeza de que nenhuma telemetria é enviada, e vocês cobrassem pelo suporte
  Mas talvez eu seja um caso fora da curva, então leve isso com cautela
  A ideia é excelente e, com foco, parece algo cujo MVP daria para fazer em um ou dois dias de fim de semana
  Claro que os recursos sofisticados que pessoalmente não me interessam podem levar mais tempo para implementar

  • Uma opção de self-hosting poderia ser uma solução prática?
    https://www.grafychat.com/d/docs/selfhost
    Embora provavelmente seja necessário partir do pressuposto de que o código não está ofuscado
  • Seria bom haver uma metodologia tipo open-build para projetos que não querem abrir o código-fonte, mas estão dispostos a permitir as auditorias necessárias da build

• Seria bom se esse tipo de recurso existisse também nas UIs da OpenAI ou da Anthropic
  Na verdade, bastaria um simples "create a new chat from here"
  O produto é bacana e bem feito, mas o preço é um obstáculo para mim

  • Acabo comparando a decisão de comprar software com o preço do menu do drive-thru do McDonald's do bairro
  • Clientes de terceiros dão suporte a isso
    Por exemplo, gosto do recurso "Fork from this message" do MindMac
  • Editar uma pergunta anterior já cumpre esse objetivo muito bem
    A UI existente também mantém todas as versões anteriores como uma árvore de revisões

• A landing page é boa e explica o produto bem o bastante
  Eu já quis algo parecido antes, então também gosto desse conceito

• Na demo compartilhada, aparece a criação de um chat filho a partir do chat pai original
  Fico curioso se vocês também testaram conectar/mesclar dois chats filhos para criar o próximo chat filho, ou criar outro chat filho a partir de um chat filho anterior

  • Seria bom ter nós que carregassem uma pasta com arquivos JSON, TXT e CSV, passassem por eles um a um e reunissem os resultados em outra pasta
    Algo no formato de um pipeline de LLM ou editor de prompts

• Como recurso adicional que seria bom integrar a alguns front-ends, já criei um repositório chave-valor de localizar e substituir para ajudar a evitar vazamento de informações sensíveis
  Se eu pudesse substituir IPs, domínios e subdomínios por domínios fictícios como something.contoso.com em vez de enviar domínios internos ao ChatGPT, seria um recurso pelo qual valeria a pena pagar
  Já implementei isso em Python, mas é bem tosco porque é um recurso adicional acoplado a um front-end separado