Ghostwriter usando o reMarkable 2 como interface para vision-LLMs

• Experimento que reconhece a escrita à mão no reMarkable 2, reage a gestos ou ao conteúdo da tela e volta a escrever na própria tela
  • Projeto que explora a interação entre escrita à mão e a tela

Configuração/instalação

• É necessário definir variáveis de ambiente como OPENAI_API_KEY.
• É preciso instalar e executar o binário no reMarkable.

Como usar

• É necessário iniciar o ghostwriter no reMarkable.
• Você pode desenhar na tela e tocar no canto superior direito para ativar funções auxiliares.
• Durante o processamento, pontos são desenhados, e você pode ver respostas digitadas ou desenhadas.

Status / diário

• 2024-10-06: Prova de conceito básica concluída. A funcionalidade de redesenhar na tela não está funcionando bem.
• 2024-10-07: Implementação de gestos básicos e indicador de estado.
• 2024-10-10: Início da configuração do teclado virtual.
• 2024-10-20: Introdução da saída de texto e de outros modos.
• 2024-10-21: Conclusão do build de release do binário.
• 2024-10-23: Refatoração de código e plano de testar novos modelos da Anthropic.
• 2024-11-02: Transição para oferta de ferramentas.
• 2024-11-07: Adição de Claude/Anthropic.
• 2024-11-22: Início do esboço de um sistema de avaliação.
• 2024-12-02: Adição de uma etapa básica de segmentação de imagem.
• 2024-12-15: Integração do motor.
• 2024-12-18: Resolução de problemas de upgrade do sistema.
• 2024-12-19: Tentativa de modo VLM em rede local.
• 2024-12-22: Início da construção do sistema de avaliação.
• 2024-12-25: Simplificação e expansão da CLI.
• 2024-12-28: Melhoria da usabilidade.

Ideias

• Acionar solicitações por gesto ou conteúdo.
• Enviar capturas de tela para um modelo de visão e exibir o resultado na tela.
• Possibilidade de enviar eventos de teclado.
• Construção de um sistema básico de avaliação.
• Desenvolvimento de uma biblioteca de prompts.
• Automação da configuração inicial.
• Adição de funcionalidade de geração de diagramas.
• Adição de funcionalidade de consulta e envio de informações externas.
• Implementação de modo de conversa.
• Tentativa de uso de VLM local em rede.

Materiais de referência

• Uso de recursos do Awesome reMarkable.
• Aplicação da tecnologia de captura de tela do reSnap.
• Inspiração em desenho de tela do rmkit lamp.
• Conversão de SVG para png com o resvg.
• Criação de dispositivo de entrada de teclado com o rM-input-devices.
• Descoberta do processo OCR→OpenAI→PDF→Device no reMarkableAI.
• O rMAI usa o replicate como serviço de API de modelos em um app separado.
• Crazy Cow é uma ferramenta que converte texto em traços de caneta.

[GN⁺]

Comentários no Hacker News

• Sou o autor do projeto. O projeto continua em andamento, e a maior percepção é a limitação de consciência espacial dos modelos visuais

  • É possível ver exemplos básicos de avaliação em https://github.com/awwaiid/ghostwriter/blob/main/evaluation_results/2024-12-29_21-05-47/results.md
  • O próximo objetivo é continuar construindo e extraindo isso como um framework/ferramenta de agente em yaml+shellscript
  • Também é continuar explorando pré-segmentação ou outros métodos para percepção espacial
  • E escrever um backend reSvg que envie traços reais de caneta em vez de muitos pontos

• Muito legal. É bom ver gente hackeando apps para o tablet reMarkable

  • Eu também fiz um pequeno app para o reMarkable e compartilhei aqui há pouco tempo: https://digest.ferrucc.io/

• Queria que o tablet reMarkable não fosse tão fechado

  • É um dos meus hardwares favoritos, e eu gostaria que tivesse mais apps

• Legal demais

  • Faz meses que eu queria tentar implementar isso. Muito bem feito

• Muito legal. Vou tentar neste fim de semana

  • Eu estava brincando com a ideia de enviar PDFs por e-mail e repassar para um LLM para criar tarefas automaticamente quando eu escrevesse afazeres
  • Este projeto abre um caminho melhor para atingir esse objetivo em tempo real

• Para leitores de documentos PDF, fico curioso se o tamanho de 11 polegadas do reMarkable é suficiente

  • Eu tenho a versão de 2ª geração do Sony DPT de 13 polegadas, e a experiência de visualização é perfeita
  • Mas projetos como este continuam me puxando para os produtos da reMarkable

• Adoro este projeto. Existem modelos de difusão vetorial; se o modelo decidir desenhar algo, que tal terceirizar isso por meio de uma chamada de ferramenta?

  • Aí seria possível especificar o intervalo de coordenadas e o prompt

• Este caso de uso que combina entrada manuscrita com LLM é excelente

  • Fico curioso sobre o quão bem ele lida com caligrafia bagunçada e se um ajuste fino com anotações pessoais poderia melhorar o reconhecimento ao longo do tempo

• Eu tenho um tablet boox (um tablet Android completo com tela eink), e algo assim seria perfeito

  • Fico curioso se, daqui a 5 anos, o hardware móvel conseguirá suportar isso localmente

• E este projeto em um leitor de e-books Onyx Boox baseado em Android?

  • Será que seria possível?