rem (Remember Everything) - código aberto que permite registrar e pesquisar tudo no Apple Silicon

• Grava todas as ações que acontecem na tela do computador (tira uma captura de tela a cada 2 segundos)
• Na visualização da linha do tempo, é possível navegar no tempo rolando para a esquerda/direita
  • Se o Live Text reconhecer texto, é possível selecioná-lo
• É possível pesquisar uma palavra específica para encontrar a tela, ver todo o conteúdo com OCR daquela tela ou enviar esse texto para o ChatGPT etc. para trabalho adicional
• Foi testado apenas no Apple Silicon, e a release também é exclusiva para Apple Silicon.
• Está em uma versão bem inicial: foi feito em poucos dias durante o feriado, e o autor é iniciante em Swift

Primeiros passos

• Faça o build você mesmo ou baixe a release e execute xattr -c rem.app para autorizar o app no macOS.
• Após abrir o app, clique em "Start Remembering" para conceder permissão de acesso a "Screen Recording".
• Abra a visualização da linha do tempo com "Open timeline" ou "Cmd + Scroll Up".
• Na linha do tempo, role para a esquerda ou direita para navegar no tempo.
• Clique em "Search" para abrir a visualização de busca e, na linha do tempo, clique em uma miniatura para ir até aquele momento.
• Na linha do tempo, ative o Live Text para poder selecionar texto.
• Clique em "Copy Recent Context" para copiar o que você viu recentemente como um prompt para interagir com um LLM.
• Clique em "Purge All Data" para apagar todos os dados.

Recursos atualmente suportados:

• Voltar ao passado (scrubber em tela cheia de tudo o que foi visto).
• Copiar texto do passado.
• Pesquisar tudo o que foi visto.
• Obter facilmente contexto recente para interação com LLMs.

Recursos que o autor quer adicionar:

• Busca em linguagem natural/interação com agentes por meio de atualização local de embeddings vetoriais.
• Explorar uma nova abordagem para banco de dados vetorial.
• Suporte a múltiplos monitores.

[GN⁺]

Comentários do Hacker News

• Resumo do primeiro comentário:

  • Essa ferramenta parece ótima. Isso me lembra de quando eu estava tentando liberar espaço em disco recentemente e encontrei uma gravação de tela de 9 horas de quase um ano atrás. Acho que deixei a gravação ligada por engano. Assistir tudo rapidamente, avançando pela linha do tempo, em poucos minutos foi uma experiência fascinante, como espiar meu processo de pensamento naquela época. Eu pude ver o processo de pesquisar algo online, e isso foi educativo e útil, como rever uma partida esportiva. Além disso, rever os detalhes daquele período fez diferença. Eu criei uma ferramenta chamada "DownloadNet" que arquiva offline todas as páginas visitadas e as indexa completamente. Também é possível configurá-la para arquivar apenas as páginas favoritadaas. A ferramenta é open source, então vale a pena conferir: link do GitHub do DownloadNet
  • Copiar texto de vídeos armazenados é impressionante.

• Resumo do segundo comentário:

  • No passado, eu usava um utilitário chamado TimeSnapper Classic para tirar capturas de tela em intervalos regulares. Mas as capturas começaram a encher o disco, e a maioria parecia quase idêntica. Pensei em criar um codec otimizado para sequências de imagens, e então percebi que estava reinventando um codec de GIF/vídeo. Então escrevi um script para adicionar timestamps às imagens com o ImageMagick e convertê-las em vídeo com o ffmpeg. Isso reduziu o tamanho dos arquivos em 99,9%.

• Resumo do terceiro comentário:

  • Há muito tempo, trabalhei em um projeto que tirava capturas de tela a cada poucos segundos e extraía informações automaticamente. Criei um PNG DB que dividia imagens PNG em vários blocos e armazenava cada bloco em um banco de dados. Blocos idênticos eram salvos apenas uma vez, e uma tabela hash permitia busca rápida. Com esse PNG DB, consegui uma taxa de compressão de cerca de 400-500%. link do GitHub do PNG DB No entanto, o script para analisar as capturas de tela acabou não sendo muito bem-sucedido. link do GitHub do screenshooting Essa experiência levou a outros projetos, nos quais eu armazenava de forma mais direta informações sobre os aplicativos em uso ou arquivos abertos. link do GitHub do timecapture

• Resumo do quarto comentário:

  • Você parece ser alguém que se importa com privacidade e segurança, então é interessante usar um navegador web de código fechado (Arc Browser).

• Resumo do quinto comentário:

  • Eu quero uma ferramenta assim que seja realmente multiplataforma e funcione localmente. Linux e Windows são essenciais, e ela precisa ser 100% offline, utilizável sem internet. Eu pagaria com gosto US$ 60 por ano por versão principal. Se adicionar uma licença open source permissiva, eu viro cliente para a vida toda. Talvez eu mesmo precise construir isso se outras pessoas também tiverem interesse.

• Resumo do sexto comentário:

  • Sobre "Remember Everything": eu uso a extensão de navegador "singleFile" para salvar uma cópia de todas as páginas web que vi no Chrome e no Firefox. Também uso o programa "AutomaticScreenshotter" para registrar atividades de tela que não são do navegador. Assim, consigo saber o que fiz no PC em qualquer data passada. Todos os arquivos são salvos em uma estrutura de diretórios ano/mês/dia. Atualmente, uso a busca do Windows para encontrar arquivos. Eu uso o "ditto" para salvar todas as operações de copiar e colar em um mysqldb. Uso essa estrutura de diretórios desde antes de 2010, e as extensões e capturas de tela começaram há cerca de 3-4 anos. Fico pensando se seria possível usar ou adaptar ferramentas forenses de investigação de PCs para ajudar a criar uma linha do tempo da atividade no computador.

• Resumo do sétimo comentário:

  • Será interessante ver como essas tecnologias serão usadas daqui a 5 ou 10 anos. É curioso que tenhamos os dispositivos de memória mais poderosos de todos os tempos, mas estejamos constantemente tentando não usá-los. Por outro lado, acho que essas ferramentas também podem prejudicar a criatividade. Você pode criar o hábito de depender delas em vez de lembrar por conta própria, e a criatividade é a capacidade de recombinar memórias do passado com coisas do futuro.

• Resumo do oitavo comentário:

  • A demo do OP é muito legal. Fico me perguntando por que isso é exclusivo para Apple Silicon. É por causa do suporte de ML superior em comparação com o Windows? É uma pena que o Olama não possa ser usado no Windows. Eu não tenho um notebook com Apple Silicon, só tenho um Apple Intel e um Windows potente, então não consigo testar isso. Como programador iniciante, ou sem a linguagem Swift, não tenho muita ideia de como construir algo assim do zero. Se eu fosse o OP, provavelmente faria muitos tutoriais de Swift primeiro. Fazer um clone disso em Java ou C# para Linux ou Windows parece um desejo distante, porque eu não tenho nenhuma experiência com ML, APIs DirectX ou APIs de desktop no Linux. Há muitas APIs e ferramentas com as quais eu precisaria me familiarizar antes de começar um projeto. Gostaria de saber como o OP conseguiu construir isso sem experiência em Swift, e se criar projetos em Apple Silicon é mais fácil. Tenho 4 anos de experiência e trabalho com APIs web e WinForms/DevExpress em Java e C#.

• Resumo do nono comentário:

  • Acho que isso também poderia ser usado como uma forma de se responsabilizar. Fico imaginando se seria fácil classificar capturas de tela em atividades "improdutivas" e "produtivas" (provavelmente seria possível com um modelo de ML). Gamificar as estatísticas também pode ser uma opção. Por exemplo, você poderia ver estatísticas como: nas últimas uma hora, 78% produtivo, 12% Hacker News, 10% inativo. Você poderia até tentar bater seus próprios recordes pessoais (por exemplo: ter 3 períodos de 100% produtividade em um dia provavelmente seria um ótimo dia!). Gostei do vídeo de demonstração. Em menos de 30 segundos, consegui entender o que a ferramenta faz. Obrigado! PPS: (bem secundário) o controlador de velocidade de vídeo (extensão do navegador) agora funciona com vídeos do Loom — alguns meses atrás não funcionava.

• Resumo do décimo comentário:

  • Há um possível cenário de pesadelo com esse tipo de tecnologia. Empregadores adorariam usar esse tipo de ferramenta para vigiar totalmente seus funcionários. Se isso for conectado a IA, seria possível monitorar em tempo real tudo o que todos estão fazendo e receber alertas.