MemoryCache: projeto da Mozilla para fortalecer a IA local baseada no navegador
(future.mozilla.org)- O texto fornecido é o conteúdo da página inicial do Mozilla New Products e não inclui o texto de apresentação do MemoryCache citado no título do Hacker News
- O Mozilla New Products é um espaço para descobrir, testar e explorar novos produtos, além de convidar usuários a participar da formação da próxima geração de tecnologia
- Os produtos atualmente visíveis são Solo para criação de sites, 0din para bug bounty de segurança em IA e Tabstack, uma API de execução na web e transformação de dados para sistemas de IA
- A newsletter oferece acesso antecipado aos produtos e recursos mais recentes da Mozilla, além de caminhos para acompanhar atualizações e compartilhar feedback
- Apenas com este texto, não é possível confirmar a estrutura do MemoryCache, como ele fortalece a IA local baseada no navegador, seu modo de uso ou suas limitações
O texto fornecido é a página inicial do Mozilla New Products
- O Mozilla New Products é apresentado como um espaço para descobrir, testar e explorar produtos inovadores que ajudam a aumentar a produtividade, expandir negócios e criar produtos
- A Mozilla afirma criar soluções centradas nas pessoas e convida usuários a participar dos testes de novos produtos para ajudar a moldar a próxima geração de tecnologia
- Defende a direção de que o futuro da internet deve ser aberto, acessível e com privacidade em primeiro lugar
Produtos confirmados e formas de participação
- Solo: produto para criar um site gratuito e conectar um domínio personalizado
- 0din: programa de bug bounty de segurança em IA para encontrar vulnerabilidades em modelos LLM e receber recompensas
- Tabstack: API de execução na web e transformação de dados que ajuda sistemas de IA a ler a web e operar com confiabilidade
- Voltado a desenvolvedores que criam agentes de IA, ferramentas de pesquisa, pipelines de dados e fluxos de trabalho autônomos
- A newsletter do Mozilla New Products oferece acesso antecipado, acompanhamento de atualizações e compartilhamento de feedback sobre os produtos e recursos mais recentes
- O texto fornecido não traz explicações sobre o MemoryCache, então não é possível confirmar detalhes de funcionalidade ou implementação
2 comentários
Tudo bem, mas eu realmente espero que parem de tentar transformar o navegador numa espécie de loja de quinquilharias.
Devia haver alguma lição aprendida com as antigas internet suites.
Navegador é navegador. IA é IA. Basta executar separadamente quando for necessário.
Opiniões no Hacker News
Em vez de os dados irem até o modelo, o modelo deve vir até os dados locais, e os dados devem permanecer localmente
Há muitos projetos open source que carregam dados pessoais, mas eles não lidam bem com imagens ou vídeos. No futuro, talvez cada pessoa tenha seu próprio modelo, mas, por enquanto, embora a tecnologia exista, faltam produtos ou projetos open source que permitam a todos ter facilmente seu próprio QLORA, RAG ou sumarizador
Não são só mensagens e documentos; o que lemos, escrevemos e pensamos também faz parte de quem somos. O histórico de navegação diz muito sobre o que lemos, mas quase não é usado além do que o Google aproveita para anúncios. Deveríamos conseguir juntar os sites de notícias que vemos todos os dias, redes sociais e vídeos do YouTube e receber algo como: “o resumo de hoje destes 3 lugares é este”
Ontem, enquanto assistia a https://www.youtube.com/watch?v=zHLCKpmBeKA, fiquei pensando por que, quase 30 anos depois, ainda não temos um assistente de computador que se antecipe a nós
O LLaVA é um grande modelo de linguagem com recursos multimodais de imagem e roda muito bem até no meu notebook: https://simonwillison.net/2023/Nov/29/llamafile/
Modelos como o Salesforce BLIP também podem ser usados para gerar legendas de imagens, e criei até uma pequena ferramenta CLI para isso: https://github.com/simonw/blip-caption
Reunimos dados sobre o usuário — ou seja, informações vindas do computador e da internet — em um banco de dados local e fazemos o modelo aprender a usá-los. O modelo pode ser local ou baseado em nuvem, e as solicitações podem ser roteadas de acordo com a sensibilidade dos dados ou os recursos necessários
Se isso parece interessante, também estamos contratando
Uma boa parte das minhas buscas é para reencontrar algo que já vi antes, mas muitas vezes fico travado porque a página sumiu, ficou mal ranqueada nos mecanismos de busca ou foi soterrada pela otimização de busca, como documentos antigos que usam apenas HTTP
Concordo que o modelo precisa vir até os nossos dados. Se uma inteligência como a do Copilot rodasse totalmente dentro do dispositivo e pudesse varrer rastros pessoais como mensagens, histórico de navegação e conteúdo de páginas da web, isso seria um divisor de águas
As consultas de busca do Bing Chat parecem estar no nível de algo que um tio, depois de ouvir uma explicação apressada sobre o que é um mecanismo de busca, digitaria. Ele deveria usar operadores avançados como
site:efiletype:, ou no mínimo parênteses e AND/ORSeria possível fazer fine-tuning para imitar o processo de busca de excelentes pesquisadores, assistentes jurídicos e adolescentes no espectro autista que checam instantaneamente as histórias do avô sobre Ellis Island e encontram registros de chegada e provas de naturalização em Chicago
É uma boa ideia. A Mozilla recebe, com razão, muitas críticas pela má condução do Firefox e por sermões políticos, mas ainda acho que ela tem capacidade de criar tecnologia amigável ao usuário que preserve a privacidade
Uso com frequência o tradutor offline integrado ao Firefox, e parece mágica. Eu não imaginava que algo assim pudesse rodar localmente sem hardware de nível de fazenda de servidores
Espero que este experimento siga o mesmo caminho
Para a forma como uso o navegador, isso não se encaixa muito bem. Não quero “conversar” com meu histórico de navegação; eu só gostaria que o navegador pudesse indexar o conteúdo dos favoritos no sistema operacional para que eu pudesse buscar o conteúdo real das páginas
Acho que o loop de feedback que se obtém com o ChatGPT sempre será muito melhor do que com equivalentes locais de GPT
Mas costumo salvar nos favoritos páginas com informações importantes que pretendo revisitar duas ou mais vezes. Então comecei a criar uma solução que rastreia os favoritos no armazenamento local do navegador, baixa essas páginas e as adiciona ao índice de busca do sistema operacional
É uma coceira que venho tentando coçar há anos
Pessoalmente, eu já ficaria satisfeito se os navegadores simplesmente parassem de esquecer o histórico. Tanto o Firefox quanto o Safari mantêm o histórico por tempo curto demais
Eu realmente gostaria que houvesse uma forma de “conversar” com o histórico de navegação e o conteúdo das páginas. Fico me perguntando se existe uma maneira de salvar automaticamente as páginas visitadas para processá-las depois
Procurei por isso há mais de 10 anos, mas não encontrei uma boa solução
Os favoritos tradicionais falharam porque a organização baseada na memória não escala. Esse tipo de interface é escalável e, se for bem feita, pode substituir completamente os favoritos.
Pensando bem, ela também poderia ser usada para todo o conjunto de arquivos locais, funcionando como uma versão melhor da antiga ideia de usar o “sistema de arquivos como um banco de dados”. Também se encaixa em bases de conhecimento específicas; por exemplo, algo como um Zotero baseado em grandes modelos de linguagem.
Se grandes modelos de linguagem conseguirem preencher RDF corretamente, e com memória e armazenamento muito maiores e mais rápidos do que hoje, talvez funcione
https://withorbit.com/
Parece que a Mozilla encontrou algo interessante
Em vez de trocar prompts com gigantes de tecnologia e deixá-los mais ricos a cada vez, é uma abordagem que usa modelos locais menores e respeita muito mais a privacidade
Com um modelo operacional desses, eu estaria disposto a contribuir com open source ou até mesmo financiar
Sinceramente, não sou grande fã da organização Mozilla, mas é difícil não torcer pelo azarão
Para quem tiver interesse, o repositório do PrivateGPT está aqui: https://github.com/imartinez/privateGPT
Parece que o site oficial não tem um link para ele
Atualização: procurando por conta própria, parece que no modo local ele usa llamacpp: https://github.com/imartinez/privateGPT/blob/main/private_gp...
Talvez por eu ter passado pela era do Firefox OS como ex-estagiário, isso me parece uma reentrada da Mozilla rumo a lançar novamente seu próprio sistema operacional
Diziam que a internet nasceu para conectar pessoas, mas colocar todos esses recursos sofisticados dentro do navegador não é o ideal
O Firefox OS era basicamente composto por um pequeno kernel Linux, Gecko e HTML5 para renderização. Assim como iOS e iPadOS, a Mozilla poderia oferecer um sistema operacional semelhante para dispositivos ou plataformas
Como ela também investiu em AR e VR nos últimos 5 anos, não me surpreenderia se acabasse apostando em outro Firefox OS
Será que a intenção era linkar para o repositório com fork?
https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... leva a https://github.com/misslivirose/Memory-Cache
O pretendido era https://github.com/Mozilla-Ocho/Memory-Cache?
Só pelo link compartilhado, quase não consegui entender o que isso queria dizer
Subindo um pouco mais no site oficial, encontrei que “MemoryCache é um projeto experimental de desenvolvimento para transformar o ambiente desktop local em um agente de IA no dispositivo”
Também há um post de novembro: Introducing Memory Cache
https://memorycache.ai/developer-blog/2023/11/06/introducing...