Projeto Warrior do ArchiveTeam

 (warrior.archiveteam.org)
1 pontos por GN⁺ 2024-08-04 | 1 comentários | Compartilhar no WhatsApp
  • ArchiveTeam Warrior é uma ferramenta virtual de arquivamento que permite participar dos trabalhos do ArchiveTeam para preservar dados da web que podem desaparecer, usando os recursos ociosos de computadores pessoais
  • O Warrior baixa sites e os envia para o arquivo do ArchiveTeam; os usuários fornecem principalmente largura de banda e algum espaço em disco
  • Pode ser executado em Windows, OS X e Linux; o ambiente recomendado é o VirtualBox, mas também é possível usar VMware ou programas semelhantes de máquina virtual
  • No VirtualBox, importe o appliance, inicie a máquina virtual e então configure, pelo navegador, o nome de usuário e o projeto do qual deseja participar
  • O appliance de máquina virtual mais recente é a version 4.1, e também é possível executar projetos com uma instância do Docker warrior em vez de uma VM

O que o ArchiveTeam Warrior faz

  • ArchiveTeam Warrior é uma ferramenta baseada em máquina virtual para participar dos trabalhos de arquivamento da web do ArchiveTeam
    • Baixa dados de sites e os envia para o arquivo do ArchiveTeam
    • O processo de execução foi configurado para facilitar a participação
  • O Warrior funciona como uma máquina virtual, e o usuário fornece largura de banda e algum espaço em disco
  • O ambiente de execução é compatível com Windows, OS X e Linux
    • VirtualBox é recomendado
    • VMware ou programas semelhantes também podem ser usados

Instalação e processo de participação

  • Começando com o VirtualBox

    • Baixe o arquivo appliance
    • No VirtualBox, selecione File > Import Appliance para abrir o arquivo
    • Ao iniciar a máquina virtual, ela buscará as atualizações mais recentes e, depois, exibirá uma orientação para abrir um navegador web

  • Configuração do Warrior

    • Acesse http://localhost:8001/ e confira a página Settings
    • Ao escolher um nome de usuário, o progresso aparecerá no leaderboard
    • Na aba All projects, escolha um projeto para trabalhar ou selecione ArchiveTeam’s Choice para que o projeto mais urgente seja atribuído automaticamente

  • Versão mais recente e alternativa com Docker

    • O appliance de máquina virtual do Warrior foi atualizado para a version 4.1, e o link antigo do appliance warrior3 está desatualizado
    • Também é possível executar projetos com uma instância do Docker warrior sem usar o appliance de VM; para detalhes, consulte o README no GitHub repository
    • Problemas e feedback são tratados no canal #warrior da hackint
    • Você pode ler as Frequently Asked Questions

Apoio ao ArchiveTeam e ao Internet Archive

  • O Internet Archive hospeda os arquivos do ArchiveTeam e, além de armazenar os dados, mantém uma biblioteca acessível gratuitamente por qualquer pessoa
    • Doações podem ser feitas em Donate to the Internet Archive
    • Para aluguel de servidores para ArchiveBot, servidores rsync etc., ou doações a membros do ArchiveTeam, consulte as salas de IRC apropriadas

Projetos disponíveis para participação

  • Os projetos atuais incluem URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange e Periscope
    • O projeto YouTube arquiva vídeos selecionados do YouTube e traz um aviso de que o endereço IP é armazenado nas URLs dos vídeos
    • O projeto GitHub é conduzido em cooperação com o Internet Archive e o GitHub
    • O projeto Periscope está em estado PAUSED

Leituras relacionadas

1 comentários

 
GN⁺ 2024-08-04
Opiniões no Hacker News

  • Projetos assim são indispensáveis, mas é preciso ir além do simples arquivamento e encontrar formas de tornar esses dados realmente utilizáveis pelo público
    Acho que o Reddit talvez não tenha visto como ameaça o fato de alguém raspar os dados e criar um backup difícil de acessar, mas teria ficado muito mais assustado se uma rede distribuída de nós rodando cópias parciais do Reddit fornecesse dados a clientes local-first ou a mirrors do Lemmy

    • A maioria dos projetos cria arquivos WARC, agrupa tudo e faz upload para o archive.org, para que entrem no Wayback Machine: https://web.archive.org/
      Como observação, o Archive Team é separado do Internet Archive
    • O Reddit detestava bastante os serviços que espelhavam e disponibilizavam publicamente seus dados e, no fim, mudou os termos de uso da API para forçar esses serviços a apagar os dados e fechar
    • Não sei bem se ameaçar empresas que podem mudar a API a qualquer momento é uma vantagem aqui
      Basta ver PushShift, Nitter e Youtube Vanced
    • Dá para sonhar com uma internet P2P temporária, offline-first, que torne o BGP obsoleto e use, via DHT/máquinas virtuais, uma memória de endereçamento de conteúdo/execução compartilhada e memoizada globalmente
      A identidade de algo passaria a ser a própria composição desse algo

  • Posts relacionados:
    ArchiveTeam Warrior: arquivando o máximo possível do imgur - https://news.ycombinator.com/item?id=35983510 - maio de 2023, 2 comentários
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - março de 2022, 51 comentários
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - dezembro de 2021, 71 comentários

  • Pensei que isso daria para rodar com Docker, fui procurar o repositório e, felizmente, já estava tudo pronto
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • A configuração é muito fácil
    Agora que meu plano de internet ficou ilimitado, foi bom poder contribuir, ainda que de uma forma pequena
    Tentei ver se dava para rodar os scripts do ArchiveTeam Warrior em um celular Android parado, mas não há suporte direto, e estava além das minhas habilidades

    • Em uma máquina x86, rodar como contêiner docker compose foi realmente simples
      Gostaria de ter tempo para descobrir como configurar isso dentro do QEMU em um Raspberry Pi; se um arquivo compose desses fosse publicado, acho que mais gente poderia usar

  • Alguns meses atrás, projetei um sistema para permitir que as pessoas contribuíssem com espaço em disco para serviços como o archive.org
    Você diria “quero hospedar 100 GB de conteúdo do archive.org”, e o sistema se comunicaria com o archive.org para encontrar o conteúdo atualmente mais raro e empurrá-lo para o usuário
    Também haveria uma função de busca para encontrar “quero receber o conteúdo X nesta rede”
    É mais ou menos uma camada fina sobre torrent, mas hoje não existe algo assim e, quando entrei em contato com pessoas ligadas a arquivos, não houve muito interesse

    • O IPFS não era originalmente para fazer esse papel?
    • O Archive Team tinha, na prática, um projeto descontinuado chamado INTERNETARCHIVE.BAK, que era essa mesma ideia
      Só que, ao usar essa ferramenta, você estaria infringindo a lei por violação de direitos autorais
    • O libgen tem um tracker desse tipo para livros: https://phillm.net/libgen-seeds-needed.php
      No momento, parece estar quebrado
    • Seria bom se uma das moedas de arquivos tivesse resolvido isso
      Bastaria hospedar blocos de dados pagando por um período fixo e por um número fixo de downloads
    • É uma ideia realmente boa; fico curioso por que não a adotaram
      Eles disseram o motivo?

  • Para contribuir com a preservação digital, vale considerar rodar o appliance Warrior ou um contêiner Docker

  • Não entendo bem a vantagem de as pessoas baixarem sites e depois fazerem upload usando a configuração de arquivamento preparada pelo Archive Team
    O que isso tem de melhor do que o próprio Archive Team baixar o site diretamente e colocá-lo em seu arquivo?

    • A) Exige menos recursos do lado do Archive Team
      B) Talvez mais importante: as requisições passam a vir distribuídas de vários lugares, reduzindo a chance de sofrer rate limiting ou bloqueio
    • O Archive Team não é o Internet Archive
      Antes de empurrar para o archive.org, é preciso ter algum lugar para baixar tudo primeiro

  • Fico curioso sobre como este projeto impede que eu, como atacante, insira dados aleatórios lixo ou altere incorretamente, de uma forma específica, as páginas baixadas
    Em HTTP isso parece impossível; em HTTPS, quem faz a terminação TLS?
    Se o Warrior for apenas um proxy TCP e o Archive for o cliente TLS, pode ser seguro, mas em https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior essa parte não parece estar explicada com clareza

    • Não impede, mas na prática isso não é um problema
      O objetivo é obter o máximo de dados possível no menor tempo possível antes que o site saia do ar
      Considera-se melhor ter 1% de dados lixo misturados do que perder 30% da eficiência de arquivamento por paranoia
      No caso de HTTPS, o Warrior literalmente executa o wget para salvar em um arquivo WARC e envia esse arquivo para o servidor de rastreamento

  • Quero contribuir com um Raspberry Pi, mas a falta de suporte a ARM é meio inconveniente
    Eu queria simplesmente baixar o contêiner, executá-lo e pronto, mas não há uma solução alternativa fácil: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • Ao compilar o wget-at para ARM, há alguns problemas de consistência
      Ainda assim, é possível executá-lo sob emulação em modo de usuário do QEMU, e alguns hosts de fato o usam assim

  • Lendo o README, havia a seguinte orientação
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    Aqui há um README com o link para o código-fonte da nova versão: https://github.com/ArchiveTeam/warrior4-vm
    Essa nova versão também é mencionada na página inicial da wiki
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    O ArchiveTeam precisa atualizar a URL de download do appliance