Pipes - o sucessor espiritual do Yahoo Pipes

• Editor visual de programação/shell/ferramenta integrada especializado em feeds
• Fornece blocos (funções) para importar, gerar e manipular feeds RSS, Atom e JSON de várias formas
• Permite operações como filtragem, extração, mesclagem e ordenação
• Pode fazer scraping de documentos HTML e também processar arquivos de texto simples
• Ao conectar os blocos, os dados são processados como se fluíssem por um pipe
• Como resultado, um novo feed é gerado e pode ser usado por outros programas
• É possível definir um Pipe como público, adicionar descrição e tags, torná-lo pesquisável e compartilhá-lo externamente
  • Ele é listado em Public Pipes
  • Outros usuários podem curtir e fazer fork
• O formato de saída padrão é RSS
  • Cada pipe tem uma URL de saída única
  • Com a extensão .txt, é possível obter apenas o conteúdo sem os elementos XML
• Há uma versão open source chamada Pipes CE, sob licença AGPL
• Fornece blocos para obter dados de forma conveniente de vários sites
  • Sites atualmente suportados: Twitter, Vimeo, Dailymotion, Periscope, UStream, Mixcloud, SVT Play, Speedrun.com, Youtube

Opinião do GN⁺

• O Pipes facilita a manipulação visual de feeds, tornando-o acessível até para não desenvolvedores
• Oferece vários blocos, permitindo também manipulações complexas de feeds
• Como sucessor do Yahoo! Pipes, pode ser uma boa alternativa para usuários que sentem falta dele
• A versão open source, Pipes CE, permite contribuições e melhorias da comunidade
• Algumas funcionalidades podem ser limitadas devido a problemas com a API do Twitter

[savvykang]

O maior problema da programação visual é que ela oferece funcionalidades degradadas de linguagens de programação, enquanto a implantação é difícil e não há controle de mudanças. Recomenda-se cautela a quem pretende adotá-la.

[xguru]

Eu gostava tanto do Yahoo Pipes que usei por bastante tempo, e agora estou reencontrando ele assim.
Há 20 anos, cheguei a desenvolver como aplicativo desktop para Windows uma ferramenta de desenvolvimento CTI desse tipo, no estilo de conectar flows, então acho que já gostava dessa abordagem desde aquela época haha

n8n.io - motor de automação de workflows open source (substituto do Zapier)
Node-RED - ferramenta de programação low-code

[GN⁺]

Comentários no Hacker News

• Explicação sobre o projeto e atualizações internas recentes

  • Foi tentada uma reestruturação interna para resolver a instabilidade do Pipes
  • O método em que os dados eram transmitidos entre blocos como texto foi alterado para transmissão direta como objetos RSS
  • Os problemas foram resolvidos com upgrades no servidor e reconfiguração de threads e workers do Puma
  • Foi tentada a separação entre o frontend web e o processamento dos pipes, mas isso falhou em produção

• Entrevista com a equipe original do Yahoo Pipes e criação de um mini site

  • A história do Yahoo Pipes foi escrita com base em entrevistas com a equipe original
  • O mini site inclui easter eggs e fotos da equipe de 2007

• Experiência de uso do Palantir Foundry e do PipelineBuilder

  • No início havia ceticismo em relação a ferramentas low-code/no-code, mas após portar código Python elas atenderam 99% das necessidades de transformação
  • Mantêm uma semântica que é mais fácil de entender e dar manutenção do que código

• Links relacionados fornecidos

  • Link para um artigo sobre a arquitetura e o software do Pipes
  • Link para um artigo sobre um sucessor em estágio inicial do Yahoo Pipes

• Introdução ao n8n e ao NodeRED

  • O n8n é uma ferramenta semelhante e pode ser auto-hospedado
  • O NodeRED é muito popular na área de automação residencial

• Inovação e saudade do Yahoo Pipes

  • O Yahoo Pipes era muito inovador na época, e o conceito de usar microdados e RSS era impressionante
  • É uma pena que o serviço tenha sido encerrado

• Experiência com Azure Logic Apps e frameworks semelhantes

  • Soluções projetadas, criadas e implementadas por não programadores frequentemente enfrentam limitações em ambientes de produção
  • Esses frameworks muitas vezes acabam evoluindo para dívida técnica
  • Ainda assim, esse tipo de solução pode ter seus próprios pontos fortes

• Pergunta sobre o Zapier e ferramentas semelhantes

  • Pergunta se ferramentas semelhantes ao Zapier podem ser consideradas sucessoras espirituais do Yahoo Pipes

• Evolução das ferramentas de programação visual

  • Está sendo desenvolvida uma ferramenta para criar APIs, tarefas de backend e workflows de IA para desenvolvedores low-code/no-code

• Forma geral da programação visual

  • A programação visual é um estilo único composto por caixas que processam e linhas que conectam essas caixas