3 pontos por GN⁺ 2023-12-16 | 1 comentários | Compartilhar no WhatsApp
  • Yahoo Pipes foi um serviço de programação visual baseado no navegador, criado em 2007 por uma pequena equipe do Yahoo, que permitia importar dados de RSS, JSON, CSV e páginas web, filtrar, combinar e processar esses dados, e publicá-los como novos feeds ou saídas de dados
  • Sem escrever código, conectando nós e linhas, e graças à estrutura de Pipes que podiam ser publicados, clonados e modificados, até não desenvolvedores podiam criar fluxos de dados por conta própria
  • A beta pública esperava algo em torno de 1.000 pessoas, mas atraiu centenas de milhares, e logo após o lançamento ocorreu uma sobrecarga em grande escala por causa de código Perl não otimizado e recursos de servidor limitados
  • O Pipes combinava tendências como Automator, RSS, AJAX, cultura de mashups, Yahoo Maps e YQL, mas, sem um modelo que vendesse volume garantido de chamadas nem uma missão de produto clara, acabou ficando focado em manutenção em meio às mudanças organizacionais do Yahoo
  • Mesmo após seu encerramento em 2015, deixou influência em ferramentas como Workflow/Shortcuts, Huginn e Node-RED, além das discussões sobre programação visual; hoje, porém, APIs pagas, restrições a scraping e incertezas de direitos autorais dificultam serviços abertos semelhantes de combinação de dados

O que o Yahoo Pipes tornou possível

  • Yahoo Pipes era um serviço hospedado na nuvem que permitia trazer várias fontes de dados da web para que o usuário filtrasse, combinasse e transformasse esses dados por conta própria
  • As tarefas que os usuários podiam criar iam de informações do dia a dia a filtragem de notícias
    • Verificar se os registros mais recentes de terremotos estavam perto do usuário
    • Reunir 100 sites de notícias e ver apenas os itens que mencionassem gatos
    • Extrair placares esportivos de sites sem feed RSS
    • Encontrar apartamentos no Craigslist e em outros anúncios de aluguel que atendessem a critérios de preço e proximidade de parques
    • Excluir assuntos sem interesse de veículos que o usuário já assinava
  • Cada Pipe era pessoal e ao mesmo tempo público, podendo ser copiado e modificado por outros usuários
  • A saída podia ser gerada como RSS, objetos JSON, HTML, KML, XML etc., e também podia ser incorporada em páginas web ou conectada a fluxos de processamento de dados de outros sites

Programação visual em nuvem criada por uma pequena equipe

  • Depois de voltar ao Yahoo em 2006, Pasha Sadri queria criar uma ferramenta para lidar com dados aproveitando as novas possibilidades de interação do navegador
  • O Pipes era um projeto de caráter skunkworks aprovado dentro do Yahoo, e a equipe principal tinha cerca de 5 pessoas, incluindo Sadri
    • Jonathan Trevor e Ed Ho cuidavam da programação
    • Daniel Raffel fazia o papel de gerente de produto
    • Kevin Cheng entrou no design alguns meses depois
  • Os usuários arrastavam e soltavam elementos no navegador e os conectavam com linhas para criar feeds de informação
  • As fontes de dados se expandiram para notícias, saídas de bancos de dados, posts de blogs, Atom, RDF, CSV, páginas web e outros formatos
  • Resultados com tags de localização podiam passar pelo filtro do Yahoo Maps e ser limitados por proximidade a uma região específica ou a elementos geográficos como parques

Publicação e clonagem como princípios de design

  • A equipe adotou como princípio central de design tornar todos os Pipes públicos e permitir que qualquer pessoa os copiasse e modificasse
  • Sadri via essa abertura como algo essencial para aumentar a acessibilidade a não desenvolvedores
  • Os usuários podiam aprender observando os Pipes de outras pessoas, e o compartilhamento de conhecimento fazia parte do próprio modo de usar o serviço
  • O nome Pipes veio do conceito de pipelines do Unix, em que a saída de um programa é passada para o próximo

Demanda explosiva e problemas de escala logo após o lançamento

  • O Pipes foi desenvolvido por cerca de 6 meses, de meados de 2006 ao início de 2007, e deveria ser lançado como uma beta pública discreta em fevereiro de 2007
  • A equipe esperava cerca de 1.000 usuários iniciais, mas centenas de milhares apareceram logo após o lançamento, e muitos nem conseguiram acessar
  • Servidores limitados e código não otimizado não deram conta de executar workflows de feeds de notícias e servir páginas, levando o sistema a uma sobrecarga completa
  • Um Pipe individual podia rodar até em computadores pessoais ou de trabalho da época, mas operar o serviço inteiro em grande escala na nuvem exigia recursos consideráveis de data center
  • A cada execução não armazenada em cache, um único Pipe podia baixar de dezenas a centenas de MB, e a largura de banda da época muitas vezes era insuficiente e cara
  • Sadri relembra que teve de passar os 6 meses seguintes expandindo o sistema já criado para acompanhar a demanda

O ambiente interno do Yahoo e a Brickhouse

  • Sadri trabalhou principalmente no Yahoo de 2000 a 2007; em 2005 foi para o Google e participou do Google Maps, depois voltou ao Yahoo em 2006
  • O Technology Development Group do Yahoo, ou TechDev, foi criado como uma organização para a cofundadora do Flickr, Caterina Fake, e ficava sob a Yahoo Advanced Development Division
  • O TechDev tinha o papel de testar novas direções que não estivessem presas ao negócio de buscas e atrair funcionários com perfil empreendedor
  • Fake recebeu de Jerry Yang a missão de tornar o Yahoo “como o Flickr” e passou a promover equipes pequenas e eficazes e a redução de barreiras organizacionais
  • O Pipes foi um dos primeiros projetos surgidos nesse movimento e depois passou para a Brickhouse, criada em San Francisco
  • A Brickhouse era vista como uma espécie de “última parada” para talentos criativos e inquietos que estavam prestes a deixar o Yahoo

As expectativas criadas pelo tamanho do Yahoo

  • O Yahoo obtinha a maior parte de sua receita com publicidade em buscas e sites licenciados de busca
  • Segundo Kent Brewster, na época do lançamento do Pipes, a página inicial do Yahoo registrava 1,2 bilhão de visitas por mês, e o conjunto de sites do Yahoo recebia mais de 1 bilhão de pageviews por dia
  • Depois que Brewster sugeriu um link para An Inconvenient Truth, de Al Gore, na página inicial do Yahoo, a exposição foi tão influente que Al Gore agradeceu pessoalmente em uma sessão perto da sede do Yahoo
  • Por trás do retorno de Sadri ao Yahoo estava a expectativa de que, embora o Yahoo não estivesse lançando projetos de sucesso tão rapidamente quanto o Google, ainda havia a possibilidade de surgir ali “a próxima grande coisa”

Do Automator a uma ferramenta baseada no navegador

  • O conceito gráfico do Pipes foi fortemente influenciado pelo Automator da Apple
  • O Automator era uma ferramenta do macOS que permitia aos usuários criar automações arrastando ações conectadas a apps ou ao sistema para um workflow linear
  • A Apple apresentou o Automator em 2004, com o objetivo de permitir que usuários comuns lidassem com tarefas que normalmente exigiriam habilidades de programação
  • O Pipes desenvolveu as ideias do Automator, mas rodava no navegador em vez de ser um app nativo
  • O Automator podia ter suas funcionalidades estendidas com várias linguagens e scripts disponíveis no Mac, mas, por ser um serviço hospedado na nuvem, o Pipes não permitia a execução de código arbitrário e oferecia apenas um conjunto limitado de funções
  • Na época, permitir execução de código arbitrário em um serviço de nuvem poderia consumir CPU em excesso e pressionar outros recursos

A dificuldade de implementar a UI no navegador

  • O núcleo do Pipes era uma UI de programação visual em que nós e conexões eram manipulados dentro do navegador sem escrever código
  • Depois que o Google Maps mostrou, em 2005, arrastar, zoom e atualização de mapas em tempo real, interações no navegador usando CSS, JavaScript e AJAX se tornaram uma base mais realista
  • Integrantes da equipe lembram que, antes do lançamento, a maior parte do tempo e do esforço foi investida em criar a estrutura de nós e linhas e representá-la como um ambiente de codificação visual
  • Na época, Firefox, Opera, Safari e Internet Explorer tinham níveis de suporte e comportamentos diferentes, e o Internet Explorer em especial tinha exigências próprias de codificação e HTML
  • Sadri via como uma das principais conquistas técnicas fazer caixas e curvas animadas funcionarem em vários navegadores

Mario Kart e as cores do Wii no design do produto

  • Depois do almoço, a equipe jogava Mario Kart todos os dias no Nintendo DS e, após as partidas, organizava ideias no quadro branco para continuar feedbacks e discussões
  • Raffel via a troca de feedback em um clima divertido durante o jogo como algo importante para o desenvolvimento do produto
  • As partidas repetidas de Mario Kart fizeram a equipe manter no radar combinações de cores vivas e de alto contraste no design do Pipes
  • Depois do lançamento do Nintendo Wii, em novembro de 2006, a equipe também foi influenciada pelo esquema de cores inicial do Wii e por seus tons suavemente iluminados
  • A interface Aqua da Apple e os iMacs coloridos também serviram de referência visual

O modelo de execução que tornava os fluxos de dados visíveis

  • No começo, o Pipes seguia fluxos lineares, mas depois evoluiu para uma estrutura mais dinâmica em que cada nó podia executar scripts e código na sequência do programa
  • Oferecia estruturas de controle como condicionais, loops, ramificações e combinações, além de envio de saída para serviços web externos, permitindo tarefas limitadas, mas próximas de uma linguagem de programação de propósito geral
  • Também usava coloração sintática de links, com linhas de controle em cinza e fluxos de dados em azul
  • A equipe via as planilhas como uma referência importante de modelo de programação para não desenvolvedores
    • Em planilhas, os dados são visíveis e os resultados são atualizados imediatamente quando entradas mudam
    • É possível identificar problemas na hora, sem compilação nem depuração baseada em logs
  • O Pipes oferecia pipelines de dados reativos que rodavam e exibiam resultados assim que os elementos eram conectados
  • Um depurador textual opcional na parte inferior da tela mostrava os resultados atuais item por item
  • Sadri disse que era muito difícil escrever um programa inválido no Pipes: bastava arrastar algo para a tela para que ele funcionasse imediatamente e gerasse uma saída

Implementação interna e dívida técnica

  • O Pipes foi desenvolvido com iterações rápidas, com funcionalidades, código e design sendo criados continuamente para uma data de lançamento indefinida
  • A equipe às vezes usava implementações de atalho, acreditando que, quando o projeto se tornasse um produto completo, eles mesmos ou outras pessoas poderiam arrumar tudo
  • Segundo Ed Ho, a base de código era escrita majoritariamente em Perl
  • Perl era amplamente usado para sistemas server-side e processamento de texto, mas não era suficiente para a escala de produção que o Pipes passou a exigir de fato
  • Trevor avaliou que o código Perl era muito ineficiente, não escalava bem e tinha um design voltado a uma prova de conceito rápida de v1

O elogio da O’Reilly e uma beta explosiva

  • No início de 2007, depois de meses de desenvolvimento sem um ponto final definido, a equipe recebeu de um gerente sênior a ordem de concluir o Pipes em 2 semanas
  • A equipe não sentia que estava a 2 semanas da conclusão, mas acabou lançando mesmo assim
  • Alguns dias antes do lançamento, Caterina Fake levou Sadri para mostrar uma demo a Tim O’Reilly
  • O’Reilly classificou o Pipes como um marco na história da internet e escreveu que ele democratizava a programação web e dava aos usuários mais controle sobre os serviços de informação da internet que consumiam
  • Esse elogio detonou o interesse, e Sadri relembra que fez todos os servidores derreterem
  • O uso não diminuiu durante todo o dia do lançamento, e a equipe de data centers do Yahoo colocou no Pipes servidores que seriam alocados para outros grupos
  • A equipe nem tinha preparado uma página de erro; depois da beta, uma das primeiras coisas que criou foi uma página com uma frase parecida com “our pipes are clogged”

Pipes rodando sem parar e a carga operacional

  • Depois do lançamento, a equipe começou a identificar os problemas que não havia finalizado no processo de lançamento acelerado
  • Quando um usuário criava um Pipe, ele continuava rodando sem um ponto de término separado
  • Não era necessário login nem pedido de atualização, e leitores RSS consultavam atualizações automaticamente
  • Raffel via que muitos trabalhos criados como “zumbis” rapidamente geravam um uso que não deixava claro se vinha de usuários reais
  • O Yahoo adicionou mais servidores, os programadores otimizaram os trechos de código mais ineficientes, e a estabilidade melhorou alguns meses depois

A força como ferramenta de combinação de dados

  • O Pipes cresceu sobre a cultura de mashups e o auge do RSS em meados dos anos 2000
  • RSS era usado como padrão para distribuir atualizações de blogs, episódios de podcasts, resultados de busca e outras unidades de informação em um formato simples e legível por máquinas
  • Jon Udell via que, por padronizar a forma de acesso, o RSS reduzia para o Pipes o problema de conversar individualmente com inúmeras fontes
  • Além de RSS, o Pipes também lidava com Atom, RDF e CSV, e, com algum trabalho, podia buscar páginas web e filtrar dados específicos
  • Ele também se conectava a serviços internos do Yahoo, especialmente ao Flickr, e depois passou a oferecer suporte ao Yahoo Query Language, ou YQL
  • YQL era um projeto de toda a empresa para permitir que produtos internos do Yahoo e desenvolvedores externos fizessem consultas por um endpoint comum
  • A saída do Pipes podia ser incorporada em páginas ou gerada como HTML, JSON, KML, RSS e XML
  • Também era possível que sites externos consultassem workflows do Pipe via JavaScript e recebessem os resultados

O caso do bloqueio pelo Craigslist

  • O Pipes era útil, mas também podia gerar carga para outros sites
  • Em 2009, o Craigslist bloqueou o Pipes depois que um desenvolvedor de fora do Yahoo o usou para criar um mapa de anúncios de aluguel do Craigslist
  • O CEO do Craigslist afirmou que o Pipes consumia recursos demais
  • Com o bloqueio, vários mashups da internet perderam dados, e alguns desenvolvedores mantiveram seus Pipes sem usar o Craigslist como fonte de dados
  • O bloqueio foi suspenso cerca de 2 semanas depois

Ausência de modelo de negócios e de apoio organizacional

  • O declínio do Pipes começou já no lançamento, e transformá-lo de conceito em produto completo exigiria uma equipe maior e uma missão clara
  • Kent Brewster disse que, em conferências, as pessoas viam o Pipes e achavam impressionante, mas, quando perguntavam quanto poderiam pagar pelo serviço, o Yahoo precisava responder que ainda não estava nessa fase
  • Não havia um produto para comprar um volume mensal garantido de chamadas de Pipe, e, nesse estado, era difícil para profissionais ou grandes empresas investirem
  • Em janeiro de 2008, o Yahoo demitiu cerca de 1.000 pessoas e, depois, recusou a oferta da Microsoft de US$ 44,6 bilhões em dinheiro e ações
  • Mais tarde naquele mesmo ano, demitiu mais 10% dos funcionários, cerca de 1.500 pessoas
  • De 2008 até a venda e praticamente desmembramento em 2017, o acontecimento mais marcante no desempenho financeiro do Yahoo foi o acordo de Marissa Mayer, em 2012, para vender a participação na Alibaba
  • O Yahoo havia adquirido uma participação na Alibaba por US$ 1 bilhão em 2005, e, na venda, seu valor havia subido para US$ 7,6 bilhões

A Brickhouse e a dissolução da equipe

  • A Brickhouse criou vários projetos que chamaram atenção da imprensa de tecnologia em 2007
    • BravoNation: um sistema online para trocar elogios
    • FireEagle: um serviço que fornecia informações de localização enquanto intermediava a privacidade
    • KickStart: um site de conexão de universitários a vagas de trabalho
    • Yahoo Live: um serviço inicial de streaming de webcam ao vivo
  • Esses projetos não se transformaram em sucessos
  • Fake entrou em licença-maternidade em abril de 2007 e deixou o Yahoo em junho de 2008
  • Bradley Horowitz foi para o Google em fevereiro de 2008, e Salim Ismail saiu em março de 2008
  • Chad Dickerson também saiu em meados de 2008, mais ou menos na mesma época que Fake
  • A Brickhouse foi fechada no fim de 2008
  • A equipe do Pipes também se dispersou, deixando o Yahoo ou migrando para outras equipes, e o suporte ao serviço passou para administradores internos da empresa

Por que o Pipes sobreviveu por tanto tempo e seu encerramento

  • Sadri fundou a Polyvore alguns meses após o lançamento do Pipes
  • A Polyvore era uma plataforma em que usuários podiam compartilhar colagens de imagens, muito usada em moda e design de interiores
  • A Polyvore foi adquirida pelo Yahoo em 2015, e Sadri depois foi para a Sutter Hill Ventures
  • Ho saiu mais ou menos na mesma época que Sadri, e Cheng e Raffel deixaram a empresa dentro de 1 ano após o lançamento do Pipes
  • Trevor ficou no Yahoo até 2010, levando o Pipes com ele ao mudar entre várias equipes, e disse que isso permitiu que o serviço fosse mantido por mais tempo
  • Trevor reescreveu o Pipes de Perl para Java para torná-lo compatível com a linguagem interna YQL
  • A partir daí, ele via que só restava esperar quando o serviço seria desligado
  • O Yahoo encerrou definitivamente o Pipes em 2015
  • No thread do anúncio de encerramento no Hacker News, continuaram surgindo usuários em busca de alternativas e reações lamentando o potencial não realizado
  • Sadri escreveu na época que “gostaria que o Pipes tivesse sido lançado na era dos contêineres, por exemplo do Docker”, dizendo que havia a ideia de fazer deploy com um clique no que hoje chamamos de contêineres

Influência em ferramentas posteriores e na programação visual

  • O Pipes inspirou uma geração de programadores, designers de UI e profissionais de produto
  • O Workflow, app de automação para iPhone/iPad adquirido pela Apple em 2017, depois foi encerrado e integrado, sendo redistribuído como Shortcuts no iOS, iPadOS e macOS, e é citado como uma das ferramentas mais próximas do Pipes
  • Andrew Cantino, criador do Huginn, escreveu no Hacker News em 2021 que o Yahoo Pipes inspirou a criação do Huginn
  • Node-RED foi lançado em 2013 e é citado como uma ferramenta com clima parecido com o Pipes
  • Ferramentas públicas e privadas citadas como alternativas ao Pipes continuaram aumentando
  • Um usuário do thread de encerramento no Hacker News contou que o Pipes serviu de base para uma aula de mashups de dados, permitindo que estudantes não desenvolvedores criassem pequenos apps de dados personalizados em poucas horas
  • Esse caso incluía geocodificar um blog de arte urbana com extração de entidades de localização e gerar o feed enriquecido em uma visualização de mapa

Por que é difícil criar hoje um serviço parecido

  • Greg Wilson disse que ferramentas de programação visual existem amplamente como ferramentas especializadas por profissão e setor, e que até animações avançadas de Hollywood são feitas com ferramentas que conectam blocos de fluxo de dados como o Yahoo Pipes
  • O MATLAB também é citado como uma plataforma de modelagem matemática com cerca de 4 milhões de usuários no mundo, muitos deles usando interfaces de programação visual
  • Uma das razões pelas quais ferramentas gráficas de propósito geral não se disseminaram amplamente é a incerteza sobre direitos autorais
  • Anil Dash escreveu, em um comentário no texto de O’Reilly sobre o Pipes em 2007, que não havia resposta sobre se a existência de um feed implicava permissão para assinatura, polling frequente e republicação
  • 16 anos depois, essas questões ainda não foram resolvidas claramente, e o risco de processos pode ter efeito inibidor sobre empresas que queiram criar serviços gratuitos ou pagos
  • A internet atual fechou mais feeds de informação que antes eram livremente acessíveis, e o scraping que busca páginas web comuns e faz parsing de dados também está mais fortemente restringido
  • Sadri disse que muitas APIs legítimas se tornaram APIs comerciais atrás de planos pagos
  • Ainda assim, o carinho pelo Pipes permanece, e Sadri disse que pensa se seria possível criar uma próxima versão, como um “Pipes 2”, com a infraestrutura de hoje

1 comentários

 
GN⁺ 2023-12-16
Comentários do Hacker News
  • Como funcionário da Retool, trabalhei neste artigo, e esta é a segunda parte de uma série recorrente sobre novos ambientes de programação que tiveram grande impacto nos desenvolvedores
    Esses textos são feitos com carinho, e é ótimo poder conversar diretamente com as equipes originais que criaram produtos que tiveram influência formativa sobre nós
    A parte mais interessante de criar um produto como a Retool é a evolução de ideias do passado, e há muitas ideias excelentes em artigos e produtos antigos de computação que estavam à frente do seu tempo ou desapareceram em meio às mudanças do setor
    Pipes foi uma referência quando criamos o novo produto Retool Workflows, e há muitas outras ideias de ambientes de programação que queremos abordar no futuro, mas seria legal saber se há algum ambiente pelo qual vocês tinham carinho
    O primeiro artigo aprofundado foi sobre Visual Basic: https://retool.com/visual-basic
    Retool Workflows: https://retool.com/workflows

    • A abordagem artística é legal, mas em Firefox 120 no Linux 6.6 a página quase não funciona
      No geral ela engasga muito e o sequestro de rolagem é severo; no Chromium é bem mais fluido, mas o sequestro de rolagem ainda é ruim
      Normalmente Linux não seria visto como uma plataforma-alvo tão importante, mas para conteúdo relacionado a programação isso pode ser diferente
    • Fico curioso se há alguma pista sobre o próximo texto. Seria algo como Smalltalk, HyperCard ou o Interface Builder do NeXTSTEP?
    • Como autor do texto original, obrigado por esse trabalho realmente incrível. Ainda estou procurando mais easter eggs
      Para outros leitores, eu recomendaria clicar em tudo na área de trabalho da tela inicial
    • Existe algum feed RSS ou JSON para assinar só esta série? Se não, seria bom ao menos ter uma página reunindo todas as partes
  • Pipes era minha técnica favorita de consciência de projeto no trabalho, e até hoje não encontrei um jeito tão rápido quanto aquele
    Eu usava Yahoo Pipe para combinar e remover duplicatas de 10 a 15 projetos do Jira e de 30 a 50 streams de commits do GitHub em um único feed RSS, e lia tudo no Google Reader
    Eu conseguia ver rapidamente quem mudou o quê, quando e onde, e por ser RSS era excelente, porque não precisava vasculhar e-mails nem olhar várias páginas de notificações

  • Sinto muita falta do Yahoo Pipes e do YQL
    Em 2009, fiz em cima de jQuery algo que era praticamente um plugin de XHR(AJAX) entre domínios, permitindo buscar páginas web arbitrárias no lado do cliente e consultá-las com XPath convertido de seletores CSS
    Era uma época em que o YQL devolvia JSONP, e tudo parecia mágica

    • Vale a pena experimentar o Node-RED. Ele oferece toda a funcionalidade do Ypipes e ainda mais
      Além disso, é uma vantagem que a UI use jQuery
      Embora seja apresentado para IoT, é extremamente flexível e dá para fazer quase qualquer coisa
      https://nodered.org
    • Pipes podia ser usado como um proxy CORS
      Na época, eu fazia apps cliente parecidos com Spotify só com jQuery, pesquisando e transmitindo MP3 do radioblogclub e do VK.com, e buscando metadados e recomendações similares do last.fm
  • É a animação mais travada que já vi. No Chrome do Android, num Pixel 7, está totalmente inutilizável; existe uma versão em texto?

    • No Chrome de um M1 Pro também está totalmente inutilizável
      Se essa aba estiver visível, todas as janelas do Chrome ficam inutilizáveis
    • Já disseram isso acima, mas reforçando: no Firefox da minha workstation Linux está realmente ruim
      No Chromium é bem melhor, mas o sequestro de rolagem ainda é severo
    • Até no Safari do macOS mais recente, em um M3 Pro 64GB, está completamente inutilizável
    • Achei que a página tinha travado e não consegui fazer nada funcionar direito
    • No iOS ela engasga, dá um pequeno zoom e quebra, virando uma grande página branca rolável
      Se funcionasse direito, a animação provavelmente seria bem legal, mas é uma pena ter feito tanto trabalho assim para afastar os leitores
  • Quero recomendar Pipedream, uma ferramenta recente de automação de workflow com nome parecido de que gosto bastante: https://pipedream.com/
    Se você procura automação no estilo Yahoo Pipes, vale muito a pena experimentar
    Não tenho qualquer relação com eles, sou só um usuário satisfeito

    • Acabei de me cadastrar, e parece que pode substituir alguns containers Docker que eu rodava no tier gratuito da fly.io, enviando dados para o tier gratuito do Supabase
    • O dono, tod sacerdoti, está usando isso como uma máquina de arbitragem de karma, raspando posts populares do lobste.rs e enviando para o HN
      Se quiser ver o que isso significa, procure por todsacerdoti em https://gerikson.com/hnlo/
      Pelo volume de karma do HN que ele acumulou, parece funcionar muito bem
    • https://windmill.dev é uma alternativa open source e auto-hospedável ao pipedream
      Para referência, sou o fundador
    • Dá para fazer self-hosting?
  • Talvez também interesse o Flowpipe, um engine open source de scripting em nuvem lançado esta semana
    Com HCL, você pode criar pipelines para encadear requisições HTTP, executar containers, rodar funções compatíveis com Lambda, consultar bancos de dados etc., tudo na sua própria máquina e pela CLI
    Também pode ser combinado com o Steampipe, um projeto open source para consultar recursos de nuvem com SQL, e já há mais de 139 plugins
    Nosso foco é mais em DevOps, mas o Yahoo Pipes também foi uma inspiração para passarmos a chamar essas coisas de “pipes”
    https://github.com/turbot/flowpipe
    https://github.com/turbot/steampipe

    • Gosto do Steampipe. Ele permite obter feedback simples e claro sobre muitos recursos de nuvem
      select * from cloud resume bem a ideia, e vou conferir o Flowpipe também
  • Na faculdade, usei Pipes para decidir aleatoriamente a ordem de escolha dos quartos do dormitório
    Eu pegava a principal manchete do site do NY Times, fazia um hash e daí extraía de forma determinística um número entre 1 e 6
    Foi a melhor forma que encontrei, durante o verão e à distância, de convencer todos de que era justo sem precisar executar código manualmente, e foi útil e divertido

  • Pipes era realmente excelente
    Combinava bem com a era de ouro da Web 2.0, quando ainda havia interoperabilidade frouxa e aberta graças a tecnologias amplamente usadas como RSS
    Era eficaz para conectar coisas simples e criar algo simples, mas útil
    Mas que design e que quantidade absurda de trabalho são esses neste artigo aprofundado. A Retool realmente se dedicou, a ponto de eu me perguntar por que não fez isso antes

  • Acho interessante como textos assim são produzidos
    É evidente que colocaram muito cuidado e que deve ter levado bastante tempo para lapidar até o resultado final. Conteúdo de alta qualidade e polimento custam caro
    Ainda assim, não entendo bem qual é o objetivo. Não parece um texto de marketing, mas a mensagem nas entrelinhas claramente soa como se você gostava de Pipes, também vai gostar de Retool

    • Estou lendo agora e tenho exatamente a mesma dúvida
      A qualidade de produção é alta, e a URL é simplesmente retool.com/pipes, então não parece só um post de blog comum
  • Levei um tempo para perceber que AWS Step Functions é parecido com o Yahoo Pipes
    Não é tão simples e não tem tantos componentes clicáveis, mas achei estranho ter demorado tanto para notar isso
    Alguém com mais insight talvez consiga apontar em que estou enganado