Show HN: Autotab - geração de scripts Selenium com uma extensão do Chrome baseada em IA

• O Autotab é uma extensão do Chrome baseada em IA que executa tarefas no navegador local e também busca gerar scripts Selenium
• Os usuários podem transmitir fluxos de trabalho por mensagens em vídeo ou documentos, ensinando o Autotab a realizar tarefas como se estivessem explicando para uma pessoa
• Já está sendo usado por empresas da Fortune 500 e companhias orientadas por tecnologia em rápida expansão para reduzir gargalos de recrutamento, onboarding e gestão
• Seu escopo de aplicação é amplo em tarefas repetitivas baseadas em navegador, como coleta de dados, preenchimento de formulários, envio de mensagens e acionamento de reembolsos
• Se houver dúvida sobre a capacidade de realizar uma tarefa, é possível enviar uma gravação do trabalho e receber uma resposta em até 24 horas; empresas avaliando substituir BPO podem entrar em contato separadamente

---

Como aprende e executa no navegador local

• O Autotab é um agente de IA de uso geral que aprende e executa tarefas delegadas pelos usuários de forma próxima a como uma pessoa trabalha
• As tarefas são realizadas no navegador local do usuário, e é possível acompanhar o processo executado pelo Autotab
• Certos fluxos de trabalho podem ser repassados como em uma passagem de tarefa entre pessoas

  • Treinamento com mensagens em vídeo e documentos

    • É possível ensinar o procedimento de trabalho por meio de mensagens em vídeo ou documentos preparados
    • Mesmo fluxos complexos são transmitidos em uma estrutura alinhada à forma como pessoas explicam tarefas no trabalho

Tarefas repetitivas visadas nas empresas

• O Autotab está implantado em empresas da Fortune 500 e em companhias orientadas por tecnologia que precisam escalar rapidamente
• O principal caso de uso são situações em que recrutamento, onboarding e gestão não conseguem acompanhar o ritmo de crescimento
• Exemplos de tarefas que pode executar incluem:
  • Coleta de dados: encontrar leads, reunir informações para relatórios, migração completa de sistemas
  • Preenchimento de formulários: inserir dados em formulários governamentais, apps administrativos internos e sistemas de fornecedores como ERP, RMS e TMS
  • Execução de ações: enviar mensagens em plataformas diversas, acionar reembolsos e tomar medidas adequadas ao contexto

Contato e verificação de aplicabilidade

• Se não tiver certeza de que a tarefa pode ser realizada, envie uma gravação do trabalho para [e-mail] e receba uma resposta em até 24 horas
• Empresas que desejam substituir BPO por outra abordagem podem entrar em contato pelo [e-mail]

[GN⁺]

Opiniões no Hacker News

• Como criador do projeto Selenium, acho que automação de testes será uma das killer apps de IA
  Fico curioso para saber como vocês garantem que a IA não alucine detalhes no código gerado

  • Por enquanto, como proteção básica, verificamos se o XPath do Selenium seleciona exatamente um elemento no DOM
    No futuro, o ideal parece ser oferecer uma prévia em tempo real, em que um navegador espelhado acompanha exatamente a última ação, para que seja possível depurar imediatamente se houver erro ou se algo sair diferente do esperado

• Quero tentar automatizar de forma significativa meu web app de sistema de agentes. Parece recursivo: automação lidando com automação
  Fazendo um pouco de divulgação: https://github.com/agi-merge/waggle-dance
  Normalmente não uso Chrome, mas entendo por que começaram por ele. Ainda assim, eu gostaria de ver versões para Firefox ou Safari

  • Dei uma olhada em waggledance.ai, e o que ele consegue fazer parece legal e interessante
    Mas, tirando uma UI bem feita, fico me perguntando o que o waggledance oferece que não viria em uma resposta do GPT-4
    Pela minha experiência, a forma como ele cria e decompõe tarefas é bem parecida com o que se obtém ao perguntar ao ChatGPT
  • Suporte a outros navegadores com certeza está nos planos para algum momento

• Já escrevi scripts Selenium à mão para automatizar o trabalho do meu pai. Por exemplo, pegar nomes de uma planilha, colocá-los no campo de busca de um site e repetir a mesma ação para centenas de pessoas; isso economizou muito tempo
  Se for possível facilitar a automação de navegador apenas mostrando diretamente à máquina o que fazer, acho que a vida de muita gente ficará muito mais fácil, então estou ansioso para testar

  • Ajudar nesse tipo de coisa combina bem com a direção que esperamos seguir. Gostaria de ouvir suas impressões depois que testar; se tiver interesse em conversar, meu e-mail está no perfil

• Quero colocar isso em um servidor e oferecê-lo via BrowserBox, para que seja possível criar automações até no celular
  O motivo original de eu ter criado o BrowserBox também era ter uma plataforma de entrega para uma ferramenta de criação de web scraping que não ficasse presa a extensões, mas, ao transformar o navegador remoto em produto, ainda não cheguei à ferramenta de criação de automações
  Obrigado por criarem isto e publicarem sob MIT. Vejo esse modo de criação de web scraping guiado por humanos e reforçado por IA como o futuro da área
  O nome também é bom. autotab
  Há até uma pequena “sinergia”, já que estou chamando de Cloudtabs o BrowserBox SaaS que vou lançar em breve
  https://github.com/BrowserBox/BrowserBox

  • O BrowserBox parece legal, mas só pelo README ficou difícil saber qual engine de navegador ele usa. Fiquei curioso se é algo feito por vocês

• Estamos criando algo quase exatamente igual para Playwright em https://ray.run/. Não tenho dúvida de que esse é o futuro da escrita de testes, e o lançamento está previsto para a semana que vem
  A abordagem parece um pouco diferente. Usamos LLM apenas para identificação de elementos, e o gerador em si está sendo feito com https://ray.run/browser-extension

  • Quando o visitante tiver configurado prefers-reduced-motion, vocês deveriam desativar o fundo animado
    Ou simplesmente desativá-lo de modo geral. Ele incomoda bastante

• Fico curioso para saber como isso difere do recurso Recorder do Chrome
  Em DevTools > Recorder, dá para gravar uma jornada do usuário e exportar como script Puppeteer

  • Acho que a maior diferença é que o autotab gera um script Python. Isso facilita a integração com bases de código Python existentes
    Daqui para frente, creio que será mais fácil criar mais funcionalidades graças à flexibilidade do código e do ecossistema Python. Por exemplo, tarefas baseadas em navegador não são totalmente determinísticas, e muitas vezes é preciso mais inteligência durante a automação, como resumir informações de uma página ou preencher dinamicamente uma resposta adequada em uma caixa de texto

• Vi o investimento da YC e percebi que é o fundador de https://www.ztool.co. Fico curioso se foi um pivot ou se é um produto complementar ao ztool

  • Isto com certeza está mais para um pivot. Dito isso, o próprio produto ZTool também passou por algumas grandes mudanças ao longo do tempo
    O que aprendemos nos últimos meses, construindo e conversando com usuários, pode ser resumido em dois motivos que nos levaram ao autotab
    Primeiro, software gerado por IA ainda não está pronto para usuários não técnicos. No ZTool, focávamos em permitir que pessoas que não sabem programar criassem automações com facilidade, mas hoje acho melhor que a saída do modelo seja código. Por isso, o autotab foca em usuários que conseguem revisar e modificar código Python
    Segundo, a forma de transmitir intenção é importante. Transformar “essa tarefa é chata” em uma representação estruturada exige um esforço mental surpreendentemente grande. Demos de IA se concentraram em transmitir intenção por meio de prompts curtos, mas isso não funciona bem em domínios complexos. Transmitir intenção pelo navegador é algo muito intuitivo e familiar, por isso parece poderoso

• Está escrito que “você executa uma sessão do Chrome controlada pelo Selenium e então faz login no Google”; fico curioso por que o login do Google é um requisito

  • Agora corrigimos essa parte: é possível obter uma chave de API em autotab.com/dashboard e autenticar apenas com essa chave ao executar autotab record. Não é mais necessário fazer login no Google dentro do navegador Selenium
  • Atualmente, o login do próprio autotab permite apenas login com Google, mas em breve adicionaremos login com usuário/senha e outras opções
    Dependendo do feedback, também podemos criar uma opção para o usuário trazer sua própria chave de API da OpenAI

• Fico curioso se é possível gravar workflows ou macros que possam ser usados como atalhos em uma janela de navegador já aberta, ou se isso se limita a um processo de automação que abre uma janela do navegador e executa algumas ações
  Por exemplo, se houver várias abas abertas e em cada aba existir o mesmo elemento, como o botão de tela cheia do YouTube, gostaria de saber se dá para gravar com o Autotab algo como “sair da tela cheia, ir para a próxima aba, colocar o vídeo dessa página em tela cheia”

  • Se você sempre abrir o vídeo do YouTube dentro da instância do navegador iniciada pelo script do autotab, isso é possível até certo ponto, mas, em resumo, acho que hoje ainda é difícil
    Esse tipo de macro é muito interessante, e temos conversado bastante sobre como navegadores poderiam ser projetados para esse tipo de IA e automação
  • Fico curioso sobre que macros você gostaria de definir. É uma área sobre a qual queremos aprender mais

• Para tornar isso o mais útil possível, um LLM com um conjunto de regras precisa conseguir interpretar a situação dinâmica da página e agir
  Por exemplo, ao tentar adicionar algo ao carrinho, se o LLM detectar uma regra indicando que o item está esgotado, ele faz outra ação
  Fico curioso se esse tipo de lógica de ramificação baseada em regras e reforçada por LLM será possível neste software no futuro

  • Concordo muito, e estamos trabalhando ativamente nisso agora
    Há duas perguntas interessantes. 1) Qual é o formato mais eficaz para o usuário transmitir sua intenção — talvez não seja apontar e clicar. 2) O ponto central é como representar a saída do modelo de modo que ela possa ser auditada e editada