1 pontos por GN⁺ 2024-11-27 | 1 comentários | Compartilhar no WhatsApp
  • É uma API que faz com que agentes de IA em produção recebam aprovação e entrada humanas antes de executar tarefas arriscadas, reduzindo o peso da execução totalmente autônoma
  • O núcleo do produto é enviar solicitações de aprovação por Slack e e-mail, gerenciar o estado de espera pela resposta e o rastreamento de auditoria, inserindo pessoas no fluxo de execução do agente
  • O produto nasceu da experiência de clientes que resistiam a dar acesso direto a sistemas de produção a agentes de automação para equipes de dados
  • O SDK opera na camada de chamada de ferramentas, podendo ser usado com frameworks como CrewAI e LangChain, além de modelos de linguagem que suportam chamadas de ferramentas
  • Quanto mais o agente executa trabalho real, como AI SDR, newsletter de IA e agentes de DevOps, mais importante é definir claramente pontos de aprovação e caminhos para pedir ajuda

Fluxos de aprovação humana necessários para agentes em produção

  • HumanLayer é uma API que permite que agentes de IA solicitem feedback, entrada e aprovação de pessoas durante a execução
  • O objetivo é permitir a inserção de human-in-the-loop em cada etapa arriscada ao implantar sistemas de IA autônomos ou headless em produção
  • O ponto de partida veio da experiência de criar agentes de IA para equipes de dados
    • A ideia era automatizar tarefas tediosas, como excluir tabelas não utilizadas
    • Os clientes se opunham a que agentes de IA acessassem diretamente sistemas de produção
  • Para atingir confiabilidade de nível de produção, era necessário ajustar avaliação, fine-tuning e engenharia de prompts de acordo com o risco da tarefa, mas chegar a mais de 99,9% de confiabilidade podia levar mais de 3 meses
  • No fim, criaram um fluxo de aprovação do tipo “perguntar no Slack antes de excluir a tabela”, e depois também surgiu a necessidade de guardrails para evitar que o pedido de aprovação fosse para a pessoa errada

Funcionalidades e forma de integração

  • Ao integrar o SDK do HumanLayer, o agente de IA pode solicitar aprovação humana em qualquer ponto da execução
    • Encaminha a solicitação para a pessoa apropriada via Slack ou e-mail
    • Suporte a SMS e Teams está previsto para breve
    • Gerencia o estado enquanto aguarda a resposta
    • Fornece rastreamento de auditoria completo
  • Além de “solicitações de aprovação”, também oferece um recurso mais geral de human as tool
    • Pode ser exposto ao LLM ou ao framework de agentes como uma ferramenta para coletar respostas humanas
    • Um exemplo é uma pergunta genérica como: “Travei neste problema, tentei estas coisas, então me dê um conselho”
  • Como opera na camada de chamada de ferramentas, pode ser usado com frameworks como CrewAI e LangChain, além de modelos de linguagem que suportam chamadas de ferramentas
    • Se você estiver construindo seu próprio loop de agente e ferramentas, pode gerenciar diretamente o fluxo de aprovação com primitivas de SDK de nível mais baixo
    • Também estão explorando usos não só para aprovação IA-humano, mas também para aprovação humano-humano

Casos de uso e forma de oferta

  • Vários agentes em produção utilizam os fluxos de aprovação do HumanLayer
    • Um cliente criou um AI SDR que redige e-mails de vendas personalizados, mas exige aprovação humana no Slack antes do envio
    • Outro cliente o utiliza em uma newsletter de IA em que assinantes podem interagir com o conteúdo e conversar por e-mail
    • Uma equipe o aplicou a um agente de DevOps voltado a clientes para lidar com revisão de PR, planejamento e execução de migrações de banco de dados, aprovação humana em etapas importantes e pedidos de ajuda à equipe quando há problemas
  • A oferta inclui SDKs para Python e TypeScript, teste grátis, plano gratuito e preços baseados em uso
    • Para equipes que constroem agentes voltados a clientes, há white label, recursos adicionais e suporte prioritário
    • A documentação está em humanlayer.dev/docs

1 comentários

 
GN⁺ 2024-11-27
Comentários do Hacker News
  • Há uma opinião de que donos de startups querem usar IA para criar serviços internos por conta própria. Acho melhor usar SaaS, mas não é barato nem simples. Com a concorrência, os preços devem cair

  • Há preocupação com o alto custo dos serviços de IA, e a opinião é que seria necessário oferecer créditos gratuitos ou ajustar os preços

  • Há preocupação com viés de automação e complacência com a automação, com o risco de humanos aprovarem decisões da IA sem senso crítico

  • Foi proposta a ideia de usar agentes humanos para fazer o que agentes de IA não conseguem

  • Foram apontados problemas em frameworks para lidar com chamadas de ferramentas assíncronas ou de longa duração. Há ideias para resolver isso, mas serão tratadas em outro texto

  • Há uma opinião de que é preciso se esforçar para permanecer na camada de API

  • Há uma opinião de que, no estágio inicial da IA, humanos executavam a lógica e, depois que eles foram removidos, a qualidade piorou. Há uma analogia de que uma empresa terceirizada recolocar humanos nisso é uma solução temporária

  • Em startups, a intervenção humana é vista como importante, e considera-se que controle e supervisão são necessários para transformar o potencial baseado em LLM em valor real. Para isso, foram construídos workflows personalizados e processos manuais

  • Há uma opinião de que serviços que oferecem funções básicas de entrada e saída já são possíveis em muitos sistemas. Considera-se que vale a pena testar isso antes de implementar por conta própria

  • Uma empresa de dispositivos médicos está considerando IA como agente de workflow e planeja usar LLM para apoiar o processo de garantia de qualidade ISO13485. Gostaria de ouvir a opinião de outros usuários do HN