Fundador de fintech é acusado de fraude; app de IA operava com pessoas nas Filipinas

• Albert Saniger, fundador e ex-CEO da Nate, foi indiciado pelo Departamento de Justiça dos EUA por supostamente enganar investidores
• A Nate é uma startup de fintech fundada em 2018 que afirmava oferecer uma experiência de “checkout universal” baseada em IA
• Recebeu mais de US$ 50 milhões em investimentos de empresas como Coatue e Forerunner Ventures e, em 2021, levantou uma Série A de US$ 38 milhões liderada pela Renegade Partners

App de compras com IA que, na prática, funcionava manualmente

• A Nate afirmava que sua IA processava compras automaticamente em todos os sites de e-commerce, mas na prática centenas de trabalhadores de um call center nas Filipinas processavam os pedidos manualmente
• O Departamento de Justiça afirma que o nível de automação da Nate era, na prática, 0%
• Para captar investimentos, a empresa divulgava que “a IA processa sem intervenção humana”, mas a maior parte do trabalho era realizada por pessoas
• Houve alguma adoção de tecnologia de IA e contratação de cientistas de dados, mas a automação funcional não foi alcançada

Denúncia interna e a queda da Nate

• Em 2022, o funcionamento real da Nate foi exposto por uma reportagem do The Information
• Saniger consta no LinkedIn como tendo deixado o cargo de CEO desde 2023
• Em janeiro de 2023, a Nate vendeu seus ativos por falta de recursos, e os investidores perderam quase todo o valor investido
• Atualmente, Saniger aparece como managing partner da Buttercore Partners, mas não há posicionamento oficial

Casos de exagero em tecnologia de IA continuam ocorrendo

• Além da Nate, um caso em que uma startup de software de “drive-thru com IA” usava principalmente mão de obra nas Filipinas foi noticiado pelo The Verge em 2023
• Mais recentemente, o Business Insider informou que a startup unicórnio de legaltech com IA EvenUp, na verdade, tinha grande parte do trabalho feita por pessoas

[aer0700]

Hoje em dia, às vezes aparecem negócios promovendo que automatizaram com IA algo que já vinha sendo bem resolvido, que implementaram em Rust etc., como se tivessem passado a fazer com alguma ferramenta nova um trabalho que já era feito antes.
Estão fazendo ~.
Acho que, no fim, não deveríamos julgar só por isso? Seja usando IA, seja implementando em Rust, o certo não é avaliar simplesmente o quão bem estão fazendo ~, e não dar tanta importância, do ponto de vista do usuário ou do investidor, ao meio interno usado na implementação. Se o código estiver aberto, do ponto de vista de um desenvolvedor até dá curiosidade, claro.

[GN⁺]

Comentários do Hacker News

• Isso me lembra uma matéria de dois anos atrás e meu comentário no HN. É mais um caminho típico de uma startup de IA

  • alguém encontra um problema interessante que poderia ser resolvido com ML/IA e tenta resolvê-lo por conta própria
  • pensa: "o modelo funciona até certo ponto. É útil o bastante para que outras pessoas paguem por isso"
  • lança uma API paga, uma startup SaaS etc. e consegue alguns clientes
  • fica claro que a abordagem de ML/IA não se generaliza. Como reputação importa, contratam pessoas para resolver o problema
  • o desempenho do modelo cai, e o trabalho humano vira uma parte importante de todo o fluxo de trabalho
  • alguém escreve uma matéria dizendo que usam mão de obra barata

• Fui apontado como um ladrão em potencial por uma análise de vídeo de CCTV no self-checkout de um supermercado. (Claro, a análise estava errada.) Ao sair da loja, fiquei me perguntando se era análise de software ou se alguém na Índia ou nas Filipinas estava me observando em tempo real

• Eu me perguntava por que não houve preocupação do DOJ quando a Amazon Go fez a mesma coisa

  • Amazon Go: no início, eles deixaram claro que estavam testando a tecnologia "Just Walk Out", e a comunidade técnica sabia que humanos estavam revisando casos de borda por meio dos feeds de vídeo
  • alegavam que a tecnologia acabaria melhorando, e que o backup humano era principalmente para dados de treinamento e garantia de qualidade
  • não diziam "agora isso funciona 100% com IA, sem ajuda humana"
  • Nate: alegava que já era totalmente automatizado
  • o CEO dizia explicitamente que a IA fazia todo o trabalho e que só usavam terceirizados para casos raros de borda
  • segundo o DOJ, na realidade os humanos faziam tudo, e a IA era apenas uma ferramenta de marca
  • para os investidores, era uma plataforma de software; na prática, era BPO

• Fico me perguntando em que momento isso passa a ser considerado "fraude". Quase toda aplicação de "IA" tem muito backup humano. A Waymo tem motoristas humanos que podem operar remotamente quando o veículo para. As lojas Amazon Go eram de fato operadas por uma equipe na Índia. As empresas vêm alegando ser "movidas por IA" há 10 anos

  • talvez porque os investidores tenham olhado as margens e encontrado uma enorme rubrica offshore. Fora isso, a "taxa de automação" é um número vago demais para investidores acompanharem
  • esse tipo de enganação faz de investidores inocentes as vítimas

• Nos últimos 5 anos, houve muitas startups com alguma variação de "a IA agora pode automatizar a interação com empresas que não querem interagir com você". Isso é comum em saúde, fintech, compras para consumidor etc.

  • vão automatizar disponibilidade de prestadores, agendamento e marcações com ligações de IA
  • vão vender dispositivos ao consumidor para automatizar toda interação com apps com um "modelo de ação em larga escala"
  • vão automatizar as interações de cobrança de seguradoras de saúde com hospitais por meio de um raspador de tela com IA
  • se um funcionário fizer uma tarefa uma vez em uma ferramenta de software empresarial, a IA vai automatizá-la para sempre e conectar todos os sistemas dos fornecedores sem programação personalizada
  • com IA, será possível comprar automaticamente em qualquer site

• A maioria das startups não é "fraude". Elas começam com as melhores intenções (fundadores técnicos qualificados, mercado-alvo real, clientes dispostos a pagar se funcionar), mas acabam fracassando, mudando totalmente de direção ou recorrendo à fraude em uma tentativa equivocada de sobreviver

  • o problema é que elas tentam usar tecnologia para resolver um problema humano. O estado atual do mundo é que os prestadores de serviço do outro lado da equação não querem intermediação nem querem ser comoditizados. Eles não vão se conformar com a automação
  • se você aperfeiçoar um jeito de ligar para eles com um robô, eles vão deixar de atender o telefone. Se você aperfeiçoar um jeito de automatizar o app de iPhone deles em nome do usuário, eles vão bloquear faixas de IP e apresentar CAPTCHAs cada vez mais complexos. Se você automatizar o fluxo de login, eles vão mudar para outro fluxo de login ou bloquear clientes que usem automação. A experiência do cliente, na melhor das hipóteses, será inconsistente, e você não conseguirá tirar os humanos do circuito. Isso leva à morte por mil cortes de papel — mesmo que os clientes ainda implorem para pagar pelo serviço

• Repetição do Mechanical Turk

• Matéria relacionada do meio da pandemia: startup de compras com IA mostra os excessos do boom de financiamento

• Um amigo me pediu para fazer diligência sobre essa empresa por volta de 2021. O fundador alegava uma "taxa de sucesso de checkout de 100%" baseada em IA, mas isso era obviamente falso. Ao mesmo tempo, ele também tocava outras 2 startups

• "É um computador, mas vamos dizer que é uma pessoa" e "é uma pessoa, mas vamos dizer que é um computador" são ambas ideias comuns