Startup com investimento da a16z é exposta por invasão ao anunciar com contas de IA no TikTok

• Uma “phone farm” com 1.100 smartphones foi invadida, expondo as atividades de contas de anúncios geradas por IA operadas no TikTok
• O sistema era operado pela startup Doublespeed, que recebeu investimento da a16z, e gerenciava centenas de contas de redes sociais baseadas em IA usadas para promover produtos
• O hacker obteve acesso e verificou atribuição de contas, informações de proxy e histórico de tarefas
• Imagens e vídeos de pessoas criados com IA foram usados para promover diversos produtos, como suplementos, apps e massageadores, e foram encontrados vários indícios de promoção de produtos sem identificação de publicidade
• O hacker afirma ter reportado a vulnerabilidade à empresa em 31 de outubro, mas diz que ainda consegue acessar o backend e a phone farm

---

Visão geral do caso de invasão da Doublespeed

• Um hacker assumiu o controle de uma phone farm composta por 1.100 celulares, expondo a atividade de contas de anúncios geradas por IA operadas no TikTok
  • Essa phone farm era gerenciada pela Doublespeed, que promovia produtos por meio de mais de centenas de contas de redes sociais geradas por IA
• A invasão revelou a existência de muitos conteúdos promocionais sem indicação de que eram anúncios
  • Essas contas estavam promovendo produtos no formato de influenciadores de IA
• O hacker acessou o backend da empresa e verificou qual gerenciador de PC controlava quais telefones e contas do TikTok
  • Servidores proxy, senhas e até a fila de tarefas de cada conta ficaram expostos
  • O hacker afirmou que podia manipular livremente cerca de 1.100 smartphones e que isso poderia ter sido explorado para recursos computacionais ou spam

Como funcionava a promoção com influenciadores de IA no TikTok

• Entre mais de 400 contas do TikTok operadas pela Doublespeed, cerca de 200 eram de fato usadas para promover produtos
• Muitas publicações foram enviadas sem marcação de que eram anúncios
• Algumas contas parecem ter passado por um processo de “warming up”, acumulando atividade prévia para parecerem usuários reais
• O sistema imitava padrões de uso de smartphones reais para evitar a detecção de comportamento inautêntico no TikTok

Casos concretos de promoção

• Uma personagem de meia-idade gerada por IA falava sobre dores no corpo enquanto exibia repetidamente o massageador Vibit
• Uma persona de IA apresentada como estudante da UCLA criticava a indústria farmacêutica enquanto promovia o suplemento de moringa Rosabella
  • O texto no rótulo do frasco do produto foi gerado de forma sem sentido, revelando que se tratava de uma imagem criada por IA
• Algumas contas usavam até vídeos gerados por IA para promover agências de conteúdo para TikTok como a Playkit

Acesso do hacker e resposta da empresa

• O hacker pediu anonimato por medo de retaliação e afirmou ter reportado a vulnerabilidade à Doublespeed em 31 de outubro
• Mesmo no momento da publicação da matéria, o hacker disse que ainda conseguia acessar o backend da empresa e o sistema da phone farm
• A Doublespeed não respondeu aos pedidos de comentário da imprensa

Reação das plataformas e da investidora

• A Doublespeed é uma startup com investimento da Andreessen Horowitz (a16z)
• O TikTok exige rotulagem obrigatória para conteúdo gerado por IA e, após a denúncia, adicionou rótulos a essas contas
• a16z e Doublespeed não divulgaram posicionamento oficial sobre o caso
• Um porta-voz do Reddit afirmou que o serviço da Doublespeed viola os termos de uso da plataforma
• A Meta não deu resposta oficial, mas esse modelo de negócio viola a política de representação de identidade autêntica

[roxie]

Uau, que tipo de negócio é esse...

[GN⁺]

Opiniões do Hacker News

• link do archive

• A IA está destruindo as redes sociais no longo prazo
  Mesmo antes da IA, muitos posts e comentários já eram de bots ou contas pagas
  Agora o Reddit virou um lugar menos confiável até do que o ChatGPT
  Ainda assim, pelo menos ainda existem espaços satíricos como o The Onion-verse

  • A sensação é que a Dead Internet Theory deixou de ser piada e virou realidade
  • Não acho que uma estrutura em que o mundo inteiro conversa de forma improvisada possa gerar resultados positivos
    Os humanos são frágeis diante do anonimato e da falta de supervisão, e esses fóruns maximizam essa fraqueza
    Nessa escala atual, isso nunca foi uma boa ideia para começo de conversa
  • Talvez isso até seja algo bom
    Se cada vez mais gente abandonar essas plataformas e voltar para a mídia tradicional, talvez fiquem mais racionais
  • Para mim, o Reddit já morreu como plataforma neste verão, quando passou a permitir perfis privados
  • Eu penso de forma parecida, mas me preocupa que as pessoas gostem desse conteúdo de baixa qualidade (sloppy content)
    Fico me perguntando se é só porque é curioso, ou se elas realmente querem isso

• É muito estranho viver numa realidade em que bot farms viraram algo cotidiano
  Antes eu associava isso a regimes autoritários como Rússia ou China, mas agora nós também estamos virando isso?
  E ainda por cima VCs estão investindo nisso, o que é chocante
  Agora, toda vez que escuto o podcast da a16z, lembro de bot farms e fica difícil ouvir
  Isso me faz duvidar seriamente se as pessoas realmente pensam em moral e ética

  • Mesmo assim, eu ainda acredito que um futuro em formato de web of trust baseada em confiança seja possível
    Só não sei como explicar isso direito

• Isso me faz lembrar da frase “não construam máquinas à semelhança da mente humana”
  Parece que a Butlerian Jihad chegou antes do previsto
  Não é repressão nem violência, mas sim marketing viral e contas falsas provocando a revolta

  • Mas, de certo modo, a violência já começou
    A OpenAI está lidando com vários processos por causa de casos em que usuários de chatbot tiraram a própria vida

• Engraçado. Eu tinha acabado de dizer para alguém que havia anúncios demais da Vibit e que todos os comentários pareciam falsos

• Se o que foi revelado pelo hack é só que a startup está fazendo exatamente o que disse que faria, então isso não seria só propaganda?

• Dei uma olhada no Twitter do Zuhair e no site oficial e é realmente nojento
  As fotos da phone farm dele estão todas neste tweet
  “Acelerar a internet morta”... não consigo entender por que estamos incentivando esse tipo de deterioração dos espaços públicos (enshitification)

  • Ele parece estar apenas buscando ragebait, mas o problema é que esse produto realmente existe
    O Cory estava certo desde o começo
  • Ele parece um adolescente inteligente que seguiu na direção errada
    Mais do que uma pessoa má, parece alguém que precisava de modelos melhores
    Acho que, se a pessoa nunca faz algo de que vá se envergonhar depois, também nunca tem chance de refletir sobre isso
  • Um link acessível é xcancel.com/rareZuhair
  • Criar esse tipo de ferramenta é perigoso
    Um dia isso pode virar uma arma que se volta contra o próprio criador
  • Não é nada estranho, é só resultado de ganância e desejo de controle

• Isso parece simplesmente um relatório mostrando como essa empresa toca o próprio negócio
  doublespeed.ai

  • É até refrescante ver que eles usam sem rodeios frases como “never pay a human again” e “** spawn variation**”
    Claro que eu odeio isso, mas ainda assim parece melhor do que outras empresas que tentam enganar com embalagem de marketing
  • Eu achava que esse tipo de negócio seria ilegal ou pelo menos uma zona cinzenta, mas agora parece que os VCs largaram totalmente qualquer moral
    Apostas? Tudo bem. Spam? Vamos investir. Fraude publicitária? Sem problema
  • Tenho curiosidade de saber como essas fazendas de conteúdo de IA monetizam no TikTok
  • No fim, toda essa polêmica está virando divulgação gratuita para eles
  • Parece mesmo que estamos vendo “copy publicitária de vilão” na vida real

• Fico me perguntando por que ninguém processa esse tipo de empresa com base no Computer Fraud and Abuse Act (CFAA)

  • É perigoso usar o CFAA contra qualquer alvo de que você não goste
    Já existem leis para lidar com esse tipo de marketing enganoso
    Ex.: 16 CFR Part 255 do Código de Regulamentações Federais dos EUA
  • Mas empresas com dinheiro e uma boa rede de padrinhos escapam da aplicação da lei
    E, no pior dos casos, ouvi dizer que hoje em dia um perdão presidencial (pardon) nem sai tão caro assim