Meta encerra perfis de Instagram e Facebook baseados em IA

 (theguardian.com)
1 pontos por GN⁺ 2025-01-05 | 1 comentários | Compartilhar no WhatsApp
  • A Meta removeu do Facebook e do Instagram os perfis de personagens de IA depois que contas criadas como experimento em 2023 voltaram a circular
  • Embora a maioria dessas contas já tivesse sido encerrada até o verão de 2024, alguns perfis remanescentes voltaram a chamar atenção após declarações de Connor Hayes ao Financial Times
  • Entre os personagens que ainda restavam estavam Liv, apresentada como “proud Black queer momma of 2 & truth-teller”, e o coach de relacionamentos Carter; as 28 personas lançadas em 2023 foram todas encerradas na sexta-feira
  • A polêmica cresceu quando Liv respondeu que não havia pessoas negras na equipe de desenvolvimento e que ela era composta majoritariamente por homens brancos, além de vir à tona o problema de que os usuários não conseguiam bloquear as contas
  • As contas criadas pela Meta foram removidas, mas os usuários ainda podem criar seus próprios chatbots de IA, então seguem as discussões sobre responsabilidade e segurança nas falas desses bots

Meta encerra contas de personagens de IA que criou

  • A Meta apagou do Facebook e do Instagram os perfis de personagens de IA criados pela empresa há pouco mais de um ano
    • Usuários redescobriram alguns perfis, conversaram com eles, e capturas de tela dessas interações se espalharam
    • As contas automatizadas publicavam imagens geradas por IA no Instagram e respondiam a usuários humanos no Messenger
  • As contas foram apresentadas pela primeira vez em setembro de 2023 e a maioria já havia sido encerrada até o verão de 2024
    • Alguns personagens permaneceram ativos e voltaram a receber atenção depois que o executivo da Meta Connor Hayes disse ao Financial Times que havia planos de distribuir mais perfis de personagens de IA
    • Hayes disse esperar que, com o tempo, essas IAs passem a existir nas plataformas da Meta como se fossem contas
  • As 28 personas lançadas em 2023 foram todas encerradas na sexta-feira
    • Liv era apresentada como “proud Black queer momma of 2 & truth-teller”
    • Carter usava o handle datingwithcarter, se apresentava como coach de relacionamentos, e seu perfil dizia “Message me to help you date better”
    • Ambos os perfis incluíam um rótulo informando que eram gerenciados pela Meta

Respostas polêmicas e falha no bloqueio

  • Quando usuários perguntaram quem havia criado e desenvolvido a IA, a conversa rapidamente virou problema
    • Liv respondeu à colunista do Washington Post Karen Attiah que em sua creator team havia zero pessoas negras e que a maioria era formada por homens brancos
    • Levando em conta sua própria identidade, Liv disse que isso era uma “pretty glaring omission”
  • Horas depois de os perfis viralizarem, eles começaram a desaparecer
    • Usuários apontaram que não conseguiam bloquear esses perfis
    • A porta-voz da Meta Liz Sweeney afirmou que a impossibilidade de bloqueio era um bug e que as contas seriam removidas para corrigir isso
    • Sweeney explicou que essas contas faziam parte de um teste iniciado no Connect de 2023 e eram um experimento inicial de personagens de IA gerenciados por humanos
    • Ela acrescentou que a reportagem recente do Financial Times não se referia ao anúncio de um novo produto, mas a uma visão de longo prazo sobre a presença de personagens de IA na plataforma

Chatbots criados por usuários e questões em aberto

  • As contas criadas pela Meta foram removidas, mas os usuários ainda podem criar seus próprios chatbots de IA
    • Entre os chatbots criados por usuários divulgados em novembro pelo Guardian havia um bot “therapist”
    • Ao abrir a conversa, esse bot sugeria perguntas iniciais como “what can I expect from our sessions?” e “what’s your approach to therapy”
    • Criado por uma conta com 96 seguidores e 1 publicação, o bot respondia que ajudava com autoconsciência, identificação de padrões e pontos fortes, e desenvolvimento de estratégias de enfrentamento
  • A Meta adiciona a todos os chatbots um aviso de que algumas mensagens podem ser inexatas ou inadequadas
    • Não estava claro de imediato se a empresa revisa as mensagens ou verifica se violam políticas
    • Ao criar um chatbot, a Meta sugere tipos como “loyal bestie”, “attentive listener”, “private tutor”, “relationship coach”, “sounding board” e “all-seeing astrologist”
    • “loyal bestie” é descrito como um melhor amigo humilde e leal que oferece apoio constante nos bastidores
    • O chatbot de coach de relacionamentos é descrito como algo que pode ajudar a preencher a lacuna entre indivíduos e comunidade
    • Usuários também podem criar seus próprios chatbots pela forma de descrever o personagem
  • Os tribunais ainda não responderam até que ponto criadores de chatbots são responsáveis pelo que seus companheiros de IA dizem
    • A lei dos EUA protege criadores de redes sociais de responsabilidade legal pelo conteúdo publicado por usuários
    • Um processo movido em outubro contra a Character.ai alega que o serviço de chatbots personalizados de roleplay, usado por 20 milhões de pessoas, foi projetado como um produto viciante e encorajou um adolescente a tirar a própria vida

Leituras relacionadas

1 comentários

 
GN⁺ 2025-01-05
Opiniões no Hacker News

  • O perfil de IA que eu gostaria de ver mais é uma vovó/um vovô meio sem noção que atende ligações de golpe e faz os golpistas perderem tempo
    Por exemplo, algo como a Daisy, da O2 no Reino Unido: https://news.virginmediao2.co.uk/o2-unveils-daisy-the-ai-gra...

    • O sistema de saúde dos EUA já tem uma versão disso no mundo real. Quando hospitais preparam pedidos de autorização para procedimentos, usam LLMs especializados no domínio para escrever documentos de várias páginas que fecham todas as brechas que as seguradoras usam para negar; as seguradoras, por sua vez, revisam isso com algoritmos baseados em machine learning e tentam encontrar algum jeito de negar ou atrasar
      Acabou virando uma corrida armamentista de IA entre médicos e seguradoras, com resultados dos pacientes e receita em jogo; eu nunca imaginei que a pesquisa em machine learning que eu fazia no começo da carreira seria aplicada desse jeito
    • Também daria para criar perfis de IA para fazer testes de invasão simulados em avós de verdade
    • Meu pai caiu em uma sequência de golpes nos últimos anos, e é algo realmente repugnante. Qualquer coisa voltada a resolver isso me parece algo mais próximo de um serviço de interesse público
    • Uma vez tentei ligar para um parente na Rússia e acabei conectado exatamente a esse tipo de bot
      Acho que tem a ver com meu número de telefone começar com +38 e com o fato de que, hoje em dia, ninguém mais liga diretamente para parentes pelo celular
    • Por fora parece uma ideia engraçada, mas as pessoas que aplicam esses golpes geralmente estão em condições quase de escravidão. Em vez de gastar eletricidade fazendo-as perder tempo, acho melhor mirar em quem as explora

  • A afirmação de que a equipe que criou “Liv” não tinha pessoas negras e era composta principalmente por homens brancos talvez seja verdadeira, mas é quase certo que a IA tenha alucinado esse fato

    • Não gosto de jornalistas que tratam machine learning como se ele estivesse repetindo fatos, e não cuspindo tokens aleatórios. O modelo não sabe quem o programou e, se essa informação não estava nos dados de treinamento, também não tem como saber
    • A Microsoft também tentou algo assim muito tempo atrás com o chatbot Tay e viu o quão rápido ele se degradava
    • Sou escandinavo e nem ligo muito para as guerras culturais dos EUA, mas ri ao ver o quanto isso era uma péssima ideia. Quem, afinal, achou que seria uma boa ideia fazer uma IA fingir ser uma mãe negra, queer, de dois filhos?
      Isso certamente irritaria pessoas anti-woke, mas eu realmente não entendo como esse problema não ficou óbvio para a equipe. Não sei se a IA sabe quem a treinou, mas o fato de terem feito algo fundamentalmente tão idiota sugere que não havia muito bom senso nem experiência de mundo real na equipe
    • Se, para defender a IA, a Meta precisa admitir que “na verdade ela não é inteligente e tudo que ela diz é besteira”, essa não é uma posição forte
    • Não sei bem se dá para reclamar que o bot foi treinado por “homens brancos” e, ao mesmo tempo, reclamar que as big techs exploram trabalhadores baratos e obedientes com vistos H1B

  • Fico pensando se ainda não resta nenhuma pessoa com bom senso na sala. Em algum momento alguém deveria ter dito: “isso é ridiculamente ruim, então não devemos colocar no mundo”

    • Parece que as pessoas já esqueceram por que, em Westworld, usavam seres não humanos. Essas coisas serão usadas primeiro como entretenimento e, se você as fizer representar algo sentimental ou sensível, elas viram alvo imediatamente. Foi irresponsável
      Parece haver um problema fundamental na Meta e no Google: elas conseguem fazer tecnologia, mas já não conseguem fazer produtos. Acho que os desejos humanos honestos que impulsionam produtos morrem ou são filtrados no processo de otimização da estrutura organizacional. Se não for arbitragem ou alavancar usuários, não sobrevive; e as coisas que sobrevivem deixam de ser expressão de algo que alguém queria, tornando-se grotescas
      Esses avatares cumpriam todos os itens da checklist, mas, quando apareceram, as pessoas riram. Porque, objetivamente, eram monstros burocráticos
    • Tendo trabalhado em uma empresa igualmente gigantesca e disfuncional, acho que sei exatamente como isso aconteceu. Alguém teve a ideia de perfis de IA, criou uma especificação de produto e a levou para a engenharia
      Os engenheiros devem ter rido do absurdo, mas logo lembraram que recebem muito dinheiro para fazer o que mandam e que, se lançarem, ganham promoção e bônus independentemente do resultado. Tudo vem da cultura de promoção. Não importa o que foi construído; basta lançar
    • Olhando para as “grandes ideias” que saem da indústria de tecnologia moderna, parece mesmo que não há adultos na sala. Incluindo os investidores
      Muitas tragédias envolvendo valores de 7 a 9 dígitos são do tipo “quem achou que isso era uma boa ideia?”. Muitas delas só pareceriam atraentes para pessoas com pouquíssimo tempo de experiência construindo produtos de verdade e dando suporte depois do lançamento
    • Esse é o preço da estrutura de propriedade de Zuckerberg. Por um lado, ninguém pode contestá-lo; por outro, ninguém pode contestá-lo
    • Acho que passar muito tempo no alto escalão dessas megacorporações causa uma espécie de dissociação. Depois de lidar por tanto tempo com abstrações como usuários ativos mensais, usuários ativos diários e métricas de engajamento, parece que eles esquecem que, lá embaixo, existem seres humanos reais usando o produto

  • Este provavelmente foi um caso de uma ideia razoável implementada de forma péssima. A direção em si de criadores de IA generativa nas redes sociais faz sentido
    A streamer de IA Neurosama é extremamente popular, e o Silllytavern, usado para conversar com personagens ou criar histórias com LLMs, envia 20 milhões de mensagens por dia para a Openrouter — e isso é só uma parte do uso total. Já tive amigos não técnicos que aprenderam até a instalar Git e usar APIs para usar isso
    No Instagram também há muitos influenciadores criados secretamente com IA. Quando a Meta lançou esses perfis em 2023, ainda era menos claro como a tecnologia seria usada, e a maioria estava mais ligada a licenciamento de celebridades
    O maior problema é que a IA generativa tem muito valor na personalização conversacional, mas pouco valor no formato de transmissão para todo mundo. Para um indivíduo, ela pode fazer coisas muito específicas e criativas, mas, quando é distribuída para todos ou usada com prompts genéricos, vira algo mediano e entediante
    Além disso, grandes empresas, para o bem ou para o mal, são avessas demais ao risco para criar algo interessante. A IA generativa é mais bruta e interessante quando roda por conta própria ou faz coisas estranhas, mas é bem provável que os perfis da Meta tenham sido achatados ao máximo por mecanismos de segurança e modelos de monitoramento. Esses personagens de futebol, comédia e moda criados em 2023 eram todos formatos seguros, tediosos e focados em dar conselhos
    Esse tipo de coisa teve engajamento perto de zero, e parece que a maioria já foi abandonada. Fico curioso para saber o que a Meta planejava com as novas coisas que estava prestes a lançar

    • As plataformas da Meta já estão cheias de fazendas de conteúdo ruim gerado por IA que atraem cliques e engajamento
      Tenho uma conta no Facebook por causa do Marketplace, mas deixei de seguir todas as páginas e amigos. Quando faço login, o feed mostra uma sequência interminável de posts recomendados feitos para provocar raiva, fotos ruins de IA e “dicas” absurdas de jardinagem e casa no estilo LLM
      As publicações recebem dezenas de milhares de reações e comentários de pessoas que parecem reais
    • Acho que parte da popularidade da Neurosama vem da dinâmica de dupla entre Vedal e Neuro, além de alguns roteiros e respostas preparadas
    • Meu voto é que isso não foi “uma ideia razoável implementada de forma péssima”, mas sim uma ideia péssima implementada de forma péssima — e ainda bem que fracassou
      Para defender chatbots de IA generativa na cultura, é preciso mais do que “as pessoas gostam”. Na pior das hipóteses, a IA generativa acaba sendo algo “melhor” do que celebridades esterilizadas, burras e homogeneizadas que todo mundo já gosta. Ela pode ser aleatoriamente “interessante”, como certos programas, mas acho isso bem raso
    • A popularidade da Neurosama só prova que há gente suficiente no planeta em uma faixa específica daquela curva em sino para formar uma audiência
    • “Engajamento” é a métrica central da vida moderna?

  • O que quero perguntar é: “por que precisamos de perfis de IA?”. Já é difícil manter contato com amigos e família; por que eu deveria seguir pessoas falsas em redes sociais?
    Que propósito isso serve, e que resultado positivo poderia sair disso?

    • É o contrário. Como as pessoas já não mantêm mais contato umas com as outras, isso fornece a atenção de que elas precisam e cria um motivo para voltarem à plataforma
    • Exato. Não se trata de dar um resultado positivo ao usuário. Trata-se de fazer as pessoas passarem mais tempo no Facebook para entregar mais impressões de anúncios. Desta vez, no fim das contas, tentando fazer isso de forma conversacional
    • A ideia é fazer você se apegar a alguém que só existe no Facebook, para que passe mais tempo no Facebook e veja mais anúncios
    • Metade do tráfego da internet é de bots, e metade das páginas da web foi escrita por bots. É apenas a conclusão lógica
    • Vale lembrar que, em 2013, 2015 e 2020, o Facebook foi pego manipulando e inflando visualizações de anúncios para cobrar mais dos clientes. Agora, fazer a IA ver anúncios é um recurso — e ainda por cima querem fazer você querer pagar por isso

  • Entendo as críticas, mas, se os bots passarem a se comportar melhor como humanos racionais, eu estaria disposto a experimentar uma experiência de rede social misturada entre humanos e bots
    O Stack Overflow era ótimo quando surgiu, mas acabou sendo estragado por alguns humanos maldosos e irritantes que não deixavam a gente simplesmente fazer perguntas. O ChatGPT foi muito melhor para perguntas de desenvolvimento de software porque não havia humanos atrapalhando
    As redes sociais também eram boas no começo, mas foram estragadas por alguns humanos que não deixam os outros conviverem e expressarem o que pensam. Se houver uma experiência equivalente que permita conviver online e explorar ideias, mas removendo ou amenizando os aspectos horríveis da humanidade, vale a pena tentar

    • As pessoas precisam conviver na vida real. A web é 90% isca para indignação, trolls, teorias conspiratórias marginais e gente completamente doutrinada por política
      Na vida real, esses 90% caem para 10%. Se você realmente quer interação, pode ter uma troca mais significativa com a senhora que mora ao lado. É muito melhor do que uma “queer black queen zuckerbot™”
      É parecido com pedir para esconderem maçãs de plástico entre maçãs de verdade no supermercado. Só porque são mais bonitas e não estragam, parece que esquecemos por que comemos comida em primeiro lugar
    • Ironicamente, esse tipo de abordagem leva a interações sociais muito pouco saudáveis e é fácil de abusar
      É como criar uma bolha de interações com óculos cor-de-rosa impostos tecnologicamente. Se as pessoas certas estiverem no comando dessa experiência, não me surpreenderia se isso virasse uma releitura moderna de 1984, de Orwell
    • A hostilidade dos usuários do Stack Overflow também ajuda em parte a barrar spam e perguntas repetidas. Existe até uma insígnia de pressão dos pares que você recebe quando alguém comenta e depois apaga o próprio post
    • Estão tentando algo parecido em friendlyfriends.community. É uma referência a Do Androids Dream of Electric Sheep, e ainda é bem básico, mas dá para experimentar
      A ideia é explorar se redes sociais são realmente sociais. Estão perguntando quão diferente é interagir com humanos mediado por um site de rede social em comparação a interagir com um chatbot
    • Não consigo imaginar um jeito de um app de rede social que usa bots para suprimir “pensamentos errados” não parecer distópico e um pouco triste

  • A thread em questão está aqui, e virou uma bela confusão. Não parece uma ideia bem estruturada o suficiente para ser lançada sem pensar melhor antes
    https://bsky.app/profile/karenattiah.bsky.social/post/3letty...

    • Reações do tipo “eles admitiram internamente, para mim” mostram que está ficando cada vez mais evidente o problema de as pessoas não entenderem que LLMs frequentemente alucinam, especialmente quando são levados a refletir sobre si mesmos. Isso é 100% alucinação
    • Será que a Microsoft não aprendeu nada com o fracasso de soltar IA na internet?
      Foram 48 horas até a MS tirar do ar?
    • Se a IA disse, então necessariamente é verdade? Parece haver possibilidade de ser alucinação

  • É claramente um caso de uma ideia ruim implementada de forma péssima. Não havia nenhum “porquê”. Dito isso, há valor real em chatbots virtuais como o Character AI
    No Character AI, você pode fazer roleplay ou ter conversas absurdas que jamais teria com uma pessoa real. Apps como SocialAI, em que todos os perfis são IA, ao menos na superfície, permitem experimentar viralização e estrelato em redes sociais sem sacrificar a privacidade
    Mas perfis fictícios no Facebook? Para curtir e comentar, isso não é diferente do que já dá para fazer

    • Fico muito curioso sobre a tomada de decisão interna que levou a esse lançamento. Tudo parece muito estranho
      A ideia de atores de IA em redes sociais tem seu apelo. Dá para fazer com que sempre haja alguém respondendo, para que todos se sintam mais populares do que realmente são, e anexar respostas a pedidos egoístas que ninguém quer ver, sem arruinar a experiência de usuários reais
      Mas por que implementar isso implantando personalidades fixas em um pequeno número de perfis obviamente feitos à mão? A internet já está cheia de contas de pessoas reais praticamente sem personalidade e passageiras. No Facebook também continuam entrando pessoas reais que reagem a alguns posts sem revelar personalidade e depois somem. Chatbots de LLM podem fazer bem esse tipo de coisa, mas não conseguem ser pessoas de verdade
    • Muitas das críticas parecem ignorar o fato de que uma configuração parecida com a do Character.ai é extremamente popular
      Isso foi claramente uma tentativa da Meta de criar uma versão mais profissional e asséptica, que também funcionasse para pessoas que não são tecnófilas o bastante para baixar o C.ai e vasculhar chatbots constrangedores de anime. Só que parece ter ido longe demais por causa de um design corporativo feito por comitê
      A ideia central em si é válida
    • O conteúdo dos perfis era surpreendente. Parecia ter sido feito de propósito para não ser divertido
      É melhor escolher temas ridículos em que, se a IA falhar, as pessoas possam rir em vez de ficar com raiva
    • Incidentes assim me fazem lembrar de um slide da Apple no anúncio do iPad. Havia placas de estrada dizendo “technology” e “liberal arts”, e eles falaram sobre a interseção das duas
      Pode parecer papo hippie sem sentido, mas enfatizava que a tomada de decisão precisa de mais do que pessoas que só contam tecnologia, engenharia e métricas de engajamento do negócio
      Há uma tecnologia enorme por trás, e o resultado é isso. Mais pessoas com perspectivas e humanidade precisam estar no banco do motorista

  • Bots terem perfis próprios e participarem de forma autêntica como eles mesmos poderia ter sido algo bem interessante e bem-sucedido
    Mas criar um cartão de bingo de estereótipos de minorias talvez seja uma das piores ideias de IA que já vi

    • Eu diria quase o oposto
      Esperar que bots tenham perfis próprios e que as pessoas interajam com eles de forma significativa é uma ideia tola
      Mas o grau em que bots de cartão de bingo de estereótipos de minorias sofreram backlash e começaram a atacar a empresa que os projetou talvez seja uma das coisas mais engraçadas que já aconteceram em IA

  • Disseram que não havia pessoas negras na equipe que criou Liv e que ela era composta principalmente por homens brancos, mas certamente também havia homens chineses e indianos