TikTok está prejudicando crianças em escala industrial

• Procuradores-gerais de 14 estados dos EUA entraram com ações alegando que o TikTok causa danos graves a crianças e adolescentes
• Documentos internos e falas de funcionários revelam algoritmos viciantes, problemas de saúde mental, exploração sexual e exposição a pornografia infantil
• O TikTok tem conhecimento desses problemas, mas os deixa de lado ao priorizar lucro e engajamento dos usuários
• O sistema de filtragem de conteúdo e os controles parentais são muito ineficazes, e a verificação de idade para impedir a entrada de crianças também falha
• Muitos usuários da Geração Z também têm a percepção de que “estão viciados, mas não conseguem parar”, e, no geral, o benefício líquido para a sociedade é muito negativo

O dano em escala industrial que o TikTok causa às crianças

Suprema Corte dos EUA deve decidir sobre a lei de banimento do TikTok

• A Suprema Corte dos EUA deve decidir se vai intervir na lei de banimento do TikTok
• Se a lei entrar em vigor, o serviço será interrompido nos EUA, a menos que a ByteDance venda o TikTok
• No entanto, as evidências de danos reais, como saúde mental, exploração infantil e vício, foram excluídas da análise jurídica
• Com isso, ganha destaque a importância do julgamento público (opinião pública)

Depoimentos de pessoas de dentro do TikTok e documentos vazados

Principais ações dos procuradores-gerais e documentos

• Procuradores-gerais de 14 estados, incluindo Kentucky, Utah, Nebraska e Nova York, entraram com ações
• Foram divulgadas muitas conversas internas no Slack, documentos de planejamento e dados de experimentos
• Foram confirmadas estratégias de design e de algoritmo voltadas intencionalmente para adolescentes
• No caso dos documentos censurados, eles foram tratados apenas com caixas pretas simples, o que permitiu restauração fácil

Cluster de danos 1: vício e indução ao uso compulsivo

• O TikTok declara explicitamente que adolescentes são o alvo capaz de oferecer mais tempo e engajamento
• O uso compulsivo é induzido por algoritmos viciantes, scroll infinito, autoplay e design de notificações
• Adolescentes são especialmente sensíveis à recompensa social (curtidas, comentários etc.) e têm pouca capacidade de autorregulação
• Funcionários internos também expressaram preocupação de que “nosso produto é prejudicial ao desenvolvimento infantil”
• O relatório ‘TikTank’ menciona que usuários adolescentes, em especial, sofrem efeitos colaterais como falha de autorregulação, perturbação do sono e queda da capacidade de aprendizagem

Cluster de danos 2: problemas de saúde mental e bolha de filtros

• O uso compulsivo provoca ansiedade, depressão, autodepreciação, automutilação e impulsos suicidas
• Contas de teste caíram em apenas 20 minutos em uma bolha de filtros cheia de conteúdo sobre depressão, suicídio e transtornos alimentares
• O TikTok sabe que filtros de aparência provocam distorção da autoimagem e baixa autoestima, mas deixa isso acontecer
• Moderadores de conteúdo não conseguem bloquear adequadamente conteúdo de automutilação/suicídio por causa de incapacidade de interpretar linguagem, falta de contexto e critérios ambíguos

Cluster de danos 3: circulação de pornografia, violência e conteúdo sobre drogas

• Pornografia, anúncios de drogas e vídeos violentos são recomendados automaticamente para contas de menores de idade
• O sistema de filtragem de conteúdo do TikTok não consegue lidar direito com linguagem codificada implícita
• Documentos internos mostram que a empresa tem ciência de que tráfico de drogas, prostituição e lavagem de dinheiro acontecem no TikTok LIVE
• Durante a investigação, o procurador-geral de Utah apresentou um caso em que seu filho foi abordado diretamente por um traficante de drogas
• De 30% a 100% do conteúdo gravemente nocivo não é filtrado e acaba sendo exibido

Cluster de danos 4: exploração sexual, CSAM e prostituição infantil em transmissões ao vivo

• O TikTok optou deliberadamente por não implementar tecnologia de detecção de material de abuso sexual infantil (CSAM)
• Crianças de 13 a 15 anos recebem presentes (moeda virtual) de adultos em transmissões LIVE e oferecem conteúdo sexual
• O TikTok tem conhecimento disso, mas deixa acontecer por causa da lucratividade e da manutenção do engajamento
• Há também transmissões em que a própria criança aparece segurando mensagens como “sorvete = genitais, espaço = tirar a roupa”
• A função LIVE é muito nociva para crianças, mas o TikTok afirmou internamente que “é lucrativa demais para ser limitada”

Cluster de danos 5: desrespeito ao limite de idade e resposta insuficiente

• O TikTok tem limite de idade, mas não pune mesmo sabendo da presença de inscritos menores de 13 anos e do uso por crianças
• A verificação de idade é praticamente inútil, e menores conseguem mentir a idade com facilidade
• O controle parental (Family Pairing) quase não é usado e não oferece proteção efetiva
• Há documentos internos mostrando que o TikTok usa recursos de segurança apenas como “justificativa de fachada” para governo e imprensa
• Manter DAU (usuários diários) e taxa de engajamento é o objetivo central de todas as decisões, e a segurança fica fora das prioridades

Arrependimento e dependência entre usuários jovens

• Muitos usuários do TikTok respondem: “Sei que estou viciado, mas não consigo parar”
• Em experimentos, muitos responderam que parariam de bom grado se todos parassem juntos
• Em pesquisa da Harris Poll, o TikTok teve 47% de respostas dizendo “seria melhor se nunca tivesse existido”, a maior taxa entre as redes sociais
• O TikTok é uma plataforma com vício comportamental e vício social ao mesmo tempo, e os próprios usuários reconhecem que ela lhes faz mal

Conclusão: necessidade de regular o TikTok para proteger crianças

• Os danos que acontecem no TikTok não são simples acidentes, mas resultados de design
• Milhões de crianças nos EUA estão sofrendo danos mentais e físicos graves apenas com o uso normal da plataforma
• Sob o algoritmo e a política de conteúdo atuais, o TikTok é uma plataforma que viola a própria infância
• Também para o conjunto da sociedade americana, a interrupção do serviço do TikTok em 19 de janeiro pode ser uma mudança positiva

[GN⁺]

Opinião do Hacker News

• Haidt não é exatamente a pessoa mais cuidadosa em análise de dados, mas, nos últimos 10 anos, suas principais afirmações em geral vinham apontando na direção certa

  • a cultura do cancelamento não é compatível com normas democráticas
  • as redes sociais têm um pequeno efeito negativo em muitas pessoas e um grande efeito negativo em algumas
  • estar sempre com o celular é ruim para tudo que exige atenção contínua, especialmente romance e namoro
  • a tecnologia não vai resolver esse problema. A IA vai piorar a situação. Mesmo que o TikTok seja banido e surja uma versão melhor, ainda estaremos indo na direção errada. É necessária uma mudança cultural, e Haidt está fazendo o melhor que pode para isso

• Quando o gabinete do procurador-geral de Kentucky publicou o relatório sobre o TikTok, cobriu o texto com retângulos pretos, mas era possível copiar com o cursor e ler o texto oculto. Uma situação muito engraçada

• Embora não tenha filhos, compartilha uma experiência pessoal para mostrar que são possíveis outras formas de lidar com tecnologia e crianças

  • vivendo no Centro-Oeste nos anos 1980, pediu aos pais que comprassem uma Encyclopedia Britannica de 1973 usada. Isso proporcionava a alegria da curiosidade e da descoberta que se pode obter em recursos online
  • até durante viagens levava a enciclopédia para ler. Isso mostra que há maneiras de as crianças atenderem a diversas necessidades sem depender de tecnologia

• Fica surpreso com o fato de ser comum que mulheres jovens e adolescentes recebam pedidos de presentes e comentários sexualizados. Isso pode ter um grande impacto em pessoas menores de 18 anos

• Questiona por que relatórios internos escrevem coisas que a diretoria não quer ouvir

  • se não percebem o que a diretoria não quer ouvir
  • se a diretoria na verdade quer ouvir, mas deseja uma interpretação intencionalmente enviesada
  • se acreditam que a informação será usada de forma construtiva
  • se estão apenas tentando cumprir seu papel como pesquisadores honestos
  • se é uma forma de segurança no emprego para evitar demissão
  • se estão tentando deixar um registro documental caso o escândalo venha a público

• Acha engraçada a forma inadequada como o gabinete do procurador-geral de Kentucky tratou a censura

• Acha que seria bom se os pais bloqueassem determinados sites nos dispositivos dos filhos. Não teria sido necessário ampliar a censura e a vigilância

• Compartilha a experiência de ter precisado bloquear as redes sociais por conta própria por serem viciantes. Assistir a vídeos pode ser útil do ponto de vista educacional, mas é melhor identificar o que é útil por meio de resumos de LLM