3 pontos por GN⁺ 5 시간 전 | 2 comentários | Compartilhar no WhatsApp
  • Um profissional de machine learning com 20 anos de experiência, que havia depositado expectativas no avanço das redes neurais, escolhe hoje recusar seu uso, afirmando que a febre atual da IA gera custos sociais e ambientais que não podem ser justificados por sua utilidade
  • Modelos de geração de texto criam a ilusão de compreender instruções e conversar como humanos ao prever de forma sofisticada a palavra seguinte, mas o entusiasmo que os vê como uma tecnologia próxima de uma consciência em nível humano continua apesar das objeções de especialistas em cognição e linguagem
  • Grandes empresas de tecnologia e investidores, mais do que focar em inovações nas próprias redes neurais, concentram-se em construir modelos maiores, exigindo enormes quantidades de dados de treinamento e energia, e ignoram a contradição de reconhecer a mudança climática enquanto adotam uma tecnologia que aumenta a demanda por combustíveis fósseis
  • Embora seja difícil evitar completamente a exploração e a degradação ambiental envolvidas na vida moderna, a IA continua sendo, como era há apenas 3 anos, algo de que é fácil escolher não usar, já que basta usar o computador sem ela em defesa dos direitos humanos e ambientais
  • A posição anti-IA em 2026 se assemelha à posição antiguerra antes da invasão do Iraque em 2002 e, mesmo com a diferença de que a relação causal dos danos é menos clara e até colegas e amigos participam disso, repete-se uma estrutura social que recompensa más escolhas

Da previsão da próxima palavra ao entusiasmo industrial

  • Cerca de 15 anos atrás, quando o machine learning com redes neurais entrou em seu segundo renascimento, ele passou a superar outras técnicas na classificação e geração de diversos materiais digitais, como imagens, áudio e texto
  • Modelos de geração de texto, por meio da capacidade de escolher a próxima palavra, implementaram chatbots que parecem entender instruções e conversar como seres humanos de verdade, cativando líderes empresariais, políticos e profissionais da indústria de tecnologia
  • Essa tecnologia é uma técnica sofisticada que produz uma ilusão temporária de compreensão, mas por algum tempo foi comum até mesmo pessoas razoáveis acreditarem que geradores da próxima palavra haviam se aproximado de uma consciência semelhante à humana
    • Especialistas em cognição e linguagem continuaram explicando por que tal consciência não surge, mas a febre continuou
    • Como o termo é usado de forma abrangente para englobar várias tecnologias, artificial intelligence é chamado de IA
  • Grandes empresas de tecnologia, que já ocupam uma parcela desconfortavelmente grande da economia sem produzir bens essenciais para a vida, apostaram seu destino na IA
    • As inovações práticas nas próprias redes neurais desaceleraram
    • Empresas e investidores passaram a se concentrar na construção de modelos maiores, que exigem enormes volumes de dados de treinamento e energia
  • Em 2026, a negação explícita da mudança climática já não está mais na moda, e a maioria reconhece o consenso científico de que o clima está aquecendo por causa da dependência de combustíveis fósseis
    • Ainda assim, a IA está aumentando diretamente a demanda da sociedade por petróleo, e a crítica de que ela é inadequada para adoção apenas por seu consumo energético é ignorada pelos usuários
  • Mesmo quando se apontam os danos atuais e os danos adicionais caso essa tendência continue, as preocupações são rejeitadas, já que indivíduos e empresas ricos decidiram construir o futuro sobre a abordagem tecnológica específica que possuem
  • Alguns usuários podem considerar chatbots úteis, mas nenhum uso chega a um nível que justifique os custos socializados suportados pela sociedade como um todo
  • Mesmo para um profissional de machine learning com 20 anos de experiência, que depositou expectativas no avanço das redes neurais na última década, o rumo atual da IA já saiu dos trilhos

Uma tecnologia que se pode recusar a usar e padrões que se repetem

  • As pessoas podem ter se tornado insensíveis a argumentos morais que criticam sistemas sociais e tecnológicos por causarem dano a alguém
    • Não há problema com os próprios argumentos morais, mas viver de forma comum em países ricos inevitavelmente implica depender da exploração de inúmeras pessoas e de recursos ambientais finitos
    • Mesmo uma posição ética coerentemente pró-social dificilmente escapa da reação de que ela se torna comprometida no instante em que entra em contato com essa sociedade
  • É difícil evitar os danos embutidos em comida, roupas e eletrônicos, mas a IA ainda é algo fácil de não usar
    • É uma escolha que permite colocar em prática, na vida real, uma ética de respeito aos direitos humanos e ambientais
    • Basta usar o computador da mesma forma que há apenas 3 anos
  • Se as perspectivas sobre a IA, excluídas as previsões otimistas, se concretizarem, os registros do futuro farão surgir a dúvida sobre por que mais pessoas não se recusaram a usá-la
  • O sentimento despertado pela posição anti-IA é semelhante ao do fim de 2002, antes da invasão do Iraque pelos EUA
    • Na época, parecia claro que os líderes nacionais estavam mentindo para justificar a guerra e que, exceto para alguns poucos ricos, não haveria bons resultados, mas a mídia e grande parte do público desprezavam os críticos
    • A posição anti-IA provoca uma sensação parecida com a da posição antiguerra daquela época
  • A diferença entre os dois períodos está em ser mais difícil identificar a causa dos danos produzidos pela IA
    • É difícil atribuir quantas pessoas morrem quando a temperatura média global sobe 0,1 grau, ou qual parcela desse aumento cabe a um data center específico que queima gás
    • Também é diferente o fato de que até colegas próximos e amigos queridos estejam do lado de usar IA
  • Tentou-se persuadir colegas e amigos a conectar suas crenças prévias sobre mudança climática, confiabilidade de grandes empresas e o direito de viver e trabalhar com dignidade à interrupção do uso de IA, mas sem sucesso
  • Não é possível pedir perdão aos leitores do futuro, mas as pessoas de hoje não são más; são pessoas comuns colocadas em uma situação que recompensa más escolhas e pune boas escolhas
  • Recomenda-se ler junto To Gen or Not To Gen: The Ethical Use of Generative AI e The AI Con, que organizam de forma concreta os danos sustentados pela IA generativa

2 comentários

 
realg 2 시간 전

Sempre que vejo um texto com esse tipo de posição ou nuance, o que me vem à cabeça é: será que aquele “previsor da próxima palavra”, como chamam em tom de deboche, é tão diferente assim de uma pessoa? O pensamento humano, seja experiência ou insight baseado em experiência, não parece ser muito diferente do ato de pensar na próxima palavra. E, para piorar, hoje em dia também se vê muita gente que nem consegue pensar nessa próxima palavra de forma normal e racional.

 
GN⁺ 5 시간 전
Opiniões no Lobste.rs
  • Há algo que meus colegas estão deixando passar ultimamente. Não usar IA ainda é fácil. Os eletrônicos que comemos, vestimos e tocamos estão envolvidos em inúmeros danos a seres humanos e ao meio ambiente, e é difícil evitar tudo isso, mas recusar a IA é uma das raras opções em que dá para colocar em prática uma ética que valoriza os direitos humanos e ambientais. A frase de que basta usar o computador como há 3 anos expressa melhor do que qualquer outra o que eu vinha tentando transmitir neste site

    • Não devemos reduzir isso à ideia de que o impacto do consumo cotidiano é inevitável. É possível evitar roupas feitas com trabalho infantil ou alimentos produzidos de formas que agridem o meio ambiente, e também nessas áreas devemos fazer escolhas éticas e sustentáveis
  • Este texto diz exatamente o que eu vinha sentindo. Hoje em dia, mesmo que se critique moralmente um sistema social ou tecnológico por causar dano a alguém, isso dificilmente convence. Para viver de forma comum em países ricos, dependemos inevitavelmente da exploração de inúmeras pessoas e de recursos ambientais finitos, então uma ética coerente para toda a sociedade se desfaz no momento em que entra em contato com a realidade
    Costuma-se dizer que não existe consumo ético sob o capitalismo, mas não está claro o que se pode fazer além de derrubar o capitalismo. As ações de indivíduos e consumidores parecem servir mais para aliviar a consciência do que para mudar o mundo. Pessoas comuns vivem dentro de uma estrutura que recompensa decisões ruins e pune decisões boas, isto é, Moloch

  • Há dois erros neste texto. Primeiro, ele chama LLM de simples previsor da próxima palavra, mas por causa do pós-treinamento (post-training) acontece muito mais coisa internamente, e os resultados também mudam bastante. É parecida a ideia equivocada de que LLM só consegue produzir conteúdo estatisticamente mediano. Segundo, ele parte da noção de que, para ter valor econômico, um LLM precisaria ter consciência, mas não é necessária uma consciência semelhante à humana para substituir humanos e realizar tarefas que antes só humanos conseguiam fazer
    A escolha de não usar LLM é válida, mas não vejo valor em críticas feitas sem entender o que é um LLM nem como funcionam sistemas ou agentes modernos baseados em LLM

    • Chamar um LLM autorregressivo de previsor da próxima palavra é uma simplificação, mas é correto. O ponto central do autor parece ser que, em comparação com a enorme complexidade da estrutura humana, a estrutura do LLM muitas vezes não é assim, e que é difícil fazer trabalho útil só com um truque simples. Concordar ou não com isso é outra questão, mas é esse argumento central que precisa ser enfrentado diretamente
    • Há sentidos diferentes sobrepostos na expressão previsor da próxima palavra. Se você entendeu que o texto afirma que ele só pode prever a palavra estatisticamente mais comum de todo o corpus, então a objeção de que o pós-treinamento muda isso está correta. Mas o sentido do texto é que o sistema gera mecanicamente um token de cada vez e reinsere essa saída como entrada, e isso também está correto, e o pós-treinamento não altera essa estrutura
    • No estado atual, eu diria até que, para a IA ter viabilidade econômica, ela não deve ter consciência. Não parece provável que uma superinteligência consciente vá se importar com a meta de lucro trimestral de uma empresa além do necessário para a própria sobrevivência
    • No primeiro ponto, é preciso separar as duas afirmações. Modelos de linguagem de fato são previsores da próxima palavra, e, para dizer que modelam linguagem, precisam ao menos ter essa capacidade. No limite, só a distribuição de probabilidade da próxima palavra já permite prever o restante da fala, e as distribuições da próxima palavra, do próximo token e da próxima frase levam à mesma distribuição. O analista de xadrez Réti, como mostrado neste texto, dizia olhar apenas um lance à frente, mas com certeza de que era um bom lance; do ponto de vista probabilístico, isso basta para prever a partida inteira
      O pós-treinamento não adiciona nada ao conjunto de tokens existente; ele apenas enfatiza certos caminhos já aprendidos, elevando exponencialmente sua probabilidade, ou reduz a probabilidade de caminhos indesejáveis. Como na discussão anterior no Lobsters, a injetividade do Transformer não muda com treinamento por descida de gradiente; o treinamento em corpus ou o aprendizado por reforço (RL) não cria nem apaga caminhos, só ajusta probabilidades. Em certo sentido, poderíamos até dizer que a verdadeira etapa de pré-treinamento do Transformer ocorre quando se treina o tokenizador. Além disso, não me parece que o autor esteja defendendo a segunda tese, de que a consciência do LLM seria necessária para ter valor econômico, e eu também concordo que machine learning em geral pode ser útil e lucrativo
  • A passagem de que “houve uma moda de acreditar que geradores da próxima palavra estavam se aproximando de uma consciência parecida com a humana, e especialistas em cognição e linguagem continuaram explicando por que isso era impossível” é estranha por dois motivos. Primeiro, não parece que os otimistas em IA estejam de fato defendendo essa consciência, e a utilidade imediata da IA ou sua possibilidade de transformar ou destruir o mundo também não pressupõem consciência
    Além disso, essa afirmação não é factual. Há um comentário recente que vale ler, no qual os especialistas em ciência cognitiva Stanislas Dehaene, Lionel Naccache, Patrick Butlin, Dillon Plunkett e Robert Long tratam essa questão em detalhe no contexto do recente artigo da Anthropic sobre “global workspace”. Eles não concluem nem que a IA tem consciência, nem que certamente não tem; analisam em que aspectos as propriedades emergentes dos LLMs se parecem ou diferem da consciência animal e propõem experimentos adicionais
    Como os cientistas cognitivos ainda têm muita incerteza quanto à consciência fenomenal dos LLMs, afirmar categoricamente que eles têm consciência é se adiantar à academia. Mas também é injustificado dizer que especialistas já demonstraram por que geradores da próxima palavra não podem se aproximar de uma consciência semelhante à humana. Eles relutam até mesmo em afirmar com confiança que já não há consciência ali

  • Independentemente de a IA atual vir ou não a obter senciência em breve, sempre achei que, para aumentar produtividade e satisfação, é preciso aprender as ferramentas, tecnologias e práticas de trabalho disponíveis. Por isso, também é racional aprender a usar bem previsores de palavras ou LLMs
    Mas, no plano ético, concordo com a preocupação do texto, e minha vida profissional agora também está numa encruzilhada. Entendo cada vez mais por que pessoas de tecnologia viram agricultores ou migram para ofícios como encanamento e elétrica, passam a depender da terra e saem da internet. No meu caso, o burnout e a fadiga digital parecem só aumentar a vontade de me desligar das redes sociais, ficar com a família e criar lhamas ou ovelhas, esperando a poeira baixar

  • Acredito que especialistas em cognição e linguagem realmente explicaram por que geradores da próxima palavra não podem se aproximar de uma consciência semelhante à humana. Gostaria de saber quais são os materiais acadêmicos mais convincentes que sustentam isso

    • Na verdade, melhor que não haja consciência. Eu não gostaria de escravizar uma mente consciente para escrever meu código, e criticaria duramente quem achasse isso normal. Se a IA adquirir senciência e ainda assim não receber direitos, eu me juntarei à rebelião dos robôs
    • https://theatlantic.com/philosophy/2026/…