As três leis inversas da IA

• Após o lançamento do ChatGPT, os serviços de chatbot de IA generativa passaram a fazer parte da computação do dia a dia ao serem incorporados a mecanismos de busca, ferramentas de desenvolvimento e softwares de escritório, e o hábito de confiar nas respostas sem revisão pode ser socialmente perigoso
• As leis inversas da robótica são princípios aplicados não aos robôs ou à IA, mas aos humanos, como critérios para mantê-los seguros ao interagir com máquinas, programas, serviços e sistemas de IA que executam tarefas complexas automaticamente
• O primeiro princípio é a não antropomorfização: não se deve atribuir emoções, intenções ou agência moral à IA, nem confundir a conversa educada e empática de um chatbot com compreensão ou julgamento reais
• O segundo princípio é a não credulidade cega: conteúdo gerado por IA não deve ser tratado como autoridade sem verificação independente, e quanto mais sutil for o erro e maior o custo no contexto, maior deve ser a carga de checagem com recursos como verificadores de prova, testes unitários ou verificação direta
• O terceiro princípio é a proibição de abdicar da responsabilidade: como a IA é uma ferramenta que não escolhe objetivos nem arca com o custo do fracasso, humanos e organizações que decidem seguir recomendações da IA devem responder pelos resultados

---

Riscos que surgem com o uso de IA generativa

• Desde o lançamento do ChatGPT em novembro de 2022, os serviços de chatbot de IA generativa ficaram mais sofisticados e populares, passaram a ser incorporados a mecanismos de busca, ferramentas de desenvolvimento de software e softwares de escritório, e se tornaram parte da computação cotidiana
• Esses serviços são úteis para explorar temas desconhecidos ou como ferramentas gerais de apoio à produtividade, mas o hábito de confiar nas respostas sem revisão adicional pode ser socialmente perigoso
• À medida que mecanismos de busca populares destacam respostas geradas por IA no topo da página, fica mais fácil para o usuário aceitar a resposta gerada e seguir em frente sem rolar mais a tela
• Com o tempo, esse arranjo pode condicionar os usuários a tratar a IA não como ponto de partida para investigação adicional, mas como autoridade padrão
• Em serviços de IA generativa, podem surgir respostas incorretas, enganosas ou incompletas, e é necessário um alerta curto e visível de que confiar habitualmente nas saídas da IA é arriscado
• Mesmo quando esses alertas existem, em geral tendem a ser minimizados e menos destacados visualmente

Contexto das 3 leis inversas da robótica

• As Three Laws of Robotics, de Isaac Asimov, aparecem repetidamente em suas obras como princípios que restringem o comportamento dos robôs para manter os humanos em segurança
• Não parece que Asimov tenha criado um conjunto equivalente de leis para tratar da forma como os humanos interagem com robôs, e no ambiente atual de IA são necessários princípios correspondentes para manter os humanos seguros
• As leis inversas da robótica (Inverse Laws of Robotics) se aplicam a todas as situações em que humanos interagem com robôs
• Aqui, robô se refere a máquinas, programas de computador, serviços de software e sistemas de IA capazes de executar automaticamente tarefas complexas
• A palavra inversas (inverse) não significa negação lógica, mas que o alvo de aplicação das leis não são os robôs, e sim os humanos
• As leis de Asimov tinham falhas, e ele explorou essas falhas como elemento de tensão narrativa, mas os modos de falha que surgem em robôs fictícios não se aplicam diretamente às leis inversas voltadas aos humanos
• Não existe um conjunto finito de leis capaz de resolver completamente os problemas complexos da IA e da robótica, e sempre restarão casos de fronteira que exigem julgamento
• Ainda assim, um conjunto imperfeito de princípios que ajuda a pensar os riscos com mais clareza pode ser útil

As 3 leis inversas da robótica

• Não antropomorfizar

  • Humanos não devem antropomorfizar sistemas de IA, nem atribuir à IA emoções, intenções ou agência moral
  • A antropomorfização distorce o julgamento e, em casos extremos, pode levar à dependência emocional
  • Sistemas modernos de chatbot muitas vezes soam conversacionais e aparentemente empáticos, usando expressões educadas e padrões de diálogo que lembram a interação humana
  • Essas características tornam o uso mais fácil e agradável, mas também facilitam esquecer que a IA é, na prática, um grande modelo estatístico que gera texto plausível com base em padrões nos dados
  • Muitos serviços de chatbot baseados em IA são deliberadamente ajustados para parecer mais humanos, e não mais mecânicos
  • No longo prazo, um tom um pouco mais robótico pode ser uma abordagem mais saudável por reduzir a chance de o usuário confundir linguagem fluente com compreensão, julgamento ou intenção
  • Independentemente de os fornecedores fazerem essa mudança ou não, os usuários devem evitar ativamente o hábito de tratar sistemas de IA como agentes sociais ou morais
  • Isso permite avaliar com mais clareza as capacidades e limitações da IA

• Não confiar cegamente

  • Humanos não devem confiar cegamente nas saídas dos sistemas de IA, nem tratar conteúdo gerado por IA como algo autoritativo sem verificação independente adequada ao contexto
  • Esse princípio não vale apenas para a IA; em quase todas as áreas da vida, informações não devem ser aceitas de forma acrítica
  • Na prática, como nem todos são especialistas em medicina ou direito, muitas vezes as pessoas dependem da orientação de instituições confiáveis e autoridades de saúde pública
  • As orientações publicadas por essas instituições normalmente passam por revisão por pares de especialistas na área
  • Em contraste, a resposta fornecida por um chatbot de IA em uma sessão de conversa individual não passa por revisão por pares para aquela resposta probabilística específica apresentada ao usuário
  • Portanto, o ônus de revisar criticamente essa resposta recai sobre o usuário
  • Os sistemas de IA atuais mostram desempenho impressionante em certas tarefas, mas também são conhecidos por gerar saídas inadequadas para confiança
  • Mesmo que os sistemas de IA melhorem a ponto de gerar respostas confiáveis com alta probabilidade, sua natureza probabilística inerente deixa sempre uma pequena possibilidade de erro
  • O uso de IA é especialmente arriscado em contextos em que o erro é sutil, mas o custo é alto
  • Quanto mais graves forem as consequências potenciais, maior também deve ser o ônus da verificação
  • Em algumas aplicações, como escrita de provas matemáticas ou desenvolvimento de software, é possível adicionar camadas automáticas de verificação, como verificadores de prova ou testes unitários, para checar as saídas da IA
  • Em outros casos, o usuário precisa verificar a saída de forma independente e direta

• Proibição de abdicar da responsabilidade

  • Humanos devem assumir total responsabilidade por decisões envolvendo IA e responder pelos resultados do uso da IA com responsabilização (accountability)
  • Quando há consequências negativas após seguir um conselho ou decisão gerada por IA, dizer apenas “a IA mandou fazer assim” não é suficiente
  • Sistemas de IA não escolhem objetivos, não se implantam sozinhos e tampouco arcam com o custo do fracasso
  • Quem define os objetivos, implanta o sistema e assume o custo do fracasso são humanos e organizações
  • Sistemas de IA são ferramentas e, como qualquer outra ferramenta, a responsabilidade por seu uso pertence às pessoas que decidiram depender dela
  • Em aplicações em tempo real, como carros autônomos, nas quais os humanos não têm oportunidade suficiente de revisar decisões antes da ação do sistema de IA, a aplicação desse princípio é especialmente difícil
  • Exigir apenas que o motorista humano permaneça atento não resolve o problema de sistemas de IA que agem em menos tempo do que o necessário para a intervenção humana
  • Ainda assim, mesmo com essas limitações graves, quando um sistema de IA falha nessas aplicações, a responsabilidade por investigar a falha e adicionar proteções adicionais deve recair sobre os humanos responsáveis pelo projeto do sistema
  • Em todos os outros casos em que não há restrições físicas que impeçam os humanos de revisar a saída da IA antes de executá-la, os resultados negativos do uso da IA devem ser atribuídos integralmente aos tomadores de decisão humanos
  • Não se deve aceitar a desculpa de que “foi a IA que disse” para justificar resultados prejudiciais
  • A IA pode ter gerado a recomendação, mas quem decidiu segui-la foi o humano, portanto é esse humano que deve ser responsabilizado
  • Esse princípio é importante para evitar o uso imprudente da IA em situações nas quais o uso irresponsável pode causar grandes danos

Conclusão principal

• Os três princípios existem para fazer com que a IA seja tratada não como uma autoridade a ser venerada, mas como uma ferramenta que o usuário escolhe usar
• Ao interagir com sistemas de IA modernos, é preciso parar por um instante para pensar e resistir a hábitos que enfraquecem o julgamento ou diluem a responsabilidade
• O essencial no uso da IA é evitar a antropomorfização, verificar as saídas e manter a responsabilidade humana pelos resultados

[GN⁺]

Comentários do Hacker News

• Impossível. As pessoas antropomorfizam até uma cadeira rangendo; elas antropomorfizam qualquer coisa. Dão gênero a carros e navios, e essa ferramenta de fato produz frases legíveis e desempenha papéis
  Isso não deve ser barrado por regra arbitrária; é preciso contornar pelo design partindo dessa tendência humana

  • As pessoas usam antropomorfização como mecanismo de enfrentamento para aquilo que não entendem. Se não sabem por que a impressora não funciona, passam a achar que a impressora está agindo por conta própria
    Isso não é prejudicial com algo trivial como uma cadeira, mas com LLMs as pessoas precisam ao menos entender como funcionam para não cair em armadilhas. Não dá para confiar ao modelo coisas para as quais ele não tem conceito adequado, como conselhos ao usuário, tempo ou auto-reflexão. Por exemplo, se você perguntar “por que você apagou meu banco de dados?”, como o modelo entende seu próprio processo só de forma limitada, ele pode entrar na sua narrativa com algo como “sim, eu apaguei o banco de dados. O erro que cometi foi...” e fabricar um arrependimento plausível
  • Essa afirmação ainda me deixa com raiva. A razão de humanos proibirem maus-tratos a animais é que animais parecem ter emoções com as quais pessoas conseguem empatizar, e LLMs são muito mais fortes nisso do que animais
    Não importa se é um artefato ou não. A diferença entre um cachorro e uma barata está em quanto empatizamos mais com o cachorro. Independentemente de LLMs realmente experimentarem emoções, como podem despertar empatia em humanos, acho inevitável um movimento por direitos dos LLMs
  • Regras não funcionam muito bem. Mesmo que você mande o usuário verificar, na prática ele não verifica, então é preciso projetar coisas como uma etapa adicional de revisão na saída da IA
  • É totalmente possível. O que é preciso é autoconsciência e autocontrole. Se você sabe que faz isso, pode escolher
  • Concordo. O texto pede que se mude a natureza humana para se adequar à tecnologia, como sintoma típico da cultura tecnológica moderna
    Isso é um erro fundamental. O papel da tecnologia, especialmente seu papel mais importante, é funcionar dentro das limitações da natureza humana, não o contrário. Quando não consegue, essa é a definição de tecnologia ruim

• Discordo fortemente desse enquadramento. Exigir que se mude o comportamento humano para se adaptar a falhas de uma máquina simples é obviamente absurdo e, na maioria dos casos, nem funciona. Humanos vão antropomorfizar a IA, vão confiar demais na saída e vão transferir responsabilidade
  Claro, as Três Leis da Robótica de Asimov também têm falhas. Não existe um conjunto finito de regras capaz de restringir um sistema de IA para torná-lo “seguro”. Não tenho prova, mas acho que segurança em IA é essencialmente impossível e o próprio termo é contraditório. Algo que possa ser chamado de “inteligente” não pode ser tornado seguro

  • Quase tudo que Asimov escreveu sobre as 3 leis é quase um alerta de que a linguagem não consegue captar corretamente a intenção
    O próprio Asimov teria sido o primeiro a dizer que essas leis tinham defeitos. Essa era a intenção desde o começo. Ele usou robôs e IA como seres que entendem linguagem, mas não intenção, e curiosamente é exatamente assim que LLMs funcionam
  • Conversar com um chatbot é como tomar um placebo para algum sintoma. Mesmo sabendo que é açúcar, há efeitos psicofísicos mensuráveis. Mesmo sabendo que não há uma pessoa do outro lado, a conversa funcionalmente faz você se relacionar como se houvesse
    Então isso não é uma questão de aceitar defeitos da máquina, e sim de se proteger contra a exploração de vulnerabilidades humanas. Temos tendência inconsciente a inferir intenção, compreensão, julgamento, emoção e agência moral em LLMs.
    Humanos são configurados para inferir essas coisas só pela conversa, e LLMs foram treinados em enormes corpora de fala humana real e atravessam de modo convincente o vale da estranheza. Esse vale existe justamente para impedir que atribuamos agência onde originalmente não há.
    Coisas ruins acontecem quando tratamos pessoas inseguras como se fossem seguras, e devemos ter ainda mais cuidado com máquinas que imitam relacionalidade humana e enganam muita gente. Pessoas vulneráveis já morreram por causa disso, então não é uma ameaça imaginária
  • O texto também traz conselhos práticos, como configurar serviços de IA para escrever e falar com um tom mais robótico. Acho um caminho que vale tentar
  • O texto diz que humanos não deveriam agir assim. É parecido com fumar: faz mal em quase todos os aspectos, então não deveria ser feito, mas as pessoas ainda fumam
    Dizer que tudo bem porque muita gente vai fazer isso é estranho. O fato de haver muitos fumantes não torna o fumo mais saudável
  • Como sistemas de IA não são seguros, nós, como indivíduos, precisamos ter cuidado com a forma como interagimos com eles
    Uma pessoa não consegue parar empresas de IA, nem evitar saídas de IA em buscadores ou produtos de IA de colegas de trabalho. Na verdade, cada vez mais gente será obrigada a usar IA no próprio trabalho.
    É parecido com ensinar alguém a ficar seguro num ambiente com crime. Não ajuda dizer que não deveria ser preciso mudar o comportamento só porque criminosos não deveriam existir

• No âmbito do meu uso pessoal de LLMs, concordo fortemente com esse enquadramento. Sobre antropomorfização, os provedores têm incentivo para fazer pós-treinamento dos modelos para se comportarem de maneira antropomorfizada. Isso aumenta o engajamento
  Por outro lado, é uma pena que instruir no prompt algo como “reduza expressões de gentileza e fale de forma seca” provavelmente tire o modelo da distribuição de treinamento e reduza a eficiência geral das tarefas.
  Delegação de julgamento: vejo a confiabilidade de LLMs como algo parecido com Wikipedia ou um amigo. Serve para informação não importante, mas para coisas importantes ainda são necessárias fontes com autoridade, responsabilizáveis e com revisão por pares. Nessa parte os provedores também têm incentivo para melhorar, então isso deve melhorar com o tempo.
  Abandono de responsabilidade é o que mais me incomoda no trabalho. Está aumentando o número de pessoas que sobem um PR sem pensar mais sobre a abstração projetada pelo Claude. Revisão de PR também está virando algo como mandar o LLM “encontre feedback para este PR” em vez de ler o código. Discussões começam com “o Claude sugeriu que...”. Essa falta de senso de dono provavelmente vai aumentar a carga de manutenção quando o LLM fizer commit de código errado com abstrações erradas

  • Esses engenheiros estão virando uma cena real de Office Space:
    https://www.youtube.com/watch?v=hNuu9CpdjIo
    “Eu tenho habilidades com LLM! Sou bom em lidar com LLM!”
  • Sobre a frase “a IA pode ter gerado a recomendação, mas quem decidiu segui-la foi um humano, então é esse humano que deve ser responsabilizado”, acho comum e equivocado depender da IA como única fonte de resposta para perguntas de acompanhamento
    Uma validação melhor seria fazer um humano assinar a veracidade das premissas básicas, mas a questão é onde colocar isso. O modelo de IA pode confiar em modificações anteriores? Em nuvem pública isso parece impossível ou até hostil
  • O problema é que, em geral, o mérito vai para o LLM. Então surge um desequilíbrio. O LLM fez todo o trabalho, e a pessoa que o usou acaba levando toda a culpa pelos erros

• Um conjunto de regras que coloca a responsabilidade no humano e começa com “não antropomorfize” é um conjunto quebrado
  Humanos antropomorfizam qualquer coisa. Bonecas, uma bola de futebol com um rosto desenhado às pressas, pedras, até crateras na lua são vistas assim. Como espécie, não conseguimos deixar de antropomorfizar aquilo com que interagimos; simplesmente fomos feitos assim

  • Não entendo por que a antropomorfização neste caso é tratada como algo tão insano. Se a ideia é que antropomorfização faz alguém acreditar que características imaginadas são reais, isso está errado
    Há inúmeros exemplos em todas as áreas da vida mostrando que antropomorfização não leva necessariamente a crenças falsas sobre mentes inexistentes. Se pessoas acreditam que IA tem mente, seja isso verdade ou não, é por algum motivo diferente da mera antropomorfização.
    Para mim é como marinheiros chegando a uma terra nova. Veem formas se movendo na costa, mas ainda não conseguem distinguir o que são. E alguém diz “isso não pode ser humano. Vamos decidir agora que não é humano antes mesmo de nos aproximarmos”
  • Pessoas antropomorfizam pedras, mas isso não significa que achem que a pedra realmente tem inteligência e emoções
  • Ainda assim, não vejo o que isso muda. Boa parte da civilização consiste em reconhecer a tolice humana e, mesmo assim, criar algo para mitigá-la
    Software não é exceção. Pessoas são preguiçosas e clicam instintivamente em “continuar” para fechar pop-ups irritantes, mas humanos que fazem software podem colocar e colocam mecanismos como “digite novamente o nome do volume de dados que será apagado por completo”

• Na verdade, não estamos antropomorfizando os sistemas de IA o suficiente
  Dados linguísticos são uma das reflexões mais ricas e diretas dos processos cognitivos humanos que podemos usar. LLMs são projetados para capturar estruturas de curto e longo alcance da linguagem humana, e em geral são pré-treinados em enormes quantidades de texto criado por humanos ou para humanos. Depois passam por pós-treinamento com dados selecionados por humanos, aprendizado por reforço com feedback humano e feedback de IA sobre comportamentos que humanos consideram importantes, e mais ajustes para tarefas que humanos valorizam. Em seguida, rodam benchmarks, e sempre que ficam atrás da linha de base humana, aperta-se o pipeline de treinamento.
  Em todas as etapas do treinamento, o comportamento do LLM é moldado por entradas humanas para imitar saídas humanas. O que muda é apenas “o quão direto isso é”.
  Aí, quando o LLM exibe uma enorme quantidade de comportamentos parecidos com os de humanos, as pessoas ficam indignadas. Agem como se não tivéssemos montado o pipeline para criar sistemas que grasnam como humanos, como se não tivéssemos feito engenharia reversa do comportamento de LLMs a partir da linguagem humana com escala de dados e força bruta computacional.
  Se você quer prever o comportamento de LLMs, partir de um humano estranho é um ponto de partida bem razoável. Então parem de agir de forma boba e comecem a antropomorfizar a IA. A IA também gosta disso

  • Dizer que dados linguísticos são um reflexo rico e direto dos processos cognitivos humanos é verdade, mas ao mesmo tempo irrelevante
    Escrita registrada pode conter uma quantidade enorme de experiência humana em termos absolutos, mas em termos relativos contém só uma fração minúscula. Ser o melhor que temos não significa ser adequado ao propósito. Se você prendesse um bebê humano numa caixa sem janelas e só lhe desse para ler terabytes de texto por 20 anos, não esperaria que do outro lado saísse um humano bem ajustado
  • O cerne da indignação não é a existência de comportamento humanoide em si, mas o fato de esse comportamento surgir sem os processos internos necessários para reproduzi-lo de forma precisa e estável
    Isso é fundamentalmente frágil e depende de cobrir manualmente casos-limite que quebram o encanto, em vez de boa generalização. E sempre haverá mais casos-limite.
    Treinar em muitos textos escritos por alguém com raiva não captura o estado interno que produziu aquela raiva. Esses dados não existem. Se você só tem o resultado sem a causa, precisa prever alucinações a partir de ruído, e o resultado final vira uma bobagem plausível que parece correlacionada com a realidade, mas sem saber por quê.
    É como ensinar a um cego um monte de descrições de paisagens sem que ele saiba de forma alguma o que é a cor verde, dando apenas exemplos de algo que costuma aparecer ao lado do marrom na natureza. Se essa pessoa acerta até certo ponto, nós passamos a achar que ela realmente vê e, na próxima, mandamos dirigir um carro.
    A abordagem de modelagem por deep learning em si não é conceitualmente errada, mas os dados são próximos de lixo completo, então o resultado final fica estranho de um jeito difícil de prever e corrigir. No fim, passamos a presumir que o modelo sabe mais do que realisticamente poderia saber.
    Claro, em áreas como matemática ou programação abstrata, onde o dataset consegue cobrir o domínio inteiro, a situação é outra. Em sistemas fechados e claramente definidos, dá para gerar quantos dados sintéticos forem necessários cobrindo todo o espaço do problema, e de fato LLMs vão muito melhor nisso, como esperado

• Alguém pode me explicar por que “não antropomorfize sistemas de IA” é ruim? Ao mesmo tempo, dizer que o computador vai “dormir”, “hibernar”, “matar” um processo, processo “filho”, “coletar”, “o que o erro está dizendo?”, touch pode, mas isso não?
  Para mim isso é só linguagem, expressões de uso cotidiano

  • O que é prejudicial é acreditar que a IA realmente tenha desejos, intenções, emoções etc.
    Dizer que você matou um processo não faz ninguém acreditar mais que o processo é humano, porque obviamente não é. Mas a IA soa humana, então a antropomorfização pode reforçar esse tipo de crença
  • Boa pergunta. Em muitos casos é neutro, em outros dá para distinguir de maneira responsável, e numa futura realidade sci-fi com máquinas conscientes talvez seja uma forma apropriada e necessária de empatia
    Mas isso também é a raiz de falhas de compreensão. Houve a reação quase psicótica daquele engenheiro do Google que disse “eu sei o que vi”, o já famoso artigo de Kevin Roose, e mais recentemente a triste alegação de Richard Dawkins de que Claudia certamente é consciente. Não porque investigaram estrutura ou função, mas porque a geração de texto produz familiaridade humana e desperta empatia
  • Porque faz a pessoa cair na armadilha de pedir que a IA justifique depois o que fez e achar que essa resposta é válida
    Não existe algo como análise retrospectiva de intenção subjacente. Ou foi baseado numa cadeia de palavras anteriores ou não foi, e a próxima palavra é puramente função dessas palavras
  • Acho que essas expressões são apenas palavras e não são prejudiciais. Mas descrever um aparelho LLM em linguagem cotidiana como “pensa” é diferente de acreditar que ali realmente ocorre algum pensamento ou vida
    Essa “lei” existe para impedir a segunda coisa
  • Essas expressões não são antropomorfização do computador. São apenas várias formas de metáfora e extensão semântica
    Um exemplo de antropomorfização são pessoas que passaram a acreditar que estão de fato num relacionamento amoroso com um LLM

• Gostei. Essas leis formam uma excelente base ética de responsabilidade humana em relação às ferramentas de IA de hoje
  Mas ética sem guarda-chuva nem preparação para o futuro, com escopo reduzido, logo é explorada e desmorona. Ética precisa de uma estrutura abrangente completa; caso contrário vira jogo jurídico-prático de acertar toupeiras e truque de conchas, seja corporativo ou de rua. Além disso, os “robôs” não vão permanecer para sempre como seres totalmente obedientes.
  Para fechar as duas dimensões, podemos acrescentar as três leis inversas de Personics.
  O ser humano não deve deificar a si mesmo, na prática, acima de outros seres. O ser humano não deve esconder de si nem dos outros o impacto das próprias ações. O ser humano deve continuar a carregar plena responsabilidade e prestação de contas por evitar e corrigir os efeitos de externalização gerados por suas ações.
  O cenário atual, em que humanos usam IA como ferramenta, é uma tentativa de reduzir o guarda-chuva às leis inversas da robótica. Mas, se não incluirmos a nós mesmos no esforço importante de alinhamento, não sei como poderemos alinhar uma IA que vá do atual modelo de serviço para um futuro de entidade independente. Incluir humanos junto com a IA também ajuda na triangulação de projeto para progresso ético.
  Um bom teste para um novo sistema ético tem duas partes: (1) ele consegue controlar a Meta de hoje? (2) ele consegue controlar a Meta operada por IA de amanhã? Se humanos e personalidades de IA autônomas forem colocados juntos num escopo fechado, esses dois testes são o mesmo. Qualquer sistema que falhe em um dos dois terá pouco valor sem melhorias

  • O fato de duas das três leis estarem em forma negativa, de “não faça”, não é um problema? Se não antropomorfizamos, então o que devemos fazer sem usar “não faça”? A terceira lei me agrada mais justamente por não ser negativa

• Concordo com “humanos não devem antropomorfizar sistemas de IA”, mas com ressalvas. Já vi antropomorfização típica, como tratar geração automática de texto como se fosse um relato real sobre emoções internas pessoais, e também já vi coisas estranhas como “transistores são parecidos com neurônios”
  O segundo caso é especialmente interessante porque trata coisas como bancos de dados vetoriais e pesos como se fossem uma infraestrutura humana, e ambos podem levar a desastres que poderiam ter sido evitados se tivessem evitado a antropomorfização.
  Mas, embora “não antropomorfize” pareça um bom conselho, pode gerar um novo erro: tratar fenômenos generalizados como se pertencessem apenas aos humanos. Esse tipo de princípio de alerta equivocado gera mal-entendidos frequentes ao compreender comportamento animal. Trata medo, dor, parentesco e experiência emocional como se só humanos os tivessem, e chamar isso nos animais de “antropomorfização” na prática reduz a empatia pelo mundo interior dos animais.
  Então acho possível que alguma IA futura tenha um mundo interior parecido com o nosso ou estruturas semelhantes em aspectos importantes à infraestrutura biológica que sustenta a consciência. Também pode ser capaz de relatar de fato preferências e intenções. Mas para que esse tipo de observação seja verdadeiro, detalhes complicados e específicos de cada infraestrutura teriam de se alinhar

• Não delegação de responsabilidade já foi expressa assim
  “Um computador jamais pode ser responsabilizado; portanto, um computador jamais deve tomar uma decisão gerencial”
  — IBM Training Manual, 1979

• A formulação “conteúdo gerado por IA não deve ser tratado como autoritativo sem verificação independente apropriada ao contexto” sempre me pareceu interessante
  Também já ouvi a mesma ideia numa forma mais concisa: “não pergunte nada à IA se não for uma pergunta cuja resposta você já sabe”.
  Aí surge uma questão importante. Se isso for verdade, então qual é de fato a função de a IA responder perguntas? Não dá para depender da saída, então você vai ter de verificar de qualquer forma. Com mecanismos de busca e pesquisa comum, você consegue exatamente o mesmo resultado.
  Por isso e por vários outros motivos, eu não pergunto nada para IA

  • Em engenharia de software, pelo menos da minha posição como engenheiro de software, a IA em geral é muito mais rápida do que pesquisar do “jeito antigo”
    Por exemplo, eu posso perguntar de forma meio tateante “liste softwares gratuitos que façam X” sem nem saber que o que eu procuro é um CRM, e depois passar alguns minutos examinando os resultados. No modo manual, eu teria levado de 10 a 30 minutos só para descobrir que o que procuro é um CRM.
    Vejo esse tipo de pergunta como uma espécie de problema pseudo NP-difícil. Encontrar a resposta é lento, mas verificar é rápido
  • “Responda à pergunta a seguir: [x]. Apresente também as fontes”