Yann LeCun: o verdadeiro cenário do fim é a tomada permanente do poder por “donos de 1%” da IA
(businessinsider.com)- O cientista-chefe de IA da Meta, Yann LeCun, vê o risco real da IA menos na extinção da humanidade e mais no controle de longo prazo por um pequeno grupo de empresas
- O foco da crítica é que Sam Altman, Demis Hassabis e Dario Amodei estariam usando o debate sobre segurança em IA para espalhar medo e fazer lobby corporativo
- Em março de 2023, mais de 1.000 líderes de tecnologia assinaram uma carta aberta pedindo uma pausa de 6 meses no desenvolvimento de IA, e o debate sobre riscos da IA se expandiu para questões de regulação do setor e estrutura de poder
- LeCun considera exagerada a visão de hard take-off segundo a qual “no momento em que a superinteligência é ligada, a humanidade acaba”, e entende que a questão real é como a IA é desenvolvida e disponibilizada
- Se o desenvolvimento de IA ficar centrado em empresas fechadas com fins lucrativos e houver enfraquecimento da IA open source, um pequeno número de empresas poderá determinar as plataformas e o ambiente digital das pessoas
A preocupação de LeCun: captura regulatória, não apocalipse
- Yann LeCun identifica a ameaça mais realista da IA na concentração de poder
- Ele teme uma situação em que alguns “one-percenters” monopolizem a riqueza da IA e excluam todo o restante
- Em uma publicação no X, ele citou diretamente Sam Altman, da OpenAI, Demis Hassabis, do Google DeepMind, e Dario Amodei, da Anthropic
- Criticou os três por fazerem forte lobby corporativo nas discussões sobre regulação de segurança em IA
- Se essa tentativa der certo, “algumas poucas empresas controlariam a IA”, algo que LeCun descreveu como uma “catastrophe”
- Altman, Hassabis e Amodei não responderam imediatamente aos pedidos de comentário da Insider
- A fala surgiu como reação a uma publicação no X do físico Max Tegmark
- Tegmark considera que LeCun não leva suficientemente a sério os riscos apocalípticos da IA
- Ao mencionar a cúpula global de segurança em IA do Reino Unido, ele disse que as discussões sobre risco existencial em IA feitas por Turing, Hinton, Bengio, Russell, Altman, Hassabis e Amodei não podem ser descartadas apenas com cinismo ou lobby corporativo
O discurso do medo e a tensão com a IA open source
- Após o lançamento do ChatGPT, a influência pública das principais figuras da indústria de IA cresceu, e LeCun entende que alguns fundadores passaram muito tempo ampliando o medo em torno da tecnologia que eles próprios vendem
- Em março de 2023, mais de 1.000 líderes de tecnologia, incluindo Elon Musk, Altman, Hassabis e Amodei, assinaram uma carta aberta pedindo a suspensão do desenvolvimento de IA por pelo menos 6 meses
- A carta alertava que sistemas avançados de IA poderiam trazer “riscos profundos para a sociedade e a humanidade”
- Tegmark, um dos signatários, descreveu o desenvolvimento de IA como uma “suicide race”
- LeCun e outros críticos consideram que esse tipo de alerta pode consolidar poder e obscurecer os riscos imediatos da IA
- O Distributed AI Research Institute aponta a exploração de trabalhadores e o roubo de dados como riscos reais, cujos benefícios acabam ficando com “algumas poucas entidades”
- LeCun avalia que as pessoas estão hiperventilando em relação aos riscos da IA por causa do mito do “hard take-off”
- Hard take-off é a ideia de que, no momento em que um sistema superinteligente é ligado, a humanidade acaba
- LeCun entende que novas tecnologias, na prática, passam por um processo de desenvolvimento ordenado antes de serem amplamente distribuídas
A questão central é como a IA é desenvolvida
- Para LeCun, o ponto em que se deve focar agora é o modo de desenvolvimento da IA, mais do que sua capacidade em si
- Ele vê como perigosa uma situação em que o desenvolvimento de IA fique confinado a empresas privadas e fechadas, sem divulgação dos resultados
- Também se preocupa com o desaparecimento da comunidade open source de IA
- A Meta disponibilizou de forma parcialmente open source o grande modelo de linguagem LLaMa 2, que compete com o GPT
- A proposta é permitir que a comunidade técnica mais ampla possa examinar o interior do modelo
- Outras big techs não fizeram uma liberação open source semelhante, e há rumores de que a OpenAI avalia divulgar um modelo de IA open source
- LeCun acredita que, se a IA open source desaparecer por causa da regulação, algumas poucas empresas da costa oeste dos EUA e da China passarão a controlar as plataformas de IA e toda a dieta digital das pessoas
- Esse cenário levanta questões sobre democracia e diversidade cultural
1 comentários
Opiniões no Hacker News
Cache do Archive.is: https://archive.is/HbRLy
A forma como os grupos já dominantes estão tentando tomar o poder por meio de captura regulatória, usando alegações exageradas sobre X-Risk e extinção súbita da humanidade, parece um dos truques mais cínicos já vistos no setor de tecnologia
Open source é uma das maiores dádivas que temos, e esse movimento para fechar a IA com licenças ridículas e obrigações de reporte não faz sentido
Uso malicioso ou abusivo de software já pode ser tratado pelas leis existentes
https://twitter.com/ESYudkowsky/status/1719777049576128542
“Parar” não significa licenças nem obrigações de reporte, significa literalmente parar
Sam Altman conversou com Yudkowsky várias vezes e parece achar que a melhor opção é resolver o problema de alinhamento com modelos de baixa capacidade, então quer construir os modelos primeiro e depois desacelerar o ritmo
Não parece ter grande chance de dar certo, mas também não parece haver uma alternativa muito melhor no momento
Em contrapartida, essa tecnologia traz riscos reais e imediatos, como alguns humanos passarem a ter ainda mais poder sobre outros humanos
As medidas propostas pelo lado do risco de extinção acabam piorando justamente esse risco imediato. Em qualquer tecnologia, a única forma de impedir que alguns a usem para controlar os demais sempre foi democratizar o acesso para todos
Quando o acesso é restringido, o poder se acumula ainda mais nas mãos de quem o possui, mesmo que para isso seja preciso violar a lei
Mesmo pegando o limite inferior do intervalo de confiança de 95%, eu colocaria isso em algo como 50 a 100 anos no futuro. Sei que pessoas razoáveis discordam dessa estimativa, mas essa é minha avaliação sincera
A IA tende a piorar isso, como se fosse isenta de erros
É por isso que a regulamentação europeia de IA inclui documentação rigorosa de modelos de base e divulgação dos dados de treinamento, proibição de usos de alto risco como pontuação social, exigência de explicações compreensíveis por humanos para decisões de IA e obrigação de deixar claro quando alguém está interagindo com um sistema de IA
Como exatamente essa conspiração funcionaria? Isso quer dizer que estão comprando Yoshua Bengio?
Para constar, eu trabalho com segurança em um grande laboratório, mas essas pessoas que defendem isso não trabalham nele
Acho que devemos resistir a esse clima anti-regulação que aparece entre os tecnólogos
Falando com Yann, neste momento apoio totalmente medidas fortes para desacelerar e controlar a pesquisa em IA. Não tenho interesses financeiros nas empresas envolvidas, e também não sou ignorante sobre o assunto depois de morar por um ano num prédio onde havia eventos de IA várias vezes por semana
Este é praticamente o único campo em que a humanidade está discutindo uma resposta real e devidamente cautelosa. Essa discussão sobre risco existencial e a resposta rápida à Covid são as únicas coisas que me dão esperança de que a humanidade tenha capacidade de não destruir a si mesma
Eu diria a mesma coisa mesmo que depois fosse provado que o risco existencial da IA era 100% infundado
A humanidade quase nunca demonstrou capacidade coletiva de pisar no freio, e só testar se “conseguimos fazer isso” já tem muito valor. É algo realmente necessário e bem-vindo
Não há motivo para confiar em um rico do Vale do Silício mais do que em qualquer outra pessoa. Por que ele deveria ficar sentado decidindo o que nós não podemos fazer, enquanto ele mesmo fica ainda mais rico? Esse é justamente o ponto central do artigo
Elas podem usá-la como amplificador da própria inteligência e alugar para o resto da humanidade um acesso degradado, ficando absurdamente mais ricas
Se a IA avançar de forma tão explosiva quanto alguns esperam, precisamos encarar o tamanho da tomada de poder que talvez estejamos presenciando agora
O cenário de “foom” mais plausível é um pequeno grupo de humanos usar a superinteligência para virar deuses vivos. Acho o próprio foom muito especulativo, mas essa versão é plausível. Já sabemos que humanos agem desse jeito, e a IA ainda não está num ponto em que faça sentido falar de autoconsciência ou independência
Não acho que a maioria dos cientistas reais preocupados com IA queira isso, mas é isso que vai acontecer num regime regulatório. As pessoas “certas” sempre podem fazer o que querem, e a regulação se aplica aos pobres e a quem não tem conexões políticas
O desenvolvimento da IA vai continuar, só que monopolizado. Se algum cenário de foom for possível, ele ainda vai acontecer, mas partindo de privilégios enormes herdados da elite que o criou
A chance de um “parar” real acontecer é zero
Mas, sendo honesto graças à minha capacidade de análise e ao anonimato da internet, meu desejo imenso de ver uma IA superinteligente de verdade está contaminando seriamente meu julgamento objetivo
Quero tanto ver isso acontecer que a reação básica do meu cérebro é algo como: “não se preocupe com as consequências, pense só em quão insanamente incrível isso seria”
Eu não diria isso em voz alta, mas é o que realmente sinto. Especialmente para quem fez do desenvolvimento de IA o trabalho de uma vida, se você dedicou a existência tentando chegar ao Jardim do Éden, como não dar uma mordida no fruto
Com a IA é igual: o extremo do risco pode sempre ser a morte, mas a recompensa é muito maior. Parece que pessoas com tolerância a risco anormalmente baixa estão se concentrando nessa discussão
Estamos falando de gente com recursos imensos, obcecada, como sempre foi, em obter ainda mais riqueza e poder
Eles estão manipulando o discurso para desviar a atenção do risco real do presente, que são eles mesmos, e deslocá-la para o risco imaginário de “o Exterminador do Futuro está chegando”
Na maioria das obras de ficção, o Exterminador é criado por governos ou grandes laboratórios corporativos, exatamente o tipo de gente do grupo do Altman. Sempre foi a história de rebeldes maltrapilhos lutando contra bilionários vilanescos ou organizações sem rosto
Se você quer proteger o futuro da humanidade da IA, deve focar nos poderosos humanos que já existem. Eles são os vilões desse cenário, e sempre foram
A ideia de “fazer um protótipo, testar em pequena escala, liberar de forma limitada, corrigir os problemas, tornar mais seguro e depois distribuir amplamente” parte da suposição de que a tecnologia problemática foi desenvolvida de forma intencional
Mas pode se tratar de uma propriedade emergente de uma tecnologia criada intencionalmente
Já existe um nome para esse tipo de propriedade emergente. Chama-se “bug”. Ninguém fez lançamento limitado do Heartbleed, e o mesmo vale para Spectre e Rowhammer. Tivemos de lidar com as consequências, e elas nem acabaram ainda
Quem pode garantir que os riscos de uma tecnologia não podem ficar ocultos até ela ser distribuída de forma geral
Além disso, isso vale mesmo deixando de lado o argumento de “We have no moat and neither does OpenAI”. Por mais cuidadoso que seja o principal interessado, quando a tecnologia passar a existir, logo versões open source serão distribuídas por toda parte com quase nenhuma consideração por segurança
Os humanos que os criaram originalmente já nem lucram mais com eles, eles não estão alinhados com a intenção de nenhum humano, e também não dá para simplesmente “desligá-los”
Acho que o Yann provavelmente está errado.
Ele não tenta lidar de forma séria com a lógica dos “catastrofistas”. O mesmo tipo de raciocínio motivado pode ser aplicado ao próprio Yann e aos objetivos financeiros da Meta, então não é um enquadramento convincente.
Mesmo quando tenta discutir em vez de apenas xingar, ele usa exemplos como conhecer muitas pessoas inteligentes, mas elas não serem presidentes, ou o próprio gato dele ser bem inteligente, mas não o controlar. A implicação é que inteligência nem sempre significa controle, o que é uma evidência bastante boa de que ele não está tratando o risco com seriedade.
O risco não é a diferença de inteligência entre humanos inteligentes e humanos burros. Quantos chimpanzés há no Congresso? E nas prévias? Nenhum.
Em risco existencial de AGI, a diferença de capacidade é ainda maior, e o sistema é, por padrão, muito menos alinhado.
Ainda bem que outras pessoas com poder não se deixam convencer pelo Yann.
A única proposta que fez algum sentido para mim até agora é a do lado do FEP. Se alguém configurar na IA um mecanismo de auto-geração, ela pode agir para aumentar as próprias chances de sobrevivência, e não as dos humanos.
Mas não parece haver incentivo para grandes empresas colocarem recursos nisso, então não me parece algo muito provável. O que estou deixando passar?
Não concordo com os cenários apocalípticos do Eliezer, mas também é difícil ser convencido por um cientista que não debate os riscos levantados e, em vez disso, apela ao medo popular e ao temor de tomada de poder.
Talvez haja alguma exceção entre pesquisadores de IA que também sejam políticos experientes, mas não parece haver ninguém assim.
Em cada país existe um grupo muito mais perigoso do que qualquer outro. Esse grupo tem uma “renda” de dezenas a centenas de bilhões de dólares, e usa esse dinheiro exclusivamente para matar pessoas, destruir governos e encontrar novas formas de um país impor sua vontade a outro pela força. Também goza de imunidade legal total.
E esse grupo é exatamente o mesmo que, independentemente de quaisquer regras ou tratados que adotemos publicamente, terá não só acesso irrestrito aos modelos de IA “limitados”, mas provavelmente acesso exclusivo ao estado da arte.
Então de quem exatamente você quer me proteger? Do vizinho? De criminosos de rua? De sociopatas ou desse grupo?
Não existe nenhum truque secreto para fazer armas de destruição em massa com alguns palitos e um tubo de pasta de dente; não vai além de “truques” já amplamente disponíveis com busca na web ou em bibliotecas.
Em cenários restritos, os grupos com probabilidade esmagadoramente maior de nos empurrar para cenários apocalípticos manteriam acesso totalmente irrestrito a sistemas de IA. A lógica de proteger a sociedade é completamente cínica e ridícula.
Queria que parassem de colar o rótulo AI Godfather em pesquisadores de IA renomados. É ridículo demais e também não corresponde muito aos fatos.
O conceito de IA existe desde a época de Turing, e se alguém merece um título como “pai da IA”, seria mais ele.
Basta chamar LeCun de Chief AI Scientist da Meta.
A expressão “AI godfather” é perfeitamente justificável.
Pesquisadores de IA renomados não são considerados renomados justamente porque influenciaram rumos ligados à IA?
Se tentarem criminalizar modelos open source, grupos marginais que queiram usar IA como ferramenta de terrorismo acabarão com um ambiente com quase nenhuma concorrência e com pouquíssimo conhecimento sobre como responder a isso.
Não acredito muito que essa ferramenta possa ser pior, se for mal utilizada, do que outras ferramentas históricas que também podiam matar pessoas, mas empurrá-la para a clandestinidade não vai fazê-la desaparecer.
Só vai colocar na prisão pessoas comuns intelectualmente curiosas, enquanto criminosos continuarão fazendo a mesma coisa e nos explorando.
Modelos de linguagem grandes não dão nenhuma vantagem nova, e também não existe nenhuma mágica em criar um exército de “robôs assassinos” com AutoGPT para causar “destruição”.
No momento, isso se parece mais com repetir os argumentos de pessoas que estão ecoando coisas saídas de filmes.
Você pode não gostar das medidas necessárias para impedir o desenvolvimento de IA, mas dá para parar.
As pessoas estão focadas demais em modelos de linguagem grandes e modelos de difusão, que já ficaram comuns, mas se uma IA para seleção e previsão de ações realmente estiver em outro nível e superar de forma consistente os modelos existentes, ela vai sugar uma riqueza imensa
A menos que os operadores deixem a ganância de curto prazo sair completamente do controle e destruam o sistema da noite para o dia, eles poderiam acabar, na prática, sendo donos da sociedade
O ponto interessante do mercado é que normalmente só dá para ganhar dinheiro quando os preços estão errados. Por isso, mesmo um agente com informação perfeita teria um limite para o lucro potencial total
Mesmo que exista um modelo de IA que preveja com quase certeza o fluxo de caixa futuro de uma empresa e as taxas de juros futuras, seria fácil calcular o fluxo de caixa descontado e determinar o preço justo atual ou futuro da ação
Em vez de colapsar, o mercado provavelmente ficaria mais estável, e as ações tenderiam a se comportar mais como títulos
Um dos argumentos fortes contra cenários de “aceleração forte e repentina” é que a teoria da informação algorítmica, sujeita às restrições da física, não dá muita margem para esse tipo de cenário
https://en.wikipedia.org/wiki/Algorithmic_information_theory
Há um limite para o que dá para prever com dados financeiros do passado
Se existisse uma forma de criar uma máquina de imprimir dinheiro com aprendizado de máquina, isso já teria acontecido
É um espaço de problema bem mais fácil do que geração de linguagem ou imagem
As pessoas ficam obcecadas com algoritmos sem pensamento, mas o que realmente importa sempre acontece entre humanos. Por mais sofisticado que seja um algoritmo de software, ele continua sendo apenas uma peça no tabuleiro humano
Num futuro muito distante, formas de vida de silício podem entrar nesse tabuleiro em seus próprios termos. Usar essa possibilidade remota para tirar vantagem aqui e agora é estranho
E, no entanto, essa estratégia parece funcionar. Isso mostra que somos mais parecidos com um bando de lemingues de baixa inteligência, facilmente levados por uma boa narrativa mesmo quando a base é fraca
Já é tarde demais para monopolizar os modelos de linguagem grandes. A tecnologia para criá-los é conhecida e os custos continuam caindo
Há coisas com que se preocupar, mas isso não parece ser uma delas
O preço de GPUs não está tão alto quanto no auge da mineração, mas ainda é preciso gastar o valor de um carro para comprar um conjunto de A100. Além disso, lugares como o Google estão criando aceleradores de aprendizado de máquina de próxima geração, e seus melhores produtos nem são vendidos
Recursos computacionais são só metade do problema. A outra metade, muito subestimada, é o acesso a dados em formas como e-mails, consultas a assistentes inteligentes e campainhas Ring
Está sendo definido um corte relativamente pequeno para exigir que execuções de treinamento e datacenters sejam reportados ao governo
Também foram dadas ordens para desenvolver frameworks de teste para risco existencial e risco CBRN, além de ambientes de segurança, com a intenção de transformá-los em exigências para desenvolvedores de modelos, inclusive no setor privado
Dá para dizer que o conhecimento necessário para desenvolver modelos de linguagem grandes é open source e acessível a todos, e isso é, na prática, em grande parte verdade, ainda que não totalmente
Mas o governo federal está atualmente no processo de fazer com que só certas pessoas possam fazê-lo legalmente
Pode ser muito difícil treinar modelos de ponta usando apenas hardware de consumo
A OpenAI está tentando capturar a regulação dos modelos de linguagem grandes para impedir que Amazon ou unicórnios bem capitalizados venham logo atrás. Quando esses atores se consolidarem, quem ficar de fora estará acabado
O leitor médio do HN não consegue competir com a OpenAI. O que eles querem é impedir que apareçam mais concorrentes com bastante capital de risco para ficar com a maior fatia possível do bolo
O ciclo de hype e financiamento em torno dos modelos de linguagem grandes em grande parte já terminou. Você não é a Anthropic, e provavelmente já é tarde demais para entrar nesse jogo
O que importa não é o martelo, e sim a licença de construção
Alguns especuladores dizem que estamos entrando numa era de abundância em que o dinheiro se tornará muito menos importante, ou até irrelevante
Mas, se for assim, como as empresas fazem a transição do estado atual de “lucro é tudo” para “dinheiro não importa”?
Eu acho bem mais provável que o resultado seja a monopolização
E, ainda assim, ainda há gente que não consegue alimentar os filhos, gente que morre de excesso de trabalho e gente que mata uns aos outros por terra
Isso assumindo que a humanidade continue em sua forma atual e que as preferências de consumo permaneçam estáveis. Tenho menos certeza sobre o próprio modelo capitalista, mas ele também pode continuar existindo. Talvez até só por diversão
https://en.wikipedia.org/wiki/Virtual_economy