Crianças brincando no riacho
(hgreer.com)- Na infância, a brincadeira de represar um riacho deixava de ser uma simples travessura e passava a ser uma escolha capaz de destruir os limites da brincadeira à medida que aumentavam a força e o conhecimento
- Se você derruba a margem com uma pá grande para construir uma barragem, vence facilmente o quebra-cabeça de fazer um dique, mas naquele instante o espaço do jogo onde ainda dá para brincar diminui
- Atividades que testavam limites, como uma catapulta de K'Nex, experimentos com fogos de artifício e fazer arcos, tornam-se difíceis de levar até o máximo depois que se passa a entender os riscos e as consequências
- Uma proposta de banco de investimento foi o gatilho para perceber que o jogo de ganhar o máximo de dinheiro possível também havia chegado a esse mesmo estágio
- O desenvolvimento de inteligência artificial também entra na mesma metáfora, e ter sucesso com força total pode acabar sendo um desfecho menos gratificante, como uma explosão metafórica de fogos de artifício
O momento em que já não dá para ir com tudo
- Na infância, a brincadeira de represar o riacho no quintal era tampar buracos com pedras, folhas e areia para ver até que altura a água podia subir
- Em certo momento surge a ideia de que, se derrubasse a margem com uma pá grande de 5 pés, daria para fazer uma barragem maior e mais de verdade
- O pai diz que, como já tinha resolvido esse quebra-cabeça, não dava mais para brincar de represar o riacho totalmente à vontade
- O preço da vitória era reduzir o espaço onde se podia brincar, e o xeque-mate acontecia não no tabuleiro, mas fora da brincadeira
- A mesma mudança se repete em outras brincadeiras
- Depois de fazer um buraco no teto, construir uma catapulta de K'Nex deixou de ser algo para curtir sem cuidado e passou a ser algo que exigia cautela
- Juntar fogos de artifício para ver qual seria a maior explosão já não é algo que se possa levar até o limite
- Depois de aprender as técnicas de
tillering, já não dava para fazer arcos e flechas com força total para batalhas no quintal com os amigos
- Houve muito esforço com leetcoding, estudo de sistemas de build e polimento do currículo para conseguir uma proposta em banco de investimento, mas no momento em que a proposta veio surgiu a conclusão de que já não dava para continuar jogando o jogo de ganhar o máximo de dinheiro possível
A mesma metáfora aplicada ao desenvolvimento de IA
- Se existe um adversário suficientemente forte, dá para passar muito tempo disputando com força total
- Um exemplo é a brincadeira de praia nos canais de escoamento das poças de maré na maré vazante
- Dá para bloquear a areia com as mãos e criar lagos, deltas e cânions, mas a maré que volta é muito mais forte e apaga todos os resultados
- À medida que a compreensão aumenta, as escolhas voltam a se estreitar
- Se, em vez de apenas empurrar areia com as mãos ou com uma pá, alguém fizer lobby na câmara municipal para instalar um espigão (
groin) ou um seawall, já seria possível mover de fato uma grande quantidade da areia da praia - Por isso, na prática, já não dá para ir com tudo, nem se quer fazer isso
- Se, em vez de apenas empurrar areia com as mãos ou com uma pá, alguém fizer lobby na câmara municipal para instalar um espigão (
- Mesmo cavando a areia com as mãos, ficam visíveis os rastros dos mariscos coquina que voltam a se enterrar depois da onda, e agora se enxergam consequências que aos quatro anos de idade não eram visíveis
- Surge a dúvida se mariscos enterrados por acaso rapidamente sob uma pequena obra de engenharia civil de 2 pés conseguiriam voltar à superfície
- A suposição é que, na maioria dos casos, sim, e a brincadeira continua
- Essa metáfora também se estende ao desenvolvimento de inteligência artificial
- O processo de ir com tudo foi interessante e de fato uma aventura recompensadora
- Mas ter sucesso e terminar arrancando a própria mão numa explosão metafórica de fogos de artifício é um resultado menos gratificante
- Esse julgamento continua valendo mesmo que a metáfora seja expandida para uma situação em que vizinhos competem para ver quem arranca a mão primeiro, ou em que todos compartilham uma única mão
- Pelo lado positivo, a Anthropic ao menos parece notar os mariscos coquina em seu relatório mais recente sobre uso na educação
1 comentários
Opiniões no Hacker News
É um bom texto, mas acho que o ponto central não é o desenvolvimento de IA, e sim a parte do começo sobre “ganhar o máximo de dinheiro possível”
Os problemas que vemos em IA surgem mais no marketing e na disseminação do que no desenvolvimento em si. Bloquear um riacho por diversão e fracassar ou machucar a mão é ruim, mas a escala se limita por conta própria. Coisas feitas por diversão ou desafio dificilmente acontecem em grande escala além do que um indivíduo consegue aproveitar
Se todos tratassem IA como brincar de barrar um riacho por diversão, provavelmente não haveria grande problema. Mesmo que os modelos sejam poderosos, o interesse estaria mais em mexer neles e brincar do que em ganhar dinheiro, então tenderiam a ser estranhos e fragmentados. Como tantos projetos de hobby que aparecem no HN, as pessoas diriam “legal” e seguiriam em frente, sem colocá-los em pontos de dependência importantes
Seja IA ou não, o problema começa no momento em que alguém passa a usar algo para ganhar “o máximo de dinheiro possível”. E, no fim do texto, o autor fala como se a Anthropic estivesse começando a perceber as conchas, mas, nos vários exemplos do texto, o que o fez parar não foi autorreflexão, e sim uma autoridade externa, como os pais. A maioria das pessoas não é tão reflexiva quanto o autor e pode não se importar com “vencer um jogo de soma zero contra pessoas que não têm motivo para perder” nem com conchas. Alguém precisa tomar a pá
Enquanto “ganhar o máximo de dinheiro possível” for tratado como uma exceção ao princípio de “não se deve continuar até algo quebrar”, esse tipo de problema vai continuar, com ou sem IA
Hoje estou aposentado e passo o tempo mexendo no meu “jardim de software”. Também uso IA para resolver problemas e gerar rascunhos de código, mas o objetivo é satisfação pessoal
Quando poucas pessoas têm as ferramentas, o artesão é muito valioso. Conhecimento ou habilidade real não ficam em excesso de oferta, então ele pode ganhar muito dinheiro, enquanto os outros, sem ferramentas nem técnica, têm dificuldade para alcançá-lo. É possível enriquecer só com o esforço inicial
Quando todos têm as mesmas ferramentas, o artesão continua valioso. O conhecimento e as habilidades acumulados com o tempo são escassos, e ainda há incentivo para continuar desenvolvendo a técnica para ficar mais à frente
Quando a ferramenta passa a fazer o trabalho, o valor do artesão fica limitado. Ele vira uma espécie de relíquia e, por mais que aumente sua especialização, a maioria simplesmente liga a ferramenta e obtém um resultado suficientemente bom
Agora estamos entre a etapa 2 e a etapa 3. Ainda perguntam em entrevistas sobre projeto de algoritmos ou complexidade de abordagens, mas muita gente não consegue atravessar o ponto de transição do “então, o que devo fazer agora?”
Agora o valor vem menos de saber como a automação funciona e mais de usar as ferramentas para criar mais valor do que uma pessoa média. É uma transição difícil para quem aprendeu que só com esse conhecimento poderia ter uma vida estável ou lucrativa
A época de entrevistas de SDE já passou e, ao procurar engenheiros, passaremos a buscar mais pessoas que aceitem o presente e acrescentem utilidade humana às ferramentas acessíveis, tornando o todo maior que a soma das partes, do que pessoas capazes de criar pessoalmente uma versão da ferramenta
A melhor parte de criar software sempre foi a criatividade, e isso não mudou. Na verdade, ficou ainda mais importante agora
No fim, construímos coisas para consumidores usarem. Se o riacho começou a correr em outra direção, precisamos aceitar que isso mudou e nos adaptar, em vez de continuar empilhando pedras onde a água passava antes
Ele se congratula por saber que há limites para estragar o patrimônio dos pais, por saber apreciar a areia da praia como um momento de simplicidade existencial digno de Instagram, e por ser inteligente o bastante para talvez ter arrancado a própria mão. Não sei o que é “Leetcoding”, mas é a mesma coisa; ele diz que largou um emprego suspeito porque estava entediado e dá a entender que talvez tenha desenvolvido uma consciência. No fim, conclui com “claro, esta é uma história sobre o desenvolvimento de inteligência artificial”
Se eu fosse acrescentar algo, diria que dá para ver a psicologia de alguém que quer amor mais do que dinheiro, mas que na verdade quer os dois, e ainda assim tenta enfiar algo ruim no mundo como um ponto de dependência importante. Parece uma tentativa de conseguir o que der para conseguir, seja amor ou dinheiro. Meus pais chamavam isso de “uma criança que só precisa de atenção, seja atenção boa ou ruim”
Acho que esse tem sido o motor fundamental da maioria dos bilionários da tecnologia nos últimos 20 anos. O que liga Bezos, Zuck, Jobs, Dorsey e Musk é um desejo do tipo: “Pai, olha, eu não só peguei o dinheiro. Eu era inteligente o bastante para arrancar a mão com fogos de artifício, mas olha, tenho as duas mãos. Ganhei todo esse dinheiro com o dinheiro do papai. Por que você não tem orgulho de mim? Onde encontro amor? Se eu disser a todos o quanto sou Leetcoder, que eu poderia criar uma IA ruim, mas só crio IA boa, todo mundo vai me amar?”
Claro que eu também não estou livre desses sentimentos. Quero fazer coisas boas e quero que as pessoas gostem do que fiz. Mas há neste tipo de texto uma vontade de se exibir e um narcisismo explícitos demais. Se você é mesmo um gênio, vá ficar deitado com as conchas ou escrever um romance. Se tem uma consciência de verdade, tenha coragem de dizer que tem consciência. Deixe o resto em paz e pare de contaminar um mundo que você não entende com ganância infantil e auto-obsessão
É um ensaio excelente, e me sinto parecido com o autor, mas acho que eu não teria conseguido expressar tão bem
Mas, se a expectativa é que pesquisadores de IA aceitem esse conselho e desacelerem, é melhor não esperar. O autor disse que saiu de um emprego bem remunerado no mercado financeiro por razões morais, e isso é admirável. Mas Wall Street continua funcionando, e não falta gente disposta a jogar o jogo de “ganhar o máximo de dinheiro possível”
Um comentário recente no HN [0] comparando empresas e instituições à IA ficou na minha cabeça. Essas organizações já funcionam como inteligências sobre-humanas
[0] https://news.ycombinator.com/item?id=43580681
Empresas como Amazon, Google e OpenAI estão destruindo o planeta bem rapidamente, enquanto empresas como a Citadel apenas movem dinheiro de um lado para o outro
O tillering mencionado aqui não era no sentido de surgimento de brotos laterais em gramíneas, mas no sentido de moldar a madeira para que ela se curve na fabricação de um arco. É divertido aprender uma palavra nova
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
É um processo iterativo de flexionar e raspar, depois flexionar de novo, removendo madeira aos poucos
A história de represar um riacho ou brincar na areia da praia me fez rir por ser saudável. Resolver o quebra-cabeça é mais como o final ruim de um jogo em que brincar deixa de ser divertido
As pessoas deveriam passar mais tempo fazendo coisas porque são divertidas, em vez de tentar fazê-las melhor. Quer o fim do mundo chegue durante a nossa vida ou não, eu vou tentar aproveitar a vida o máximo possível de qualquer jeito
Vonnegut disse isso melhor que ninguém
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
“Quando digo à minha mulher que vou sair para comprar um envelope, ela diz: você não é pobre; por que não compra 100 envelopes online e os guarda no armário? Então finjo que não ouvi e saio para comprar um envelope. Porque vou me divertir muito no processo de comprar um envelope. Vou encontrar muita gente, ver pessoas maravilhosas, fazer sinal de positivo se um caminhão de bombeiros passar e perguntar a alguma mulher qual é a raça daquele cachorro. A moral da história é que viemos à Terra para ficar à toa. É claro que os computadores vão tirar isso de nós. O que o pessoal dos computadores não sabe, ou com que não se importa, é que somos animais dançantes.”
― Kurt Vonnegut
O autor parece se preocupar com riscos de IA, ou seja, com “a IA vai matar todos nós”, um tema comum no LessWrong.
Mas, do ponto de vista de alguém que usa modelos de IA recentes com frequência, não está nada claro que esse risco exista dentro de um horizonte temporal previsível. Mesmo os melhores modelos de hoje ainda acreditam em coisas com facilidade e carecem de insight e originalidade.
Dwarkesh fez uma pergunta assim algum tempo atrás: “Como cientista, como você vê o fato de que esses modelos basicamente memorizaram todo o conhecimento humano, mas ainda assim não conseguiram fazer nenhuma conexão nova que levasse a uma descoberta? Se uma pessoa de inteligência mediana tivesse decorado tudo isso, ela não perceberia algo como ‘isto causa este sintoma, aquilo também causa o mesmo sintoma, então aqui está um tratamento’? Não deveríamos esperar algo assim?”
Eu também passei por algo parecido há pouco tempo. Perguntei ao GPT-4.5 “Deep Research” qual material seria o melhor para uma determinada peça mecânica; a primeira resposta era uma cópia de um post do LinkedIn ridiculamente burro, e a segunda vinha de um press release marqueteiro. Não havia nenhum insight original, e acabei concluindo que eu mesmo teria de fazer a pesquisa e os experimentos.
O ponto central é que não vejo modelos de linguagem de grande porte como capazes de criar métodos assustadores e inéditos o suficiente para matar toda a humanidade. Nos últimos cinco anos, isso não mudou em nada. Eles só passaram a conseguir vasculhar posts do LinkedIn e procurar press releases na web.
Além disso, esses modelos não têm vontade independente nem senso de tempo ou espaço. Mesmo em princípio, não está claro se poderiam funcionar como agentes verdadeiramente independentes.
Mas não sei se alguém já criou um modelo multimodal treinado tanto com dados de tomografia por raios X de peças submetidas a várias cargas quanto com descrições do uso dessas peças. Um modelo assim provavelmente conseguiria dar uma resposta bastante boa à pergunta.
Mas podem fazer com que idiotas crédulos empurrem a humanidade inteira para o precipício. Isso já está acontecendo agora. O modelo não precisa ser um agente independente; basta parecer inteligente.
“Só depois que consegui aquilo é que percebi que não podia mais jogar o jogo de ‘ganhar o máximo de dinheiro possível’.”
O engraçado é que meu pai me ensinou isso quando eu tinha 12 anos por compaixão. Não entendo por que pessoas tipo Spock, apaixonadas pela lógica, são tão glorificadas. Será que não sabem que o verdadeiro herói de Star Trek era o Captain Kirk? Porque ele tinha compaixão.
Não surpreende que os Zizians tenham saído do LessWrong.
Se há dinheiro a ganhar, sempre existe alguém disposto a correr o risco, seja uma pessoa com uma pá, seja alguém que aparece com um caminhão cheio de fogos de artifício. Especialmente se puder transferir o risco para o público, essa pessoa vai querer ficar com a recompensa.
Quem é pai ou mãe não olha para o filho todos os dias e, às vezes, sente maravilhamento diante desse ser pequeno, incrível, esquisito e único?
Os autores do LessWrong parecem sentir exatamente a mesma coisa todos os dias quando olham no espelho.
Preciso que expliquem qual é a metáfora da “coquina”.
Na vida real, isso parece significar que a Anthropic está fazendo a enorme obra de criar AGI e só agora começou a perceber os impactos potenciais disso sobre as pessoas.
Parece significar que a Anthropic começou a perceber os riscos que seu trabalho pode representar para outras pessoas, mas não sei exatamente a que isso se refere.
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
É como a diferença entre cavar um pouco de areia com as mãos e enterrar temporariamente pequenos seres vivos, e “fazer lobby junto ao vereador para instalar espigões ou quebra-mares e realmente mover a areia da praia”.
https://www.anthropic.com/news/anthropic-education-report-ho...