Os efeitos colaterais da eficiência excessiva (2022)

Eficiência alta demais piora tudo: overfitting e a versão forte da Lei de Goodhart

À medida que a eficiência aumenta, paradoxalmente os resultados podem piorar. Isso é verdade em quase todo lugar. Vamos chamar esse fenômeno de versão forte da Lei de Goodhart. Por exemplo, o acompanhamento centralizado do desempenho dos alunos por meio de testes padronizados parece uma boa ideia, mas pode levar as escolas a se concentrarem na preparação para a prova, piorando os resultados educacionais de forma geral. Há exemplos semelhantes em muitas áreas, como política, economia, saúde e ciência.

Overfitting e a Lei de Goodhart

• Overfitting: em machine learning, como não é possível atingir diretamente o objetivo, usa-se um proxy semelhante para treinar o modelo. No começo, conforme o proxy melhora, o objetivo também melhora, mas se a otimização continua, o proxy pode ficar melhor sem que o objetivo continue melhorando. Isso é chamado de overfitting.
• Lei de Goodhart: quando uma medida vira meta, ela deixa de ser uma boa medida. Isso se aplica não só à economia, mas a várias áreas.

A versão forte da Lei de Goodhart: quando ficamos eficientes demais, aquilo com que nos importamos piora

• Se continuarmos otimizando uma meta proxy, o objetivo pode piorar. Esse é um fenômeno muito comum em machine learning.
• Versão forte da Lei de Goodhart: quando uma medida vira meta e é otimizada de forma eficaz, aquilo que ela tenta medir piora.

O aumento da eficiência e o overfitting estão por toda parte

• À medida que a eficiência aumenta, isso pode gerar resultados positivos ou negativos em toda a sociedade.
• Exemplos:
  • Objetivo: educar bem as crianças
    • Proxy: notas em testes padronizados
    • Resultado: foco apenas na preparação para provas, reduzindo a qualidade real da educação
  • Objetivo: avanço rápido da ciência
    • Proxy: bônus com base no número de publicações
    • Resultado: aumento na publicação de resultados de pesquisa imprecisos
  • Objetivo: população saudável
    • Proxy: acesso a alimentos nutritivos
    • Resultado: problema de obesidade

Como mitigar o overfitting e a versão forte da Lei de Goodhart

• Alinhar melhor a meta proxy e o resultado desejado: em machine learning, coletam-se exemplos de treinamento semelhantes às situações de teste. Em sistemas sociais, mudam-se leis, incentivos e normas sociais para que fiquem mais alinhados ao objetivo.
• Adicionar penalidade de regularização: em machine learning, mantém-se pequeno o tamanho dos parâmetros. Em sistemas sociais, reduz-se a complexidade ou impõem-se custos adicionais.
• Injetar ruído no sistema: em machine learning, adiciona-se ruído aleatório às entradas, aos parâmetros e aos estados internos. Em sistemas sociais, acrescentam-se elementos aleatórios para reduzir a previsibilidade.
• Parada antecipada: em machine learning, o treinamento é interrompido quando a perda de validação começa a piorar. Em sistemas sociais, limita-se o tempo de decisão ou interrompem-se atividades de mercado.
• Limitação de capacidade: em machine learning, reduz-se o tamanho do modelo para evitar overfitting. Em sistemas sociais, limita-se a capacidade de organizações ou agentes.
• Aumento de capacidade: em machine learning, torna-se o modelo muito grande para evitar overfitting. Em sistemas sociais, aumenta-se muito a capacidade para eliminar o trade-off entre objetivo e proxy.

Considerações finais

A versão forte da Lei de Goodhart é a causa fundamental do meu medo pessoal em relação à IA. A IA pode aumentar a eficiência em quase toda tarefa. Há muitas oportunidades de pesquisa para resolver esse problema. Se os sistemas sociais entrarem em colapso por causa da versão forte da Lei de Goodhart, ficará difícil tomar ações racionais para corrigir isso. Dar um nome a esse fenômeno e entendê-lo melhor pode ajudar.

Resumo do GN⁺

• A versão forte da Lei de Goodhart explica que, quando a eficiência aumenta, os objetivos podem piorar.
• É semelhante ao fenômeno de overfitting em machine learning e pode se aplicar a várias áreas.
• O problema pode ser mitigado alinhando melhor as metas proxy e os objetivos reais, adicionando penalidades de regularização e injetando ruído no sistema.
• O aumento da eficiência provocado pela IA pode gerar vários efeitos colaterais, e são necessárias pesquisas para resolvê-los.
• É importante entender e responder à versão forte da Lei de Goodhart para evitar o colapso dos sistemas sociais.

[gguimoon]

Ouvi dizer que o exame CSAT do nosso país se afastou de seu objetivo inicial de medir a capacidade matemática e se transformou em um sistema voltado apenas a tornar mais eficiente a distribuição dos cortes por faixa de nota. Isso parece ser um exemplo de como não se escapa da lei de Goodhart.

[GN⁺]

Comentários do Hacker News

• Jascha é um pesquisador brilhante de ML que trabalhou no Google Brain e atualmente está na Anthropic

  • É conhecido por pesquisas que explicam matematicamente a propagação de sinais em redes neurais profundas
  • Alcançou a convergência de modelos transformer muito profundos com conceitos como "dynamical isometry"
  • Sua intuição sobre otimização vai além de ML e se estende pela sociedade moderna como um todo
  • Sua mensagem vai além do contexto técnico e é um chamado humano e empático à ação
  • Sugere conexões matemáticas entre o problema de overfitting e outras áreas, como economia, ciência política e administração

• A lei de Goodhart diz que, quando uma medida se torna uma meta, ela deixa de ser uma boa medida

  • O problema não está apenas na medição, mas também no comportamento humano
  • Os seres humanos tendem a explorar sistemas de controle estabelecidos
  • A lei de Campbell explica isso melhor
  • Medidas de mitigação como regularização e early stopping podem ser indiretas ou criar novos problemas

• Na Suécia, isso surgiu como um problema social nos últimos 20 anos

  • A eficiência na saúde é medida pelo "trabalho concluído" dos médicos responsáveis
  • O sistema foi otimizado para lidar com casos simples, e o contato pessoal desapareceu
  • O sistema ferroviário foi privatizado, mas continua sofrendo com problemas de atraso

• Há uma lei semelhante também na fisiologia do exercício

  • Metodologias gerais de treinamento oferecem métricas mais significativas
  • Em atletas especializados, a melhora de desempenho não representa melhora da condição física geral
  • Nos esportes, existe a analogia entre "condicionamento físico de base" e "condicionamento físico de pico"

• Há também uma lei relacionada na teoria das filas

  • Quando a taxa de utilização se aproxima de 100%, o tempo de espera aumenta até o infinito
  • É necessário haver folga

• Não gosta de focar em PIB

  • Pesquisas trimestrais sobre satisfação com a vida e otimismo são indicadores melhores
  • O PIB reflete a atividade econômica, mas não a qualidade de vida

• Encontrou um exemplo dessa lei em uma loja local de ferragens

  • A instalação de grades antifurto piorou a experiência do cliente
  • Decisões orientadas por dados nem sempre levam ao melhor resultado

• Teve uma experiência semelhante ao visitar restaurantes de rede

  • Tudo é tão otimizado que parece mecânico e artificial
  • O foco está em gerar receita, não na experiência do cliente

• Lembrou o nome do autor

  • Em 2015, ele inventou o primeiro modelo de difusão generativa

• O efeito existe, mas os exemplos não são precisos

  • A ênfase excessiva no desempenho acadêmico é diferente do propósito da educação
  • A obesidade não é resultado de priorizar alimentos nutritivos
  • O aumento da desigualdade não tem relação com a distribuição de recursos segundo necessidades sociais
  • A falta de estímulo leva a vício sensorial ou jogo
  • Expandir a educação pública, taxar o açúcar e redistribuir riqueza são soluções mais fáceis