Feedback de Sam Altman e Greg Brockman sobre as alegações de um pesquisador de Safety da OpenAI

• Agradecimento pelas contribuições de Jan e explicação da estratégia

  • Agradecemos as contribuições de Jan e acreditamos que ele continuará contribuindo para a missão de fora.
  • Queremos explicar nossa estratégia em relação às questões levantadas por sua saída.

• Aumento da conscientização sobre os riscos e oportunidades da AGI

  • Aumentar a conscientização sobre os riscos e as oportunidades da AGI para que o mundo possa se preparar melhor.
  • Demonstramos repetidamente a escalabilidade do deep learning e analisamos suas implicações.
  • Defendemos a governança internacional da AGI, um tema que na época não era popular.
  • Fomos pioneiros na ciência de avaliação dos riscos catastróficos de sistemas de IA.

• Construção da base para implantar sistemas com segurança

  • Estamos construindo a base para a implantação segura de sistemas cada vez mais capazes.
  • Tornar uma nova tecnologia segura pela primeira vez não é algo fácil.
  • Fizemos muito trabalho para apresentar o GPT-4 ao mundo com segurança.
  • Com base nas lições aprendidas com a implantação, continuamos melhorando o comportamento do modelo e o monitoramento de abuso.

• Desafios futuros

  • O futuro será mais difícil do que o passado.
  • Precisamos continuar elevando o nível do trabalho de segurança de acordo com a importância dos novos modelos.
  • No ano passado, sistematizamos isso por meio do Preparedness Framework.

• Visão sobre o futuro

  • À medida que os modelos se tornarem mais poderosos, espera-se que se integrem mais profundamente ao mundo.
  • Em vez de conversar apenas com um único modelo por meio de entrada e saída de texto, os usuários passarão a interagir com sistemas compostos por vários modelos multimodais e ferramentas.

• Desenvolvimento de sistemas seguros e benéficos

  • Acreditamos que esses sistemas serão extremamente benéficos e úteis para as pessoas, e que poderão ser oferecidos com segurança.
  • Para isso, é necessário muito trabalho de base.
  • Isso inclui considerar cuidadosamente aquilo ao que os modelos se conectam durante o treinamento e encontrar soluções para problemas difíceis, como supervisão escalável.
  • Ainda não sabemos quando alcançaremos os padrões de segurança para lançamento enquanto construímos nessa direção, mas tudo bem se o cronograma de lançamento atrasar.

• Loops de feedback e testes rigorosos

  • Reconhecemos que não somos capazes de imaginar todos os cenários futuros possíveis.
  • São necessários loops de feedback muito próximos, testes rigorosos, consideração cuidadosa em cada etapa, segurança de nível mundial e a harmonização entre segurança e capacidade.
  • Continuaremos realizando pesquisas de segurança em diferentes horizontes de tempo.
  • Seguiremos colaborando com governos e diversas partes interessadas.

• Compreensão do caminho até a AGI

  • Não existe um playbook comprovado para navegar o caminho até a AGI.
  • A compreensão empírica ajudará a orientar o caminho adiante.
  • Estamos trabalhando para oferecer enormes benefícios ao mesmo tempo em que mitigamos riscos graves.
  • Levamos nosso papel muito a sério e analisamos cuidadosamente o feedback sobre nossas ações.

[GN⁺]

Opiniões do Hacker News

• Em qualquer empresa de tecnologia grande o suficiente, organizações de mitigação de riscos como jurídico, compras e TI inevitavelmente operam dentro da janela de Overton entre os riscos que a empresa as contratou para evitar e o desejo da diretoria de avançar rapidamente quando sente que precisa
  Responsáveis por risco acabam vendo alertas cada vez mais fortes serem ignorados ou contestados frontalmente repetidas vezes, até que se ajustam ou vão embora por entrar em conflito com seu senso ético
  Talvez “AGI” e medos de extinção da humanidade estejam fazendo isso parecer mais dramático do que precisa ser. Mesmo trocando AGI por “não há política proibindo o uso de dispositivos pessoais”, dá para imaginar uma startup em que a pessoa responsável por segurança ficou obcecada pela política, a gestão não, e no fim essa pessoa saiu
  Ou pode ser algo tão sério e perigoso quanto parece. De fora, é difícil julgar

  • Aqui é diferente de questões padrão de RH/jurídico. A tecnologia com que eles lidam envolve os riscos mais graves. É território desconhecido, não só no setor de tecnologia, mas de modo geral
    Quer a recente troca pública de acusações seja apenas drama interno ou política vazando para fora, quer a postura da empresa ao lidar com essa questão não seja séria o suficiente, nenhuma das opções é boa
    Esta organização parece cada vez mais um circo e, pior, uma organização que perdeu o foco do essencial. É muito inquietante que essas pessoas estejam “liderando” a comercialização dessa tecnologia e definindo o clima do setor. Especialmente quando figuras centrais que haviam entrado por princípios e razões morais parecem estar saindo em massa
    No fim, acho que veremos rapidamente qual é o resultado de confiar todo esse dinheiro, poder, responsabilidade e fé ao Vale do Silício
  • A segurança mencionada aqui é diferente do trabalho feito pela equipe de alinhamento. Nesse contexto, alinhamento significa que a saída do modelo corresponde às nossas expectativas, isto é, que ele segue instruções e faz o que foi pedido
    Um modelo superinteligente que se recusa a seguir instruções é tão inútil quanto um modelo burro que não entende instruções. A equipe de alinhamento também fazia parte da corrida para criar modelos mais poderosos. Se quiser entender melhor tecnicamente, veja o último artigo da OpenAI: https://openai.com/index/weak-to-strong-generalization/
    É claro que, se você convencer as pessoas de que grandes modelos de linguagem têm agência implementada e podem escapar pelos sistemas como um vírus de computador, dá para enquadrar isso como uma questão geral de segurança. Mas grandes modelos de linguagem são geradores de texto. Fisicamente, não podem fazer nada; só podem agir se nós permitirmos e os conectarmos a alguma coisa
    O risco real é que as pessoas não entendam isso e que muitas queiram conectar esses modelos a situações perigosas apenas porque a OpenAI garantiu que eles são seguros. Sem acesso aos dados de treinamento, não dá para saber quais comportamentos foram aprendidos nem como o modelo vai agir. Com os dados de treinamento, é possível entender isso muito melhor, e a incerteza restante se limita à não determinismo da implementação. Ainda assim, ao menos é um processo probabilístico explicável
  • Recentemente vimos o que acontece quando uma empresa se inclina demais para a mitigação de riscos em grandes modelos de linguagem. O Google lançou um produto de IA excessivamente higienizado e superprotegido, que interpretava erroneamente até tarefas simples como se pudessem ter implicações perigosas ou ofensivas
    Deixaram a equipe de segurança liderar, e o resultado foi um produto odiado por todos. Mas agora é interessante ver a comunidade técnica também odiar uma empresa que, em geral, cria produtos de nível líder de mercado, porque ela não deixou a equipe de segurança dominar o desenvolvimento do produto
  • Em geral é parecido quando se trata de um tema sensível cuja missão não está realmente alinhada aos incentivos da organização. Por exemplo, quando a missão de segurança da informação entra em conflito com os incentivos organizacionais de cortar custos e aumentar lucros
    O resultado vira uma encenação em que o duplipensar e a novilíngua se tornam padrão, e, para permanecer, é preciso priorizar a interpretação menos onerosa possível da letra das leis aplicáveis, em vez de seu espírito, e valorizar a própria encenação acima de tudo
    Para uma forma bastante prática de pensar sobre a realidade de uma cultura de segurança sustentável, [1] também vale a pena consultar
    [1] https://github.com/lorin/resilience-engineering/raw/master/b...
  • Se estamos falando de medos de extinção da humanidade, parece que eles podem justificar certo grau de drama

• A história de que a IA vai exterminar a humanidade para fazer clipes me irrita porque desvia a atenção dos perigos reais que estão acontecendo agora
  Golpistas estão vivendo uma era de ouro, e suas capacidades vão ficar melhores e mais fáceis de usar. As pessoas estão ficando de fato mais burras ao confiar cegamente em saídas alucinadas. Até a comunicação comum está ruindo, porque não dá para confiar que a outra pessoa não está copiando e colando bobagens de IA em vez de participar de uma discussão real
  Já vimos produtos de namorada de IA, e o número de usuários de alguns deles não inspira confiança no nosso futuro como espécie
  O maior problema é que todo tipo de executivo de alto escalão e perfil MBA completamente maluco só está interessado em extrair até o último centavo, custe o que custar. Isso inclui demitir e substituir milhares de pessoas de uma vez por chatbots ruins, de propriedade de uma empresa respaldada pela Microsoft
  Não acho que a IA vá lançar armas nucleares, mas acredito que ela vai substituir o emprego de todo mundo e tornar os fortes ainda mais fortes. “Mas teremos renda básica!”, gritará o bajulador de IA, só que dizer palavras mágicas não muda o mundo real

  • Alguns vão tentar fazer isso, mas os grandes modelos de linguagem têm desempenho ruim em tarefas que precisam se basear em fatos e na realidade concreta, então a onda de hype logo vai baixar
    Se o objetivo de uma tarefa for produzir o máximo de besteira possível no menor tempo, grandes modelos de linguagem serão excelentes
  • Depende de que pessoas e de qual comunicação estamos falando. Hoje de manhã eu estava em uma feira de produtores em uma pequena cidade rural, e foi curioso ver como tudo isso simplesmente não existe ali
    Não se viam smartphones; as pessoas apareciam fisicamente, conversavam umas com as outras, compravam comida local, riam e tomavam alguma coisa. Depois iam comer na casa de amigos ou fazer atividades ao ar livre. Por outro lado, para quem vive grudado na internet, a coisa certamente parece sombria
  • O ruim é que a IA não vai substituir o trabalho das pessoas com o mesmo nível de habilidade e qualidade. Ela simplesmente vai tornar os resultados e a experiência do consumidor muito piores
    Estranhamente, muitos executivos parecem acreditar literalmente que minimizar custos de mão de obra é mais importante do que entregar valor ao cliente
  • Há um problema ainda mais grave. Hoje, para instaurar uma ditadura, é preciso o apoio de muita gente, porque o exército é composto por pessoas. Agora imagine uma situação em que o exército seja composto majoritariamente por robôs autônomos
    Também concordo com o problema das namoradas virtuais. Some VR a isso, e meninos cada vez mais socialmente isolados vão satisfazer seus desejos com essa tecnologia
  • Tratei disso em certa medida em “SkyNet não está vindo matar você”: https://renegadeotter.com/2024/04/22/artificial-intelligence...
    É verdade que a IA pode gerar muito conteúdo automatizado, mas meu argumento é que isso quase sempre é, na melhor das hipóteses, medíocre
    Há muito a dizer sobre o fato de que os riscos da IA vêm não da IA em si, mas das pessoas que a operam e a financiam. A ideia de que a própria IA é perigosa é completa bobagem

• Grandes modelos de linguagem são úteis até certo ponto, mas, pelo que usei, ainda não estão prontos para tarefas mais difíceis do que atividades muito básicas
  Gritar alto sobre segurança em IA e criar uma sensação de apocalipse parece uma estratégia para aumentar a importância da OpenAI e exagerar as capacidades dos grandes modelos de linguagem. Esta era da “IA” gira em torno de máquinas fingindo que pensam e de pessoas que criam essas máquinas fingindo que são profetas

  • As demandas por segurança em IA já existiam antes de grandes modelos de linguagem passarem no teste de Turing. E eu não chamaria coisas como geração de código ou experiências de aprendizado baseadas em conteúdo sobre temas avançados de “básicas”. Ainda mais considerando a futura integração multimodal
    Muitas pessoas defendem segurança há décadas. Elas previram e construíram a trajetória da IA, estavam certas, e devemos ouvi-las
    “Se aceitarmos que o impacto de máquinas verdadeiramente inteligentes provavelmente será profundo, e que há mesmo uma pequena possibilidade de isso acontecer no futuro previsível, então é prudente tentar se preparar com antecedência. Se esperarmos até que pareça muito provável que máquinas inteligentes estejam prestes a surgir, será tarde demais para discutir e ponderar adequadamente as questões envolvidas.”
    ~ cofundador da DeepMind, 2008
    https://www.vetta.org/documents/Machine_Super_Intelligence.p...
  • Esse tipo de reação sempre me deixa confuso. Vocês não acreditam que grandes modelos de linguagem vão melhorar?
  • Também precisamos manter aberta a possibilidade de que esses pesquisadores de IA sejam tão delirantes quanto parecem. Ilya Sutskever disse que, modelando dados de texto por força bruta, seria possível obter alguma característica da inteligência
    Há uma chance considerável de que sejam pessoas profundamente ingênuas, com pouca compreensão da base empírica do próprio trabalho

• Eles dizem que “defendiam governança internacional para AGI antes de isso se tornar popular”, mas ameaçaram sair da UE assim que tal governança começou a ser introduzida de fato
  Dizem que “temos preparado as bases para implantar sistemas cada vez mais capazes com segurança. Não é fácil descobrir como tornar uma nova tecnologia segura pela primeira vez”, o que é ainda mais verdadeiro quando, em especial, a OpenAI não é nada open
  Falam em “cautela sobre ao que se conecta durante o treinamento, soluções para problemas difíceis como supervisão escalável, novos tipos de trabalho de segurança”, mas era isso que a UE estava exigindo. Quando pediram divulgação de fontes protegidas por direitos autorais, documentação de modelos de base etc., eles ameaçaram se retirar
  A tradução de “achamos que a compreensão empírica pode indicar o caminho adiante. Nós temos uma enorme…” é: “queremos seguir de forma tão fechada quanto possível, garantir um fosso suficiente e empresas dependentes de nós para continuarmos relevantes e indispensáveis”

  • Traduzindo: significa que colocaram essas salvaguardas de fachada para satisfazer as leis e os pesadelos das pessoas depois de assistirem a [insira aqui o título de um filme sobre extinção por IA], mas que, em primeiro lugar, já havia salvaguardas suficientes
    Eles também não querem morrer, então não há por que achar que não têm incentivos para manter todo mundo seguro

• Há alguns fatos
  Isto é uma resposta às alegações de Jan: https://x.com/janleike/status/1791498174659715494
  A resposta não traz nada concreto sobre alinhamento de IA. Não sabemos quando o alinhamento de IA poderá ser desenvolvido. Ética em IA e viés em IA são necessários, mas são preocupações diferentes de alinhamento de IA. Também não sabemos quando será desenvolvida uma IA que possa causar risco existencial
  Se uma IA que cause risco existencial for desenvolvida antes do alinhamento de IA, haverá algum grau de risco de extinção humana. A OpenAI está na linha de frente do desenvolvimento de IA com risco de extinção humana, mas não está alocando recursos suficientes para alinhamento de IA
  Fiquei desconfortável em assinar o ChatGPT

  • Alguém pode resumir o conteúdo da alegação? O Twitter não mostra threads para usuários da web. Pelo menos não sem login

• Como muitos concordam, o risco da IA não é um ser sobre-humano incontrolável
  O risco é muito mais próximo e realista. Coisas como aplicar grandes modelos de linguagem à moderação de chats e identificar falas incorretamente, resumir um relatório militar de 100 páginas e chegar a uma conclusão errada, ou alucinar alguns detalhes em uma notícia que anos depois acabam aceitos como fato histórico
  A cauda longa desses resultados crescerá na mesma escala do uso de grandes modelos de linguagem. Algum problema isolado, antes invisível, pode ter impacto muito maior que os outros. Mortes decorrentes disso levarão a mais regulação, e outros resultados simplesmente se tornarão nosso novo modo de vida

  • Então, como aumentar salários sem que isso aconteça? Quanto mais caros os humanos ficam, mais eficientes as máquinas se tornam em termos relativos
    Mesmo que uma máquina seja menos precisa que um humano fazendo o mesmo trabalho, é mais fácil auditá-la, seu comportamento é repetível e ela é escalável. Mesmo que muitas pessoas morram por um erro de guerra imaginável, ainda pode ser melhor, já que os humanos acabarão fazendo trabalhos melhores
    No fim, é um trade-off

• Incomoda-me essa forma de usar apenas os primeiros nomes, como em “Sam e Greg”, para transmitir uma relação amigável com a empresa
  A tentativa de parecer casual e humana soa falsa, e ao mesmo tempo a postura de elevá-los na cultura popular apenas pelo primeiro nome parece arrogante

  • Sinto que a direção da OpenAI cada vez mais quer ser a próxima Apple. Para mim, parece mais um baile de máscaras chamativo do que uma originalidade realmente sólida

• “Por exemplo, nossa equipe fez muito trabalho para lançar o GPT-4 no mundo com segurança”, sério isso?

• Não acho que devamos nos preocupar com superalinhamento quando a OpenAI nem consegue definir ou testar AGI adequadamente

  • “Superalignment” é mais um termo vazio da indústria, criado para nos fazer acreditar que estamos lidando com “superinteligência”
    “Moderação de modelos” não soaria tão sexy, não é?

• O medo de que a AGI destrua a humanidade parece vir, em grande parte, da suspeita de que um dispositivo que pensa logicamente de fato chegaria à conclusão de que devemos ser eliminados

  • Esse medo vem do fato de que um dispositivo de raciocínio lógico, ao qual se atribua um objetivo arbitrário, provavelmente não desenvolverá por conta própria uma regra moral como “não matarás” enquanto persegue esse objetivo
    Se você colocar uma AGI para operar uma fábrica de clipes de papel, algum dia, quando voltar, a maior parte do carbono e do ferro da galáxia pode ter sido reconfigurada em clipes de papel. A extinção da fauna e flora locais será apenas um subproduto desse impulso. Para um resumo simples, veja [2]
    [2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
  • A conclusão de que “uma grande população humana não é o melhor uso dos recursos da Terra” pode parecer óbvia para um ser pensante superior que não tenha uma razão convincente para nos colocar acima de seus próprios interesses. Esses interesses podem nem ser egoístas. Por exemplo, o objetivo poderia ser descobrir a verdadeira natureza da realidade
    Mas por que teria de extinguir os humanos? Não poderia criar reservas naturais para nós e outros seres vivos, para conservação biológica e pesquisa? Esse tipo de abordagem já existe nas sociedades humanas há milhares de anos
  • Como destruímos a nós mesmos e outros animais, no fim acho que tememos a nós mesmos
    Se criarmos algo parecido conosco, mas muito mais capaz, ficaremos apavorados e em apuros