Feedback de Sam Altman e Greg Brockman sobre as alegações de um pesquisador de Safety da OpenAI

• Agradecimento pelas contribuições de Jan e explicação da estratégia

  • Agradecemos as contribuições de Jan e acreditamos que ele continuará contribuindo para a missão de fora.
  • Queremos explicar nossa estratégia em relação às questões levantadas por sua saída.

• Aumento da conscientização sobre os riscos e oportunidades da AGI

  • Aumentar a conscientização sobre os riscos e as oportunidades da AGI para que o mundo possa se preparar melhor.
  • Demonstramos repetidamente a escalabilidade do deep learning e analisamos suas implicações.
  • Defendemos a governança internacional da AGI, um tema que na época não era popular.
  • Fomos pioneiros na ciência de avaliação dos riscos catastróficos de sistemas de IA.

• Construção da base para implantar sistemas com segurança

  • Estamos construindo a base para a implantação segura de sistemas cada vez mais capazes.
  • Tornar uma nova tecnologia segura pela primeira vez não é algo fácil.
  • Fizemos muito trabalho para apresentar o GPT-4 ao mundo com segurança.
  • Com base nas lições aprendidas com a implantação, continuamos melhorando o comportamento do modelo e o monitoramento de abuso.

• Desafios futuros

  • O futuro será mais difícil do que o passado.
  • Precisamos continuar elevando o nível do trabalho de segurança de acordo com a importância dos novos modelos.
  • No ano passado, sistematizamos isso por meio do Preparedness Framework.

• Visão sobre o futuro

  • À medida que os modelos se tornarem mais poderosos, espera-se que se integrem mais profundamente ao mundo.
  • Em vez de conversar apenas com um único modelo por meio de entrada e saída de texto, os usuários passarão a interagir com sistemas compostos por vários modelos multimodais e ferramentas.

• Desenvolvimento de sistemas seguros e benéficos

  • Acreditamos que esses sistemas serão extremamente benéficos e úteis para as pessoas, e que poderão ser oferecidos com segurança.
  • Para isso, é necessário muito trabalho de base.
  • Isso inclui considerar cuidadosamente aquilo ao que os modelos se conectam durante o treinamento e encontrar soluções para problemas difíceis, como supervisão escalável.
  • Ainda não sabemos quando alcançaremos os padrões de segurança para lançamento enquanto construímos nessa direção, mas tudo bem se o cronograma de lançamento atrasar.

• Loops de feedback e testes rigorosos

  • Reconhecemos que não somos capazes de imaginar todos os cenários futuros possíveis.
  • São necessários loops de feedback muito próximos, testes rigorosos, consideração cuidadosa em cada etapa, segurança de nível mundial e a harmonização entre segurança e capacidade.
  • Continuaremos realizando pesquisas de segurança em diferentes horizontes de tempo.
  • Seguiremos colaborando com governos e diversas partes interessadas.

• Compreensão do caminho até a AGI

  • Não existe um playbook comprovado para navegar o caminho até a AGI.
  • A compreensão empírica ajudará a orientar o caminho adiante.
  • Estamos trabalhando para oferecer enormes benefícios ao mesmo tempo em que mitigamos riscos graves.
  • Levamos nosso papel muito a sério e analisamos cuidadosamente o feedback sobre nossas ações.

[GN⁺]

Opinião no Hacker News

Resumo dos comentários do Hacker News

• Preocupações com os riscos da IA

  • Discussões de que a IA trará o fim do mundo fazem com que riscos reais que já estão se desenrolando hoje sejam ignorados.
  • Golpistas estão ficando mais habilidosos com o uso de IA.
  • As pessoas estão ficando cada vez mais tolas ao confiar cegamente em saídas incorretas da IA.
  • A comunicação comum está entrando em colapso à medida que conteúdos gerados por IA são copiados e colados no lugar de conversas reais.
  • O surgimento de produtos de namorada virtual por IA reduz a confiança no futuro da humanidade.
  • CEOs estão promovendo demissões em massa para cortar custos e substituindo pessoas por chatbots de IA.
  • A preocupação não é que a IA vá lançar armas nucleares, mas que substitua o trabalho de todos e torne os poderosos ainda mais poderosos.

• Mitigação de risco nas grandes empresas

  • A liderança de mitigação de risco em grandes empresas precisa equilibrar riscos nas áreas jurídica, compras, TI e outras.
  • Quando responsáveis por mitigação de risco são ignorados repetidamente, acabam indo embora.
  • Medos em nível de evento potencial de extinção, como AGI, podem estar sendo exagerados.
  • Se você substituir AGI por "sem política de BYOD", a situação se parece com casos de startups em que a pessoa responsável por segurança insiste na política e acaba saindo da empresa.

• Utilidade e limites dos LLMs

  • LLMs são úteis para tarefas básicas, mas ainda não estão prontos para tarefas mais complexas.
  • Alertas exagerados sobre segurança em IA podem ser uma estratégia para aumentar a importância da OpenAI.
  • A era atual da IA não passa de uma tentativa de fingir que máquinas conseguem pensar.

• Riscos reais da IA

  • O risco da IA não é uma entidade super-humana incontrolável, mas problemas mais realistas e cotidianos.
  • Reconhecimento de voz incorreto ao aplicar LLMs à moderação de chats.
  • Conclusões erradas em resumos de relatórios militares.
  • Casos em que notícias interpretam detalhes de forma incorreta e isso passa a ser aceito como fato histórico.
  • O impacto de longo prazo desses resultados pode ser tão grande quanto o próprio uso de LLMs.

• Alinhamento e ética em IA

  • Não há conteúdo concreto sobre alinhamento de IA.
  • Não se sabe quando o alinhamento de IA será desenvolvido.
  • Ética em IA e viés em IA são questões diferentes de alinhamento de IA.
  • Há o risco de que uma IA capaz de causar a extinção humana seja desenvolvida antes de existir alinhamento de IA.
  • A OpenAI não está destinando recursos suficientes ao alinhamento de IA.

• Desconfiança em relação à linguagem corporativa

  • O uso de nomes como "Sam e Greg" para sugerir proximidade soa artificial.
  • A alegação de que muito trabalho foi feito para lançar o GPT-4 com segurança não parece confiável.
  • Não há necessidade de se preocupar com superalinhamento antes de definir ou testar AGI.
  • O medo de que a AGI destrua a humanidade vem da suspeita de que um agente que pensa logicamente concluiria que precisa eliminar a humanidade.
  • A linguagem corporativa parece artificial e cheia de expressões vazias de significado.