Saídas na OpenAI: por que ex-funcionários não podem falar

• O ChatGPT pode falar, mas os funcionários da OpenAI não
  • Eles assinaram acordos de não crítica, e violá-los pode significar abrir mão das ações

Lançamento do novo ChatGPT 4o da OpenAI

• A OpenAI lançou o novo ChatGPT 4o
• Ele tem uma voz semelhante à da assistente de IA dublada por Scarlett Johansson no filme "Her", de Spike Jonze, de 2013
• O CEO da OpenAI, Sam Altman, publicou um tuíte mencionando o filme

Saída de figuras-chave da OpenAI

• A notícia do lançamento do ChatGPT 4o acabou ofuscando a saída de Ilya Sutskever, cofundador e cientista-chefe da OpenAI, e de Jan Leike, que liderava a equipe de superalinhamento
• Jan Leike, que entrou na lista Future Perfect 50 no ano passado, também deixou a empresa
• As saídas não são tão surpreendentes assim
  • Sutskever esteve envolvido na rebelião do conselho que levou ao afastamento temporário do CEO Sam Altman no ano passado
  • Depois que Altman voltou rapidamente ao cargo de CEO, Sutskever expressou publicamente arrependimento por suas ações e apoiou o retorno de Altman
  • Mas, desde então, enquanto outros membros das equipes de política, alinhamento e segurança da OpenAI foram saindo, Sutskever esteve em grande parte ausente da empresa

Especulações sobre o silêncio dos ex-funcionários

• O silêncio dos ex-funcionários alimenta especulações
• Sutskever deixou uma mensagem de saída convencional
  • "Estou confiante de que a OpenAI construirá uma AGI segura e benéfica. Estou animado com o que vem pela frente"
• Leike disse apenas que "se demitiu"
  • Dias depois, explicou que saiu por preocupações de que a OpenAI vinha se afastando de uma cultura centrada em segurança
• Há várias especulações sobre por que ex-funcionários permanecem em silêncio
  • Se foram forçados a sair, se isso foi consequência do afastamento temporário de Altman no outono passado, ou se pediram demissão em protesto contra um novo projeto secreto e perigoso, entre outras possibilidades

O motivo do silêncio dos ex-funcionários

• Há um motivo claro para o silêncio dos ex-funcionários
  • Os contratos de desligamento extremamente restritivos incluem cláusulas que proíbem criticar o ex-empregador por toda a vida
  • Até mesmo reconhecer a existência do próprio NDA já constitui violação
• Se o funcionário que está saindo não assinar o documento ou o violar, pode perder toda a participação acionária recebida enquanto trabalhava na empresa
  • Muito provavelmente algo que vale milhões de dólares
• Daniel Kokotajlo, ex-funcionário, confirmou publicamente que saiu sem assinar o NDA e abriu mão de uma grande participação acionária por causa disso
  • Ele disse que foi porque "perdeu a confiança de que a OpenAI agiria com responsabilidade na era da AGI"

A prática de NDA no Vale do Silício competitivo

• O NDA em si não é algo incomum no competitivo Vale do Silício
• Mas colocar em risco a participação acionária já recebida em caso de recusa ou violação é incomum
  • Para funcionários de startups como a OpenAI, a participação acionária é uma compensação crucial, muitas vezes muito maior do que o salário
  • Ameaçar esse dinheiro potencialmente transformador é uma forma muito eficaz de silenciar ex-funcionários

A contradição da OpenAI em relação à abertura e transparência

• A OpenAI inicialmente se apresentava como comprometida em construir sistemas poderosos de forma transparente e responsável
  • Mas agora abandonou a ideia de disponibilizar seus modelos como open source, citando preocupações com segurança
• A empresa deixou sair alguns dos membros mais experientes e respeitados da equipe de segurança
  • Isso levanta dúvidas sobre se segurança é realmente o motivo pelo qual a OpenAI se tornou fechada
• Um porta-voz da OpenAI disse que a empresa "nunca cancelou a participação acionária de funcionários atuais ou ex-funcionários e não o fará, mesmo que eles não assinem ao sair"
  • Isso indicaria uma mudança na política que vinha sendo entendida até então

A posição incomum da OpenAI no setor de tecnologia e políticas públicas

• A OpenAI há muito ocupa uma posição incomum nos mundos da tecnologia e das políticas públicas
  • Lançamentos como DALL-E e ChatGPT são impressionantes, mas por si só dificilmente despertariam fervor quase religioso
• O que torna a OpenAI especial é sua meta ambiciosa de desenvolver inteligência artificial geral (AGI) para beneficiar a humanidade
  • Muitos de seus funcionários acreditam que, com cerca de 10 anos (ou menos) e trilhões de dólares, isso pode ser alcançado
• Como a própria OpenAI vem dizendo há muito tempo, isso é empolgante, mas pode ser perigoso

OpenAI como agente responsável

• Historicamente, a OpenAI se posicionou como um agente responsável, disposto a ir além dos incentivos comerciais para trazer a AGI em benefício de todos
  • Ela dizia estar disposta a desacelerar o desenvolvimento, abrir mão de oportunidades de receita ou permitir supervisão externa, se necessário
• A estrutura corporativa única da OpenAI (uma empresa com lucro limitado, em última instância controlada por uma organização sem fins lucrativos) existia para aumentar a responsabilização
• Não havia sinal mais forte do compromisso da OpenAI com sua missão do que dar papéis de destaque a pessoas como Sutskever e Leike
  • Eles eram tecnólogos com um longo histórico de compromisso com segurança e pareciam dispostos a exigir que a OpenAI mudasse de rumo, se necessário

Mudança de foco no trabalho de segurança da OpenAI

• A saída deles não sinaliza uma mudança no objetivo da OpenAI de construir inteligência artificial geral
  • Esse continua sendo o objetivo
• Mas quase certamente sinaliza uma mudança no foco da OpenAI em seu trabalho de segurança
  • A empresa não anunciou quem liderará a equipe de superalinhamento
• Fica claro que as preocupações da OpenAI com supervisão externa e transparência não eram tão profundas assim
  • Se você realmente quer supervisão externa e que o mundo tenha algum papel no que você faz, obrigar ex-funcionários a assinar NDAs extremamente restritivos não é exatamente coerente com isso

Decepção com a OpenAI

• É por isso que a OpenAI é profundamente decepcionante para pessoas que realmente se importam em garantir que a IA seja genuinamente boa e benéfica para a humanidade
  • A liderança da empresa diz querer mudar o mundo, fazer isso com responsabilidade e acolher opiniões do mundo sobre como fazê-lo de forma justa e sábia
• Mas quando dinheiro de verdade está em jogo (e há uma quantidade enorme de dinheiro em jogo na corrida pelo domínio da IA), fica claro que provavelmente eles não pretendiam que o mundo opinasse tanto assim
  • Seus processos impedem que ex-funcionários — as pessoas que melhor sabem o que está acontecendo dentro da OpenAI — possam contar isso ao mundo
• O site pode estar cheio de ideais elevados, mas os contratos de desligamento estão cheios de linguagem jurídica implacável
  • É difícil responsabilizar uma empresa em que ex-funcionários ficam limitados a dizer apenas que "se demitiram"

A nova voz fofa do ChatGPT pode ser atraente, mas eu não estou exatamente apaixonado por ela.

[GN⁺]

Comentários do Hacker News

Resumo da coletânea de comentários do Hacker News

• Como contornar acordos de confidencialidade

  • Para contornar acordos de confidencialidade, há a ideia de reunir os funcionários envolvidos, fazer com que escrevam tudo o que gostariam de dizer, treinar um LLM (modelo de linguagem de grande escala) com isso e depois publicá-lo. Isso exploraria a lógica jurídica atual de transferir a responsabilidade para o usuário do modelo.

• Os acordos de confidencialidade da OpenAI

  • Ex-funcionários da OpenAI teriam de assinar contratos com cláusulas muito rígidas de confidencialidade e de não difamação. Se as violarem, podem perder ações no valor de milhões de dólares.

• A gravidade da situação

  • A situação é muito grave, e algumas pessoas a consideram conduta criminosa. Também há opiniões de que a atuação da OpenAI se assemelha ao caso Enron.

• Necessidade de orientação jurídica

  • Há necessidade de orientação jurídica relacionada à SB 331 da Califórnia (Silenced No More Act). A lei pode se aplicar não apenas a assédio sexual, mas também a outras formas de contratos abusivos.

• Contratos abusivos

  • Forçar funcionários a aceitar acordos vitalícios de não difamação é injusto. Isso pode ser juridicamente problemático, e seria preciso alguém corajoso para entrar com uma ação e resolver a questão.

• Os limites da IA

  • Há a opinião de que a IA não pode substituir todo o trabalho humano. Por exemplo, acredita-se que ela não consiga pintar uma casa ou consertar uma caldeira.

• Remuneração com ações em startups

  • Em startups, ações são um importante meio de remuneração. Funcionários da OpenAI recebem salários altos e ações, e em troca é exigido que assinem NDAs. Há casos semelhantes também na Apple.

• Respeito por Jan Leike

  • Foi expressado respeito adicional por Jan Leike.

• A validade do contrato

  • Para que um contrato seja válido, seria necessário oferecer nova compensação em ações. Forçar um novo contrato com base em compensações já existentes seria injusto.

• A natureza privada do contrato

  • Contratos são uma questão entre as partes, e, se houver problemas jurídicos, eles devem ser resolvidos nos tribunais. Deve-se evitar tratar todas as questões publicamente.