Todos os comentários: este tópico tem mais de 1.800 comentários, e, se você quiser ler todos, pode clicar em 'More' no fim de cada página ou usar o link fornecido.
Se a OpenAI permanecer como uma organização sem fins lucrativos, um membro do conselho vindo da Microsoft teria a obrigação legal de promover a missão da entidade beneficente, e não as necessidades de negócio da Microsoft, o que pode gerar um conflito de interesses evidente. É de se esperar que o IRS não goste dessa configuração.
Com Sam Altman voltando ao cargo de CEO, isso pode ser visto como evidência de que o conselho da OpenAI perdeu sua função. O conselho não conseguiu exercer seu poder de demitir Sam, e agora Sam pode agir como quiser. Não é uma acusação nem um mal-entendido sobre o comportamento de Sam, mas existe a preocupação de que ele possa mentir ou agir de forma inadequada.
É um caso que lembra a Coca-Cola e o episódio da New Coke, em que a Coca original acabou ficando ainda mais popular. Os consumidores exigiram fortemente a volta do sabor familiar, e alguns jornalistas especularam que tudo isso foi uma estratégia de relações públicas.
Num confronto entre um desenvolvedor e um homem de negócios, o homem de negócios venceu, e, quando centenas de desenvolvedores ameaçaram pedir demissão, o conselho recuou, mostrando que os desenvolvedores de fato tinham poder.
Ilya saiu do conselho, mas Adam ainda permanece. Isso pode fazer algumas pessoas torcerem o nariz, mas, com a volta de Sam, haverá mudanças significativas na OpenAI, e não acho que a OpenAI vá se tornar, no longo prazo, uma grande corporação como Facebook ou Uber. Há uma percepção de que a confiança foi perdida.
Houve um conflito entre a equipe de comercialização rápida e a equipe que insistia em princípios, e isso já aparecia em textos desde antes do GPT-3. Só uma minoria do público se importa com segurança em IA; o restante está satisfeito com o ChatGPT ajudando na lição de casa. Dá para zombar da ignorância do conselho, mas, se alguém realmente leva a sério a ameaça da superinteligência, vale tentar entender suas ações.
Pessoalmente, não levo tão a sério a ameaça à segurança em IA, mas é preciso fazer um esforço para entender. Espero que nunca chegue o dia em que a equipe da Helen diga: "foi exatamente isso que tentamos impedir".
Havia esperança em relação a uma abordagem da indústria privada para a segurança em IA, mas agora isso parece impossível, e, com a lentidão do investimento estatal em pesquisa e desenvolvimento de IA pública, todas as abordagens para segurança em IA parecem inviáveis. A pesquisa de segurança em modelos de brinquedo continuará avançando, mas o setor entende que há um limite para o que se pode aprender sobre segurança sem pesquisar modelos de ponta.
Altman argumentou que a estrutura de governança da OpenAI era o mecanismo que garantiria a prioridade da segurança, mas relatos internos de que a pesquisa em segurança estava sendo redirecionada para manter a operação do ChatGPT geram preocupação. À medida que ficou claro que o conselho tinha, em tese, o poder técnico, mas não força suficiente para administrar os interesses envolvidos, não está claro se qualquer organização que priorize segurança, incluindo a Anthropic, consegue evitar a influência aceleracionista de quem fornece financiamento.
Paul Graham disse: "daqui a cinco anos, quando você voltar, Sam será o rei daquela ilha".
Existe uma narrativa de que muitos VCs/Microsoft derrubaram a estrutura de governança da organização sem fins lucrativos por interesse em lucro, mas eu não acho que tenha sido isso. A decisão foi revertida porque 95% dos funcionários ficaram do lado de Sam nessa questão, e o conselho não explicou sua posição de forma alguma. Sam, 95% dos funcionários e todos os investidores se opuseram ao conselho, e o conselho precisava perder aqui, porque governava apenas para si mesmo. No fim, saiu um resultado justo e bom, e ainda acho que a estrutura de governança para lidar com a questão da AGI é apropriada, mas este conselho específico era extremamente inadequado.
1 comentários
Comentários no Hacker News