Se a OpenAI continuar sendo uma instituição beneficente 501(c)(3), um funcionário da Microsoft que entre no conselho terá um dever fiduciário de priorizar a missão da entidade beneficente, não as necessidades de negócio da Microsoft. O conflito de interesses é tão evidente que não parece que o IRS vá gostar dessa estrutura
Em conselhos de grandes empresas, conflitos de interesse “no papel” são comuns. Se você quer que pessoas com experiência real de gestão se sentem no conselho e ajam com responsabilidade, isso acontece em qualquer setor; não é um problema específico do setor de tecnologia nem da OpenAI
Na prática, as coisas funcionam seguindo as regras do conselho e o bom senso: a pessoa se abstém quando necessário e não faz besteira
Uma organização sem fins lucrativos provavelmente nunca passou por uma investigação tão grande quanto a de agora, e os novos conselheiros devem querer envolver advogados para se proteger. Basta imaginar a posição deles se Sam Altman realmente tiver feito algo que justificasse sua demissão
Transformar a OpenAI em uma entidade beneficente de utilidade pública foi um grande erro, e entrar nesse tipo de confusão não é atraente. Se mais tarde ela se inclinar para o status de fundação privada, aí a coisa vai ficar ainda mais interessante
A OpenAI não é uma entidade beneficente. O investimento da Microsoft foi para a OpenAI Global, LLC, uma empresa com fins lucrativos
Segundo https://openai.com/our-structure, a subsidiária com fins lucrativos é totalmente controlada pela OpenAI Nonprofit, e os membros do conselho devem cumprir seu dever fiduciário em prol da missão de uma “AGI segura e amplamente benéfica”. Há um teto para a participação nos lucros de investidores, funcionários e da Microsoft, e o valor residual acima desse teto volta para a organização sem fins lucrativos em benefício da humanidade. Além disso, cabe ao conselho decidir se a AGI foi alcançada, e a AGI fica excluída da licença de propriedade intelectual e dos termos comerciais da Microsoft
Não há sinal de que um conselheiro indicado pela Microsoft tenha necessariamente de ser funcionário da Microsoft. Claro que poderia ser, mas em grandes organizações sem fins lucrativos é comum haver conselheiros vindos de empresas com fins lucrativos
Não parece que o IRS vá se importar muito com isso. Se a alegação for que a OpenAI está direcionando benefícios para a Microsoft, uma empresa com fins lucrativos que paga impostos, mesmo presumindo a pior intervenção maliciosa, isso parece mais um assunto da SEC do que do IRS
Não parece que o governo vá regular isso de forma dura. IA é importante demais para o governo e para os militares, então eles não vão querer desacelerar uma vantagem competitiva por causa de conflitos de interesse menores
Com a volta de Sam como CEO, parece que o conselho da OpenAI provou ter perdido sua função. Independentemente de quem esteja no conselho, ele ficou incapaz de exercer o poder mais básico, que é demitir o CEO, e Sam mostrou que é, na prática, uma pessoa impossível de demitir
Isso não quer dizer que Sam tenha mentido ou que vá mentir no futuro
De forma alguma. O conselho apenas agiu da maneira mais incompetente possível entre os grupos encarregados dessa responsabilidade
Se tivesse seguido o devido processo, informado funcionários e investidores e anunciado o motivo para demitir o CEO, não teria havido uma demissão em um Google Meet de 15 minutos seguida de silêncio total, e essa indignação não teria acontecido
Imagine se o conselho da Apple demitisse Tim Cook sem aviso logo depois de ele subir ao palco e anunciar as atualizações da plataforma para desenvolvedores daquele ano, além de crescimento e vendas recordes; depois se recusasse por vários dias a dar aos investidores um motivo ou qualquer comunicação útil; e, no mesmo fim de semana, substituísse o primeiro CEO interino por outro CEO interino vindo de um setor completamente diferente
Se você acha que não teria havido uma rebelião de acionistas contra o conselho apenas porque ele exerceu o poder básico de demitir o CEO, está deixando passar parte da situação
As pessoas não percebem, mas isso é um acordo melhor para o conselho e pior para Sam. Sam, Greg e Ilya saíram todos do conselho, enquanto D'Angelo permanece apesar de suas ações absurdas e passa a ter poder de veto e grande influência na escolha dos novos conselheiros
Daqui em diante, todos ficarão atentos a Sam. Ele terá muito menos poder de barganha do que tinha no conselho anterior. No fim, talvez consiga vencer convencendo os outros conselheiros independentes com seu carisma e habilidade social, mas terá de controlar muito seu próprio comportamento para que eles continuem do seu lado, e não do lado de D'Angelo
É verdade, mas, por outro lado, este episódio mostrou que a OpenAI já não funciona mais de forma fluida e provavelmente terá dificuldade para voltar a funcionar assim. Não dá para cortar a cabeça da cobra, recolocá-la e esperar que ela rasteje como antes
Mesmo que Sam fique, uma organização complexa como a OpenAI tem milhares de regras implícitas, relações e processos ocultos que precisam funcionar bem sem a intervenção direta do CEO. A recontratação de Sam parece significar que a OpenAI daqui para a frente ficou mais parecida com uma sombra pálida do que era. Se ele realmente conseguir se restabelecer, vai parecer estranho, ainda mais considerando os outros que saíram. Isso não significa que a OpenAI vá morrer, mas certamente expôs suas fragilidades
O conselho ainda pode demitir Sam se convencer primeiro as principais partes interessadas. Demitir alguém que estava indo bem sem nenhuma justificativa não fazia sentido, e esse parece ter sido o problema central
No fim, todos sabem que essa estrutura sem fins lucrativos é para inglês ver e não vai funcionar bem
Por algum motivo, isso lembra o fiasco da Coke/New Coke. No fim, foi um episódio que tornou a Coke Classic ainda mais famosa do que antes
Os consumidores ficaram indignados e exigiram a volta do sabor com o qual haviam crescido, e a pressão para ressuscitar o produto antigo foi tão grande que jornalistas chegaram a sugerir que todo o projeto teria sido encenado. Em resposta, o presidente da Coca-Cola, Don Keough, disse em 10 de julho de 1985: “Não somos tão burros assim, nem tão inteligentes assim.” https://en.wikipedia.org/wiki/New_Coke
Experimentei New Coke quando ela foi relançada por causa de Stranger Things, e era muito melhor que Coca Cola Classic. Uma pena que tenha fracassado
Imaginei que aquela encenação toda teria sido para esconder a troca do açúcar por xarope de milho rico em frutose
Ilya saiu do conselho, mas Adam ainda está lá. É algo de levantar a sobrancelha, mas enfim
Isso não vai simplesmente desaparecer só porque Sam voltou. Como Sam passou a parecer uma pessoa insubstituível, a OAI vai passar por grandes mudanças. No longo prazo, duvido que a OAI vá se tornar uma das megacorporações como Facebook ou Uber, e ela perdeu confiança
Não é tanto que ele seja insubstituível; é mais que dá problema expulsá-lo de repente sem um bom motivo
A história mostrou repetidas vezes que um bom produto é muito mais importante que confiança, e Facebook e Uber são prova disso. Logo depois de um escândalo, todo mundo fala alto que perdeu a confiança, mas, quando chega a hora, renova o contrato em silêncio
Grandes empresas de publicidade como Google, Amazon e Facebook têm escândalos quase todo mês, mas a receita de anúncios continua entrando. Meltdown foi um grande escândalo, mas a Intel continua fabricando chips
O Facebook perdeu tanta confiança que nem dá para contar, mas ainda não é uma megacorp?
Sam Altman é um CEO fundador extremamente carismático, visto por alguns como manipulador, mas amado por muitos funcionários. Foi expulso pelo conselho e voltou quando o conselho percebeu o erro
Não se encaixa perfeitamente na narrativa de fundação de empresas gigantes de sucesso como Facebook, Amazon, Microsoft e Google, mas ainda acho que alguém assim tem potencial para construir uma empresa enorme. Claro que, mais importante do que criar uma empresa enorme, é criar um produto absurdamente excelente
No fim, ainda não sabemos exatamente o que aconteceu, e provavelmente nunca saberemos. Mas parece claro que havia uma ruptura entre o Team Sam, favorável à comercialização rápida, e o Team Helen/Ilya, favorável a manter os princípios iniciais
Um artigo anterior ao GPT-3 já dizia que os ideais fundadores de transparência, abertura e colaboração estavam sendo corroídos pela concorrência acirrada e pela pressão por mais financiamento. O Team Helen deve ter agido em pânico, mas provavelmente achou que venceria porque acreditava estar defendendo os princípios fundadores da organização. Só que, desde o começo, não tinha chance. Entre o público, poucos realmente se importam com AI Safety; o resto gosta que o ChatGPT ajude na lição de casa. O conselho merece ser ridicularizado por ter agido de forma absurdamente burra, mas também vale considerar o outro lado: se eles realmente acreditavam que uma IA sobre-humana está próxima e poderia agir de forma maliciosa, não tentariam desacelerar?
Sinceramente, é difícil levar essa ameaça a sério, mas fiquei com vontade de entendê-la mais a fundo do que antes. Talvez ela não seja tão infundada quanto eu pensava. Espero que nunca chegue o dia em que o Team Helen diga: “era exatamente isso que estávamos tentando impedir” https://www.technologyreview.com/2020/02/17/844721/ai-openai...
O que o público em geral pensa aqui não importa. O fator decisivo foi a rebelião dos funcionários, e sem funcionários a organização é uma casca vazia
Os funcionários ficaram do lado de causar impacto rápido no mundo real, o que também afeta diretamente suas carreiras e stock options. Também é ingênuo ver isso como uma disputa de princípios. O slogan de comercialização rápida versus princípios foi algo que cada lado usou para reunir seus apoiadores; na prática, provavelmente foi uma tomada de poder explícita explorando uma estrutura organizacional fraca e confusa. A forma “correta” de remover Altman teria sido, no conselho, limitar aos poucos seus poderes e empurrá-lo para um papel cada vez mais cerimonial, até que ele próprio pedisse demissão
Se a OpenAI está se aproximando da singularidade, Google, Meta, Baidu etc. também estão. Nesse caso, o certo seria envolver a NSA ou a Casa Branca e iniciar medidas de mitigação incluindo Google, Meta e Microsoft
Desacelerar só a OpenAI é prejudicial para a empresa se a premissa estiver errada, e não ajuda se estiver certa. Isso parece menos uma disputa de princípios e direção e mais uma briga de ego e poder
Essa narrativa é plausível, mas não explica o texto bizarro e agressivo do primeiro comunicado à imprensa
A situação poderia ter sido diferente se o conselho tivesse apontado para os princípios fundadores ou para a carta constitutiva, dito que havia uma divergência irreconciliável de visão com Sam sobre sua interpretação e, ao mesmo tempo, agradecido profundamente por suas contribuições até ali. Claro, teria sido muito mais importante ter um CEO sucessor adequado e a garantia de que as PPUs dos funcionários seriam liquidadas. No início, o comunicado foi tão ruim que parecia que Sam tinha cometido algum crime
A ironia de uma organização que falava em progresso responsável não conseguir nem alinhar as estruturas de incentivo dentro da própria organização merece ser ridicularizada. Isso é um grande golpe na credibilidade e faz até as preocupações éticas que eles levantam parecerem suspeitas
Se você acha que a ameaça é real, então isso já não está perdido? A OpenAI é apenas uma entre várias equipes pesquisando esse problema, todas apoiadas por enormes recursos e talentos de grandes empresas de capital aberto
A OpenAI de fato fez contribuições únicas, mas não está esmagadoramente à frente. Se a OpenAI tropeçar, é provável que outro lugar assuma a liderança, e ninguém sabe de onde virá a próxima grande inovação. Se você vê a ameaça como real, não entendo por que presumir que a OpenAI é a líder absoluta. Se a empresa for desacelerada, o resultado mais provável é entregar a liderança a outro lugar
Dá para ver a configuração assim: Ilya, um desenvolvedor, contra Sam, um empresário — Sam vence. Centenas de desenvolvedores ameaçam pedir demissão e o conselho insiste — os desenvolvedores vencem
Visto de fora, parece que os desenvolvedores tinham o poder desde o início, e é assim que deveria ser
É sem precedentes que 95% de qualquer empresa tome a mesma posição, mas há alguns motivos
Eles poderiam obter cargos e remuneração semelhantes na nova startup da Microsoft, então seus empregos não estavam em risco; Sam aprovou cada contratação desde o início; e a OpenAI vinha contratando pessoas que queriam trabalhar em uma organização sem fins lucrativos com uma missão, em vez de em outras empresas que poderiam pagar mais. De todo modo, unir-se em torno da ameaça de sair juntos foi uma boa estratégia e funcionou. “OpenAI is nothing without its people” foi um contrapeso de poder contra um conselho ruim
Há três dragões: funcionários, clientes e governo. Quando motivado e alinhado, qualquer um desses três pode acabar com uma empresa se quiser
Não se deve acordar o dragão
Está mais para o dinheiro ter vencido. Parece claro que a maioria dos funcionários não se importava muito com a missão da OpenAI. Não os culpo, porque eles foram contratados pela empresa OpenAI com fins lucrativos e remunerados com participação acionária alinhada a esse objetivo
Na minha opinião, o conselho estava certo ao tentar preservar a missão original da OpenAI. Só que agora essa missão não significa mais nada. O argumento de que Google, Meta e Microsoft desenvolveriam isso de qualquer forma é uma lógica conveniente. Na corrida por armas nucleares também se usava algo como “se nós não fizermos, os outros farão”, e o resultado é a situação em que estamos hoje
Dá para ter certeza de que Ilya foi a raiz disso? Ele apoiou no começo, mas depois também assinou dizendo que sairia se a decisão não fosse revertida
Fico curioso para saber qual é a prova de que foi Ilya, e não D'Angelo, quem estava por trás
A união dos desenvolvedores parece mais forte que a própria empresa. É por isso que executivos de big tech odeiam tanto sindicatos
Havia esperança em uma abordagem de segurança de IA liderada pela indústria privada, mas agora isso parece difícil, e, como o investimento estatal em P&D público de IA é lento, todas as abordagens de segurança de IA parecem incertas
A pesquisa de segurança em modelos de brinquedo continuará avançando, mas a expectativa do setor parece ser que, por causa de propriedades emergentes, há um teto baixo para o que se pode aprender sobre segurança sem estudar modelos de ponta. Altman promovia a estrutura de governança da OpenAI como um mecanismo que faria a segurança vir em primeiro lugar, mas as notícias de que pessoal de segurança foi realocado para lidar com a carga do ChatGPT são preocupantes. Agora o conselho mostrou que, embora isso fosse tecnicamente possível, ele não era forte o suficiente para controlar esses interesses, e fica pouco claro como organizações orientadas à segurança, incluindo a Anthropic, poderão se livrar da influência aceleracionista de seus financiadores
Não existe essa coisa de propriedades emergentes; apenas há um aumento linear do conhecimento pesquisável
Não consegue planejar, não consegue fazer aritmética, não consegue raciocinar. Dá para pesquisar conhecimento de forma aproximada com consultas em linguagem natural, e essa parte é bem boa, além de poder codificar dados em linguagem natural e em outras modalidades. Não me preocupo com isso em si, mas me preocupo que as pessoas entendam muito mal o que esse modelo consegue fazer e depois tentem usá-lo em coisas importantes
Se mais esforço for gasto na comercialização inicial, como manter o ChatGPT rodando de forma estável, pode até haver menos esforço voltado ao desenvolvimento de capacidades de ponta. Altman nunca foi uma pessoa de segurança de IA para começo de conversa, então, pessoalmente, espero que a Anthropic evite esse problema com uma liderança melhor
Basta não ser incompetente nem abusar do poder por interesse pessoal. As pessoas não são tão burras quanto se pensa, percebem esse tipo de bobagem e preferem sair a seguir um tirano estúpido
Quero saber o que seria um modelo que não é “modelo de brinquedo”
Eu realmente não imaginava que algo assim fosse acontecer. A próxima pergunta, naturalmente, é o que acontecerá com Ilya. Pelo anúncio, parece que ele saiu do conselho, mas ainda é cientista-chefe? É difícil acreditar que ele e Sam possam restaurar a relação e trabalhar tão de perto
Também é interessante que Adam tenha permanecido no conselho, o que parece contrariar várias hipóteses que circulavam por aqui de que ele teria sido o principal articulador por causa de conflito de interesses
Do ponto de vista de Ilya, não parece que muita coisa tenha mudado. Sam o colocou de lado há um mês por divergências contínuas sobre a velocidade com que deveriam avançar na comercialização
Se Ilya ainda estiver marginalizado, provavelmente vai sair, e a empresa que lhe der mais controle vai contratá-lo. O mesmo vale se ele for demitido. Se, como parte do acordo, ele voltar ao centro, provavelmente continuará como cientista-chefe. Espero que a hostilidade de Sam diminua um pouco agora
Curiosamente, acho que Ilya sai desta situação bastante bem. Ele tomou uma decisão com base em seus valores e no que acreditava ser o melhor para a segurança de IA; depois, ao ver as consequências, mudou de ideia e assumiu a responsabilidade
Mesmo sabendo que seria ridicularizado na internet por voltar atrás, ele se moveu na direção que julgava melhor para os funcionários que assinaram. Suas ações podem ser criticadas, mas acho que elas revelaram seu caráter moral. Os outros membros do conselho parecem ter decidido por motivos mais pessoais, o que também parece compatível com o conflito de interesses de Adam. Sinceramente, dos 4, Ilya é o único que eu gostaria de manter no conselho. Em cargos de liderança, precisamos de pessoas capazes de mudar de direção diante de novas informações
Dá para ver de forma mais otimista. Os dois se conhecem muito bem e sabem como realizar coisas grandes juntos. Às vezes algo explode ou alguém comete um erro, e um pedido de desculpas simples e sincero pode ir bem longe
Sam sabe como relações de negócios funcionam, então não terá problema em restaurar a relação. Além disso, como ficou claro no tweet, Ilya já beijou o anel
O novo conselho parece ter Adam D'Angelo pró-conselho, Brett Taylor pró-Sam e Larry Summers mais próximo do neutro. Brett vinha defendendo a volta de Sam desde domingo, então presumo que Sam e a liderança da OpenAI gostem dele. Larry nunca trabalhou na área de IA, mas é um nome geralmente respeitado, e os dois lados devem ter feito entrevistas amplas e checagens de reputação antes de chegar a um acordo
Será interessante ver como o conselho vai mudar daqui em diante. Havia, grosso modo, duas facções. A facção que achava Sam rápido demais o demitiu, e a facção que achava a trajetória de Sam aceitável incluía Sam e Greg. Agora há um equilíbrio no conselho, e as nomeações futuras podem fazê-lo pender para um lado. Infelizmente, conselhos divididos não costumam durar muito, e é provável que um lado acabe vencendo. Acho que o lado de Sam acabará vencendo, mas é esperar para ver
Um dos resultados mais tristes deste drama é Greg ter sido afastado da OpenAI. Greg não é apenas uma pessoa brilhante; ele também dedicava consistentemente 80 a 90 horas por semana à OpenAI e pode-se dizer que dedicou uma parte significativa da vida a construir essa organização. Seria um insulto se alguém assim tivesse de se afastar por causa de um conselho que mal contribuiu para criar a OpenAI, muito menos trabalhou 90 horas por semana para isso. Ilya é a exceção, e também é notável que ele tenha revertido sua posição ao ver que suas ações estavam matando a OpenAI
A escolha assustadora aqui é Larry Summers. Sua visão de desregulamentação bancária levou à crise financeira global, e ele também esteve envolvido em várias controvérsias por posições racistas e sexistas. Além disso, foi amigo de longa data de Epstein e foi várias vezes à ilha dele
Greg deveria ter deixado apenas o assento no conselho, não o emprego
1 comentários
Opiniões no Hacker News
Este thread tem mais de 1800 comentários. Se quiser ler tudo, clique em More no fim de cada página ou abra as páginas diretamente como abaixo
https://news.ycombinator.com/item?id=38375239&p=2
https://news.ycombinator.com/item?id=38375239&p=3
https://news.ycombinator.com/item?id=38375239&p=4
Se a OpenAI continuar sendo uma instituição beneficente 501(c)(3), um funcionário da Microsoft que entre no conselho terá um dever fiduciário de priorizar a missão da entidade beneficente, não as necessidades de negócio da Microsoft. O conflito de interesses é tão evidente que não parece que o IRS vá gostar dessa estrutura
Na prática, as coisas funcionam seguindo as regras do conselho e o bom senso: a pessoa se abstém quando necessário e não faz besteira
Transformar a OpenAI em uma entidade beneficente de utilidade pública foi um grande erro, e entrar nesse tipo de confusão não é atraente. Se mais tarde ela se inclinar para o status de fundação privada, aí a coisa vai ficar ainda mais interessante
Segundo https://openai.com/our-structure, a subsidiária com fins lucrativos é totalmente controlada pela OpenAI Nonprofit, e os membros do conselho devem cumprir seu dever fiduciário em prol da missão de uma “AGI segura e amplamente benéfica”. Há um teto para a participação nos lucros de investidores, funcionários e da Microsoft, e o valor residual acima desse teto volta para a organização sem fins lucrativos em benefício da humanidade. Além disso, cabe ao conselho decidir se a AGI foi alcançada, e a AGI fica excluída da licença de propriedade intelectual e dos termos comerciais da Microsoft
Não parece que o IRS vá se importar muito com isso. Se a alegação for que a OpenAI está direcionando benefícios para a Microsoft, uma empresa com fins lucrativos que paga impostos, mesmo presumindo a pior intervenção maliciosa, isso parece mais um assunto da SEC do que do IRS
Com a volta de Sam como CEO, parece que o conselho da OpenAI provou ter perdido sua função. Independentemente de quem esteja no conselho, ele ficou incapaz de exercer o poder mais básico, que é demitir o CEO, e Sam mostrou que é, na prática, uma pessoa impossível de demitir
Isso não quer dizer que Sam tenha mentido ou que vá mentir no futuro
Se tivesse seguido o devido processo, informado funcionários e investidores e anunciado o motivo para demitir o CEO, não teria havido uma demissão em um Google Meet de 15 minutos seguida de silêncio total, e essa indignação não teria acontecido
Se você acha que não teria havido uma rebelião de acionistas contra o conselho apenas porque ele exerceu o poder básico de demitir o CEO, está deixando passar parte da situação
Daqui em diante, todos ficarão atentos a Sam. Ele terá muito menos poder de barganha do que tinha no conselho anterior. No fim, talvez consiga vencer convencendo os outros conselheiros independentes com seu carisma e habilidade social, mas terá de controlar muito seu próprio comportamento para que eles continuem do seu lado, e não do lado de D'Angelo
Mesmo que Sam fique, uma organização complexa como a OpenAI tem milhares de regras implícitas, relações e processos ocultos que precisam funcionar bem sem a intervenção direta do CEO. A recontratação de Sam parece significar que a OpenAI daqui para a frente ficou mais parecida com uma sombra pálida do que era. Se ele realmente conseguir se restabelecer, vai parecer estranho, ainda mais considerando os outros que saíram. Isso não significa que a OpenAI vá morrer, mas certamente expôs suas fragilidades
No fim, todos sabem que essa estrutura sem fins lucrativos é para inglês ver e não vai funcionar bem
Por algum motivo, isso lembra o fiasco da Coke/New Coke. No fim, foi um episódio que tornou a Coke Classic ainda mais famosa do que antes
Os consumidores ficaram indignados e exigiram a volta do sabor com o qual haviam crescido, e a pressão para ressuscitar o produto antigo foi tão grande que jornalistas chegaram a sugerir que todo o projeto teria sido encenado. Em resposta, o presidente da Coca-Cola, Don Keough, disse em 10 de julho de 1985: “Não somos tão burros assim, nem tão inteligentes assim.”
https://en.wikipedia.org/wiki/New_Coke
Experimentei New Coke quando ela foi relançada por causa de Stranger Things, e era muito melhor que Coca Cola Classic. Uma pena que tenha fracassado
Ilya saiu do conselho, mas Adam ainda está lá. É algo de levantar a sobrancelha, mas enfim
Isso não vai simplesmente desaparecer só porque Sam voltou. Como Sam passou a parecer uma pessoa insubstituível, a OAI vai passar por grandes mudanças. No longo prazo, duvido que a OAI vá se tornar uma das megacorporações como Facebook ou Uber, e ela perdeu confiança
Grandes empresas de publicidade como Google, Amazon e Facebook têm escândalos quase todo mês, mas a receita de anúncios continua entrando. Meltdown foi um grande escândalo, mas a Intel continua fabricando chips
Não se encaixa perfeitamente na narrativa de fundação de empresas gigantes de sucesso como Facebook, Amazon, Microsoft e Google, mas ainda acho que alguém assim tem potencial para construir uma empresa enorme. Claro que, mais importante do que criar uma empresa enorme, é criar um produto absurdamente excelente
No fim, ainda não sabemos exatamente o que aconteceu, e provavelmente nunca saberemos. Mas parece claro que havia uma ruptura entre o Team Sam, favorável à comercialização rápida, e o Team Helen/Ilya, favorável a manter os princípios iniciais
Um artigo anterior ao GPT-3 já dizia que os ideais fundadores de transparência, abertura e colaboração estavam sendo corroídos pela concorrência acirrada e pela pressão por mais financiamento. O Team Helen deve ter agido em pânico, mas provavelmente achou que venceria porque acreditava estar defendendo os princípios fundadores da organização. Só que, desde o começo, não tinha chance. Entre o público, poucos realmente se importam com AI Safety; o resto gosta que o ChatGPT ajude na lição de casa. O conselho merece ser ridicularizado por ter agido de forma absurdamente burra, mas também vale considerar o outro lado: se eles realmente acreditavam que uma IA sobre-humana está próxima e poderia agir de forma maliciosa, não tentariam desacelerar?
Sinceramente, é difícil levar essa ameaça a sério, mas fiquei com vontade de entendê-la mais a fundo do que antes. Talvez ela não seja tão infundada quanto eu pensava. Espero que nunca chegue o dia em que o Team Helen diga: “era exatamente isso que estávamos tentando impedir”
https://www.technologyreview.com/2020/02/17/844721/ai-openai...
Os funcionários ficaram do lado de causar impacto rápido no mundo real, o que também afeta diretamente suas carreiras e stock options. Também é ingênuo ver isso como uma disputa de princípios. O slogan de comercialização rápida versus princípios foi algo que cada lado usou para reunir seus apoiadores; na prática, provavelmente foi uma tomada de poder explícita explorando uma estrutura organizacional fraca e confusa. A forma “correta” de remover Altman teria sido, no conselho, limitar aos poucos seus poderes e empurrá-lo para um papel cada vez mais cerimonial, até que ele próprio pedisse demissão
Desacelerar só a OpenAI é prejudicial para a empresa se a premissa estiver errada, e não ajuda se estiver certa. Isso parece menos uma disputa de princípios e direção e mais uma briga de ego e poder
A situação poderia ter sido diferente se o conselho tivesse apontado para os princípios fundadores ou para a carta constitutiva, dito que havia uma divergência irreconciliável de visão com Sam sobre sua interpretação e, ao mesmo tempo, agradecido profundamente por suas contribuições até ali. Claro, teria sido muito mais importante ter um CEO sucessor adequado e a garantia de que as PPUs dos funcionários seriam liquidadas. No início, o comunicado foi tão ruim que parecia que Sam tinha cometido algum crime
A OpenAI de fato fez contribuições únicas, mas não está esmagadoramente à frente. Se a OpenAI tropeçar, é provável que outro lugar assuma a liderança, e ninguém sabe de onde virá a próxima grande inovação. Se você vê a ameaça como real, não entendo por que presumir que a OpenAI é a líder absoluta. Se a empresa for desacelerada, o resultado mais provável é entregar a liderança a outro lugar
Dá para ver a configuração assim: Ilya, um desenvolvedor, contra Sam, um empresário — Sam vence. Centenas de desenvolvedores ameaçam pedir demissão e o conselho insiste — os desenvolvedores vencem
Visto de fora, parece que os desenvolvedores tinham o poder desde o início, e é assim que deveria ser
Eles poderiam obter cargos e remuneração semelhantes na nova startup da Microsoft, então seus empregos não estavam em risco; Sam aprovou cada contratação desde o início; e a OpenAI vinha contratando pessoas que queriam trabalhar em uma organização sem fins lucrativos com uma missão, em vez de em outras empresas que poderiam pagar mais. De todo modo, unir-se em torno da ameaça de sair juntos foi uma boa estratégia e funcionou. “OpenAI is nothing without its people” foi um contrapeso de poder contra um conselho ruim
Não se deve acordar o dragão
Está mais para o dinheiro ter vencido. Parece claro que a maioria dos funcionários não se importava muito com a missão da OpenAI. Não os culpo, porque eles foram contratados pela empresa OpenAI com fins lucrativos e remunerados com participação acionária alinhada a esse objetivo
Na minha opinião, o conselho estava certo ao tentar preservar a missão original da OpenAI. Só que agora essa missão não significa mais nada. O argumento de que Google, Meta e Microsoft desenvolveriam isso de qualquer forma é uma lógica conveniente. Na corrida por armas nucleares também se usava algo como “se nós não fizermos, os outros farão”, e o resultado é a situação em que estamos hoje
Fico curioso para saber qual é a prova de que foi Ilya, e não D'Angelo, quem estava por trás
Havia esperança em uma abordagem de segurança de IA liderada pela indústria privada, mas agora isso parece difícil, e, como o investimento estatal em P&D público de IA é lento, todas as abordagens de segurança de IA parecem incertas
A pesquisa de segurança em modelos de brinquedo continuará avançando, mas a expectativa do setor parece ser que, por causa de propriedades emergentes, há um teto baixo para o que se pode aprender sobre segurança sem estudar modelos de ponta. Altman promovia a estrutura de governança da OpenAI como um mecanismo que faria a segurança vir em primeiro lugar, mas as notícias de que pessoal de segurança foi realocado para lidar com a carga do ChatGPT são preocupantes. Agora o conselho mostrou que, embora isso fosse tecnicamente possível, ele não era forte o suficiente para controlar esses interesses, e fica pouco claro como organizações orientadas à segurança, incluindo a Anthropic, poderão se livrar da influência aceleracionista de seus financiadores
Não consegue planejar, não consegue fazer aritmética, não consegue raciocinar. Dá para pesquisar conhecimento de forma aproximada com consultas em linguagem natural, e essa parte é bem boa, além de poder codificar dados em linguagem natural e em outras modalidades. Não me preocupo com isso em si, mas me preocupo que as pessoas entendam muito mal o que esse modelo consegue fazer e depois tentem usá-lo em coisas importantes
Eu realmente não imaginava que algo assim fosse acontecer. A próxima pergunta, naturalmente, é o que acontecerá com Ilya. Pelo anúncio, parece que ele saiu do conselho, mas ainda é cientista-chefe? É difícil acreditar que ele e Sam possam restaurar a relação e trabalhar tão de perto
Também é interessante que Adam tenha permanecido no conselho, o que parece contrariar várias hipóteses que circulavam por aqui de que ele teria sido o principal articulador por causa de conflito de interesses
Se Ilya ainda estiver marginalizado, provavelmente vai sair, e a empresa que lhe der mais controle vai contratá-lo. O mesmo vale se ele for demitido. Se, como parte do acordo, ele voltar ao centro, provavelmente continuará como cientista-chefe. Espero que a hostilidade de Sam diminua um pouco agora
Mesmo sabendo que seria ridicularizado na internet por voltar atrás, ele se moveu na direção que julgava melhor para os funcionários que assinaram. Suas ações podem ser criticadas, mas acho que elas revelaram seu caráter moral. Os outros membros do conselho parecem ter decidido por motivos mais pessoais, o que também parece compatível com o conflito de interesses de Adam. Sinceramente, dos 4, Ilya é o único que eu gostaria de manter no conselho. Em cargos de liderança, precisamos de pessoas capazes de mudar de direção diante de novas informações
O novo conselho parece ter Adam D'Angelo pró-conselho, Brett Taylor pró-Sam e Larry Summers mais próximo do neutro. Brett vinha defendendo a volta de Sam desde domingo, então presumo que Sam e a liderança da OpenAI gostem dele. Larry nunca trabalhou na área de IA, mas é um nome geralmente respeitado, e os dois lados devem ter feito entrevistas amplas e checagens de reputação antes de chegar a um acordo
Será interessante ver como o conselho vai mudar daqui em diante. Havia, grosso modo, duas facções. A facção que achava Sam rápido demais o demitiu, e a facção que achava a trajetória de Sam aceitável incluía Sam e Greg. Agora há um equilíbrio no conselho, e as nomeações futuras podem fazê-lo pender para um lado. Infelizmente, conselhos divididos não costumam durar muito, e é provável que um lado acabe vencendo. Acho que o lado de Sam acabará vencendo, mas é esperar para ver
Um dos resultados mais tristes deste drama é Greg ter sido afastado da OpenAI. Greg não é apenas uma pessoa brilhante; ele também dedicava consistentemente 80 a 90 horas por semana à OpenAI e pode-se dizer que dedicou uma parte significativa da vida a construir essa organização. Seria um insulto se alguém assim tivesse de se afastar por causa de um conselho que mal contribuiu para criar a OpenAI, muito menos trabalhou 90 horas por semana para isso. Ilya é a exceção, e também é notável que ele tenha revertido sua posição ao ver que suas ações estavam matando a OpenAI