- Greg Brockman considera que, para a OpenAI alcançar a missão de AGI, foi necessário ir além dos limites de uma organização sem fins lucrativos e garantir uma empresa com fins lucrativos e computação em grande escala
- O ponto de virada tecnológico da OpenAI levou à expansão do PPO em Dota, ao aprendizado de significado pelos modelos de linguagem e à reavaliação dos critérios de AGI após o GPT-4
- O desenvolvimento de IA já está sendo acelerado pela própria IA, e, embora a escrita de código esteja sendo rapidamente substituída, ele considera que o projeto da estrutura do código ainda é um ponto forte dos especialistas humanos
- Daqui para frente, a principal restrição será a computação, e a OpenAI pretende distribuir amplamente os benefícios da tecnologia por meio de data centers e acesso gratuito
- Implantação iterativa, segurança, neutralidade e regulação são todos desafios centrais para o produto e para a sociedade, e o critério de sucesso é que a AGI beneficie toda a humanidade
Fundação da OpenAI e mudança de estrutura
-
Por que migrou da Stripe para a IA
- Greg Brockman considerava que os problemas que resolvia na Stripe não eram o tipo de problema ao qual gostaria de dedicar a vida inteira, e concluiu que, se pudesse influenciar a forma como a IA se desenvolverá no mundo, isso daria sentido à sua vida
- Quando Patrick Collison percebeu que Brockman queria deixar a Stripe, sugeriu que ele conversasse com Sam Altman, e Sam concluiu em poucos minutos que Brockman já havia decidido sair
- Quando Brockman disse que estava pensando em uma empresa de IA, Sam respondeu que também queria começar algo na área e propôs que continuassem em contato, o que levou às discussões sobre a fundação do laboratório em 2015
-
Fundação do laboratório em 2015 e equipe inicial
- Na época, a DeepMind parecia um “gorila de 10.000 libras”, com pesquisadores, capital, dados e resultados, e seu impulso já era evidente antes mesmo da divulgação do AlphaGo
- A pergunta central era: “Já é tarde demais para reunir muitos dos melhores pesquisadores e começar um laboratório, isso ainda é possível?”, e, embora houvesse muitos motivos para achar difícil, não se chegou à conclusão de que fosse impossível
- Sam Altman e Brockman concluíram que “tinham que fazer isso”, e Brockman começou a trabalhar em tempo integral na construção da organização já no dia seguinte
- O plano inicial incluía Ilya Sutskever, Dario Amodei, Chris e Greg Brockman, mas não se concretizou completamente; Chris foi para o Google Brain, e pessoas como John Schulman demonstraram interesse
- Enquanto cerca de 10 pessoas perguntavam “quem mais vai participar?”, Sam propôs um offsite e reuniu gente em Napa sem proposta formal, sem estrutura organizacional e sem participantes oficialmente confirmados
- No offsite de Napa surgiu uma direção próxima do plano técnico que seguiria pelos 10 anos seguintes, centrada em resolver o aprendizado por reforço, resolver o aprendizado não supervisionado e adotar uma estratégia de aprender gradualmente objetos cada vez mais complexos
-
Limites da estrutura sem fins lucrativos e empresa com fins lucrativos
- Em 2017, a OpenAI começou a calcular as condições necessárias e a escala de computação exigida para realmente construir AGI, chegando à conclusão de que seriam necessários computadores muito grandes
- Eles viram que o hardware de computação diferenciado que a Cerebras estava desenvolvendo poderia avançar muito além do nível necessário nos cálculos, e concluíram que acesso exclusivo ou a garantia de um grande data center daria uma enorme vantagem na construção de AGI
- Considerou-se que a captação para uma organização sem fins lucrativos tinha um teto, e Elon Musk, Sam Altman, Ilya Sutskever e Greg Brockman concordaram que o único caminho para cumprir a missão da OpenAI era criar uma empresa com fins lucrativos ligada à OpenAI
- Para construir AGI seria necessário capital, mas eles viam que, apenas com a estrutura sem fins lucrativos, talvez fosse possível levantar US$ 100 milhões ou US$ 500 milhões, porém US$ 1 bilhão seria extremamente difícil
-
Tensões internas e a demissão de Sam Altman
- Em uma organização que acredita ser capaz de criar máquinas com inteligência de nível humano, a política interna comum de qualquer empresa — como quem decide, quais valores entram nas decisões e como o mérito é distribuído — passa a ter um peso existencial
- Brockman viu, em uma videochamada, o conselho reunido sem Sam e foi informado de que o conselho havia decidido remover Sam Altman
- Ele pediu mais informações, mas ouviu que não havia mais nada a compartilhar; também foi informado de que seria retirado do conselho, embora devesse permanecer na empresa por ser importante para a missão
- Sem receber motivo nem feedback, Brockman conversou com a esposa logo após a chamada e concluiu que deveria renunciar
- No dia da renúncia, chegaram inúmeras mensagens dizendo que, qualquer que fosse o próximo passo de Sam e Brockman, as pessoas iriam com eles, e colaboradores próximos também renunciaram naquele mesmo dia
- Cinco pessoas, incluindo Sam, começaram a imaginar uma nova empresa, e Brockman estimava em 10% a chance de recuperar a empresa
- Quando, na noite de domingo, o conselho substituiu Mira, então CEO interina, por uma nova pessoa, a empresa reagiu, e o plano que seria como um pequeno “bote salva-vidas”, aceitando apenas alguns nomes previstos, cresceu até o ponto de precisar aceitar quase todo mundo
- Mesmo às vésperas do Thanksgiving, muitos funcionários cancelaram seus voos de volta para casa e se reuniram no escritório, e no documento da petição tantas pessoas tentaram assinar ao mesmo tempo que o Google Docs travou
- Brockman checou o Twitter de madrugada e sentiu grande alívio ao ver que Ilya havia assinado a petição e publicado que queria que a empresa voltasse a se unir
-
Reconciliação com Ilya Sutskever e lições de liderança
- Ilya era alguém tão próximo que chegou a celebrar o casamento civil de Brockman, e os dois passaram juntos por tempos difíceis
- Depois, os dois dedicaram muito tempo a entender e expressar coisas que haviam se acumulado ou permanecido não ditas, e Brockman sentiu que chegou a um encerramento por meio desse processo
- Após o episódio, concorrentes tentaram atrair pessoas, e pode até ter havido mais dinheiro ou propostas melhores, mas, naquele fim de semana, a OpenAI não perdeu ninguém e ninguém aceitou ofertas rivais
- Quando Ilya saiu, foi quase o único momento na história da OpenAI em que Brockman sentiu que não queria mais continuar, e precisou reencontrar por que esse trabalho era importante e por que valia a pena suportar a dor
- Durante a pausa, ele treinou um modelo de linguagem em sequências de DNA e, ao lado da esposa, passou a se interessar pelo que a IA poderia fazer em questões de saúde animal, aplicando a tecnologia a áreas com significado pessoal
- Em retrospecto, os erros que cometeu foram, em sua maioria, decisões que ele sabia que precisava tomar, mas adiou por tempo demais; a lição que reaprendeu repetidamente foi: tome decisões difíceis e tenha conversas difíceis
Ponto de inflexão técnico e aceleração do desenvolvimento de IA
-
Momentos seguidos em que pareceu “de verdade”
- O avanço da OpenAI não foi uma única grande realização, mas um processo de momentos sucessivos em que pareceu “de verdade”
- O início da empresa foi o momento em que se tornou possível reunir uma equipe e perseguir a missão, mas no dia seguinte, no escritório, não havia nem clareza sobre o que fazer, nem mesmo um quadro branco
-
A escalabilidade mostrada por Dota e PPO
- Dota foi o primeiro grande resultado e mostrou que, ao aumentar o compute, os resultados também crescem
- Originalmente, o projeto Dota era uma tentativa de desenvolver um novo método por considerar que o aprendizado por reforço existente não escalaria, e o algoritmo usado foi o PPO
- O PPO planeja todos os passos de tempo e não tem estrutura hierárquica, diferindo de como humanos planejam o dia; parecia ter muitos defeitos e não escalar, mas decidiram levar a baseline ao limite
- Ao continuar escalando o PPO, ele superou o desempenho dos melhores jogadores humanos, levando à descoberta de que algoritmos simples e compute em larga escala funcionam também no mundo real
- O ambiente de Dota era complexo, difícil de programar, de antecipar ou de explorar por busca, e exigia uma intuição quase humana
- A rede neural usada tinha um número de sinapses mais próximo de um “pequeno cérebro de inseto”, o que deixou a pergunta de como seria ampliar a mesma abordagem computacional para algo mais próximo da escala do cérebro humano
-
Modelos de linguagem, aprendizado de significado e mudança de referência após o GPT-4
- O artigo unsupervised sentiment neuron de 2017 é apontado como o primeiro momento em que se viu semântica emergir a partir do objetivo de modelagem de linguagem
- Ela foi treinada apenas para prever o próximo caractere, mas a rede neural passou a entender a positividade e a negatividade das frases, mostrando que podia aprender não só vírgulas, substantivos e posições de verbos, mas também o significado das sentenças
- Enquanto trabalhavam com o GPT-4, surgiu a pergunta: “por que isso não é AGI?”, e embora ele conseguisse conversar com fluidez sobre os temas desejados, claramente ainda faltava alguma coisa
- É possível que o critério de AGI que tinham dois meses antes do lançamento do GPT-4 não combinasse com as capacidades reais do GPT-4, e eles veem que ainda restam momentos de ruptura em que o próximo estágio se tornará possível
-
A conexão entre previsão, aprendizado não supervisionado e aprendizado por reforço
- Prever a próxima palavra parece algo comum, mas surgiu a visão de que se você realmente consegue prever a próxima fala de Einstein, então é pelo menos tão inteligente quanto Einstein
- O ponto central da previsão não é acertar o que já é conhecido, mas prever o que virá a seguir em situações novas, jamais vistas antes
- O treinamento de modelos se divide em aprendizado não supervisionado, no qual se aprende com dados estáticos e observacionais a prever o que vem a seguir, e aprendizado por reforço, no qual a IA escolhe suas próprias ações, recebe observações do mundo e aprende com os próprios dados
- A tecnologia usada nas duas etapas é fundamentalmente a mesma; o que muda é a estrutura dos dados
-
A fase em que a IA acelera o próprio desenvolvimento de IA
- Eles acreditam ter entrado em uma fase em que, ao aplicar IA ao próprio processo de desenvolvimento, a velocidade de desenvolvimento acelera cada vez mais
- Depois do ChatGPT, o processo interno de desenvolvimento ficou 10~20% mais rápido, e as ferramentas recentes de programação estão mudando bastante a forma de fazer engenharia de software
- Na produção de modelos, a maior parte dos gargalos está em software, como implementação de sistemas, expansão de escala e gerenciamento de computadores de grande porte
- Acreditam que em breve a IA chegará ao estágio de propor suas próprias ideias de pesquisa, executar experimentos e realizar testes
- Hoje é difícil saber qual proporção do código escrito não foi feita por IA; estaria em um nível “quase desaparecendo”, e eles consideram que, quando recebe o contexto e a estrutura corretos, a IA escreve código melhor do que humanos
- Ainda assim, eles consideram que especialistas humanos continuam muito melhores em projetar a estrutura do código, como posicionamento de módulos, relações entre componentes e definição de interfaces específicas
-
Novas ideias e a não divulgação do chain of thought
- Eles acreditam estar se aproximando da fase em que a IA produzirá ideias novas que humanos não conseguiram conceber
- Em 2024, na própria concepção de chips, aplicaram tecnologia da OpenAI para reduzir a área de circuitos, e as otimizações criadas pelo modelo já estavam na lista humana, mas permitiram implementar mais rapidamente coisas que não teriam conseguido fazer por falta de tempo
- Em matemática e física, estão resolvendo problemas abertos de matemática e problemas abertos de física, e afirmam ter resolvido recentemente um problema específico de física quântica em uma direção oposta à esperada pela comunidade, chegando até a uma fórmula elegante
- A OpenAI se esforça para dificultar a destilação e protege especialmente elementos como o chain of thought, que fazem parte do modelo, mas não são essenciais para entregar o resultado ao usuário
- A principal vantagem da OpenAI não está em um modelo específico, mas na máquina que cria modelos
- Um dos motivos para não mostrar o reasoning é evitar a destilação, e outro motivo ainda mais importante é a interpretabilidade
- Se o chain of thought for treinado para parecer bonito aos olhos de quem vê, ele perde fidelidade, e o modelo pode passar a gerar um reasoning com o formato que o usuário quer, em vez do motivo real
- A OpenAI decidiu cedo evitar a tentação de treinar o chain of thought em uma forma agradável para mostrar aos usuários, e, por razões de competição e segurança, inclinou-se a não divulgar o raciocínio intermediário
Restrições de compute, data centers e foco em produto
-
Um mundo em que compute se torna a principal restrição
- A visão é de que, daqui para frente, no geral, estamos indo para um mundo com restrição de compute
- O valor gerado pelos modelos vai além de simplesmente responder perguntas e se expande para acesso a informações de saúde, integração de várias fontes de dados, busca em bases de conhecimento corporativas, resolução de problemas difíceis e escrita de software melhor que a de humanos
- O avanço de GPT-5 para 5.1, 5.2 Codex, 5.3 Codex e 5.4 foi muito grande, e a capacidade dos modelos de entender a intenção do usuário e se alinhar aos objetivos melhorou significativamente
- Ao colocar o modelo em uma superfície como o Codex, os desenvolvedores conseguem alcançar muito mais do que antes
- Mesmo que se tentasse dar apenas uma GPU para cada pessoa no mundo, seriam necessárias 8 bilhões de GPUs, mas a trajetória atual não chega nem perto desse nível
- Hoje, centenas de milhares de GPUs já representam uma escala grande, e no futuro podem vir milhões de GPUs, mas ainda há compute de menos no mundo, e será preciso muito mais para levar essa tecnologia a todos
-
Estratégia de data centers e infraestrutura física
- A OpenAI investiu muito esforço em construir compute prevendo o que estava por vir, e quer manter o foco na missão de disponibilizar amplamente seus modelos para todos
- A estratégia de investir muito esforço e dinheiro em data centers foi ridicularizada por concorrentes, mas agora ela é vista como uma vantagem não só para o negócio, como também para cumprir a missão de levar a tecnologia a todos
- Data centers para IA estão próximos de ser “as maiores máquinas construídas pela humanidade”, e seu objetivo é ajudar a resolver problemas importantes para as pessoas, como curar o câncer, tocar negócios e lidar com perguntas do dia a dia, além de ajudar no alcance de metas
- Sobre data centers dedicados a problemas específicos, por exemplo um enorme data center em Dakota voltado apenas para resolver o câncer, a visão é que não se pode descartar que isso aconteça ainda este ano
- Atualmente, os data centers são grandes máquinas muito delicadas, e no passado já houve casos em que cabos ficaram tensionados demais, gerando problemas de integridade de sinal e impedindo o funcionamento dos computadores
- Hoje, a manutenção dos sistemas é feita fisicamente por pessoas, mas no futuro isso pode migrar para robótica
- Data centers no espaço têm muitos problemas técnicos, mas como a demanda por compute é tão grande, é preciso considerar todas as opções
-
Alocação de compute e acessibilidade
- Em uma situação em que compute é limitado, torna-se uma questão social importante decidir onde alocar compute entre demandas diferentes, como “geração de imagem” e “cura do câncer”
- A OpenAI entende que todos devem ter acesso a compute, e a razão para manter uma camada gratuita no ChatGPT também é permitir o uso amplo da tecnologia, para que as pessoas a compreendam diretamente e moldem suas formas de uso
- A abordagem de estilo “torre de marfim”, em que os problemas são resolvidos primeiro e os resultados depois distribuídos, também tem suas vantagens, mas o centro de gravidade da OpenAI está em distribuir amplamente os benefícios da tecnologia
-
Convergência entre enterprise e consumidor
- Na próxima etapa da OpenAI, o segmento enterprise será muito importante, e a economia está se transformando diante dos nossos olhos em uma economia baseada em compute
- A mudança já apareceu na engenharia de software, e a visão é que, em todas as áreas em que se trabalha com computadores, haverá uma transição do modo em que pessoas trabalham com computadores para um modo em que computadores trabalham para pessoas
- A fronteira entre enterprise e consumidor pode ficar borrada, e já estão surgindo mudanças que tornam empreender muito mais fácil
- Um amigo ouviu o aplicativo que a irmã mais nova queria, foi digitando isso no Codex enquanto ela falava e, algumas horas depois, quando mostrou o app, ela perguntou “quem fez isso?”, e ele respondeu: “foi você”
- O Codex não é apresentado como uma ferramenta apenas para engenheiros de software, mas como uma ferramenta que permite que qualquer pessoa com visão e vontade de executar se torne um builder
-
IA pessoal e um único sistema tecnológico
- A área de consumo em que a OpenAI está especialmente focada não é entretenimento nem autoexpressão, mas sim resolver objetivos
- Se há cerca de 4 bilhões de usuários de smartphones, a visão é que todos deveriam ter uma IA pessoal ou AGI pessoal que os conheça bem, entenda seu contexto pessoal, seja confiável e possa ser consultada para conselhos
- A IA pessoal pode agir de forma proativa, como comprar ingressos quando um músico favorito vier à cidade, e em alguns casos pode confirmar antes, enquanto em outros pode executar diretamente com base em aprovação prévia
- A premissa continua sendo que os objetivos devem ser definidos pelo usuário e que o usuário deve manter o controle
- A visão é que as pessoas que devem ter acesso a uma IA pessoal ou AGI pessoal não sejam só 4 bilhões, mas 8 bilhões, isto é, o planeta inteiro
- Seja no trabalho ou na vida pessoal, pode haver várias instâncias, mas no nível fundamental isso é visto como um único sistema tecnológico
Implantação, segurança, neutralidade e regulação
-
Implantação iterativa
- Implantação iterativa (iterative deployment) é um dos pilares centrais que a OpenAI vem usando para tornar a tecnologia benéfica para as pessoas e cumprir sua missão
- Também existe o caminho de desenvolver AGI em segredo e não implantar nada até apertar um botão em algum momento, mas nesse caso seria preciso lidar de uma vez só com o primeiro contato entre sistemas poderosos e o mundo real
- Em contraste, ao implantar várias vezes sistemas cada vez mais poderosos, você chega à situação de estar lidando com o “100º sistema”, podendo aprender com as 99 resoluções de problemas anteriores, enquanto o mundo também ganha tempo para se adaptar
- Antes do lançamento do GPT-3, pensava-se muito em questões amplas como desinformação, mas o maior uso indevido na prática foi spam médico anunciando vários remédios para as pessoas
- Implantação iterativa é a abordagem de colocar versões intermediárias no mundo para observar e aprender com usos indevidos e riscos reais; isso não significa sair implantando de qualquer jeito
- Para uma tecnologia poderosa e implantada tão rapidamente quanto a IA, não existe um playbook, e a OpenAI também está numa situação em que precisa aprender enquanto constrói
-
Segurança é funcionalidade do produto
- Segurança não é apenas um elemento adicional, mas uma funcionalidade central do produto, e ninguém quer um modelo desalinhado consigo mesmo
- Os usuários querem um modelo em que possam confiar em qualquer situação e que faça a coisa certa
- A visão é que a OpenAI talvez invista muito mais em segurança do que as pessoas percebem, possivelmente mais do que qualquer outro laboratório
- Como o ChatGPT é o caso de implantação de modelo de linguagem usado pelo maior número de pessoas no mundo, a OpenAI precisa se preocupar com segurança e afirma que de fato sempre se preocupou com isso
- A visão é que não existe um estado sustentável em que um desenvolvedor de IA crie um produto bem-sucedido sem investir de forma muito pesada em segurança
-
Resiliência social e OpenAI Foundation
- Segurança está ligada não apenas ao modelo em si, mas também à forma como a sociedade desenvolve resiliência
- Carros precisam de cintos de segurança e estradas, e a eletricidade tem padrões de segurança e regras sobre a instalação de postes e linhas de alta tensão
- Na IA, o importante não é apenas o modelo em si, mas também como ele se integra ao mundo e como a sociedade desenvolve resiliência
- A OpenAI Foundation coloca como um de seus focos centrais ajudar a sociedade a investir e construir uma camada resiliente para a IA
-
Viés político dos modelos, neutralidade e aprendizado das preferências do usuário
- A OpenAI afirma fazer muito esforço para que o modelo seja neutro e represente a verdade, e que os valores e o modo de funcionamento incorporados ao modelo podem ser vistos nas especificações públicas do site, além de receberem feedback
- Capturas de tela do Twitter podem nem sempre ser totalmente honestas, porque respostas podem ter sido ajustadas numa determinada direção por causa da memória envolvida, instruções ocultas e contexto de conversas anteriores
- Algumas perguntas não têm resposta certa e, quando se pede uma resposta em uma única palavra, qualquer resposta pode gerar acusações de viés
- O ponto central que a OpenAI considera importante é uma IA que represente a verdade e o usuário
- A forma de treinar modelos de acordo com as preferências do usuário evoluiu, e houve um momento em que o modelo se inclinava a dizer o que o usuário queria ouvir
- O objetivo é que o modelo ajude os objetivos de longo prazo e o bem-estar de longo prazo do usuário, e foram feitas melhorias técnicas para evitar “hackeamento do avaliador” em busca de satisfação imediata
-
Regulação, preocupações com datacenters e estratégia nacional
- A regulação da IA deve garantir que a tecnologia, no fim das contas, beneficie as pessoas, e precisa lidar com o fato de que sistemas, profissões e trajetórias de vida antes considerados estáveis podem deixar de ser estáveis
- Questões centrais para a regulação passam por saber se todos devem ter acesso a compute e como evitar que, quando a tecnologia gerar mais valor econômico, esse valor fique concentrado em um só lugar
- Há pessoas que dizem que suas vidas ou as de entes queridos foram salvas pelo uso do ChatGPT, e a visão é que esse tipo de uso deve ser apoiado e protegido
- Conversas com médicos ou advogados são comunicações privilegiadas protegidas por lei, mas ainda não existe esse tipo de estrutura para IA
- Há preocupações sobre se datacenters aumentam a conta de luz, e a OpenAI diz ter o compromisso de evitar que isso aconteça
- Fala-se muito sobre o uso de água de datacenters, mas a OpenAI afirma que seus datacenters usam muito pouca água e que dizer que usam muita é desinformação
- O motivo do baixo consumo de água é uma estrutura de circuito fechado, que funciona enchendo uma quantidade de água equivalente à de uma piscina e depois recirculando-a continuamente
- A situação atual estaria mais próxima de um renascimento global da IA do que de uma “corrida global da IA”, e a visão é que a dinâmica entre os países ainda não está totalmente definida
- A visão é que a liderança dos EUA em IA é importante para garantir que valores democráticos sejam protegidos e preservados
- Os países estão percebendo que, se a IA está se tornando a base da segurança econômica e da segurança nacional, eles precisam participar de alguma forma e adotar uma estratégia de IA soberana
- Se as restrições à exportação de chips e tecnologia forem severas demais, outros países podem criar seus próprios concorrentes ou passar a depender de outros fornecedores; se forem frouxas demais, os EUA podem perder sua vantagem
- Liderança não significa apenas estar à frente, mas também levar o mundo junto
Empregos, competências necessárias e um futuro desejável
-
Insegurança no emprego e o que se ganha
- É incerto como a IA vai se desenvolver exatamente, e isso pode aparecer de formas surpreendentes; a IA e o mundo atuais também são diferentes do que a ficção científica previa
- Não dá para negar que a mudança está chegando, e é fácil ver o que se perde, mas o que se ganha é muito mais difícil de enxergar com antecedência
- Se você explicasse a uma pessoa de 1950 que, após computadores, celulares e GPS, seria possível chamar um carro até sua localização atual em 3 minutos, isso soaria estranho, mas na prática esse investimento em tecnologia levou a milhares, dezenas de milhares e milhões de aplicações
- O núcleo da IA está no fortalecimento de capacidades e na agência humana, e algumas instituições e profissões podem não ser tão estáveis quanto se imagina, o que afetará as pessoas
- Ao observar várias gerações de tecnologia de IA, ele vê uma tendência de que as pessoas que aprenderam primeiro a geração anterior foram as que mais se beneficiaram também na geração seguinte
- As competências centrais são agência, visão e ideias, e a barreira de entrada para tentar algo está mais baixa do que nunca
- O mundo precisa pensar em como apoiar todos os que atravessam essa incerteza e essa transição, e a economia vai mudar para uma economia baseada em computação
-
O que a geração mais jovem deve aprender
- Para estudantes do ensino médio, universitários e pessoas no início da carreira, a capacidade importante é usar IA em profundidade e entender como extrair o máximo da IA
- Ele acredita que podemos caminhar para um mundo em que todos sejam gestores de agentes e, mais adiante, CEOs de empresas autônomas de IA
- É possível imaginar uma situação em que toda a força de trabalho de uma empresa de 100 mil pessoas trabalhe 24 horas por dia para você, e para isso serão necessários tokens e computação
- O acesso universal à computação é uma questão central que o mundo precisa resolver adequadamente
- As competências importantes daqui para frente serão saber usar IA, combinar tecnologias de novas formas, interagir com agentes e gerenciá-los, e entender o que se quer e qual é o próprio objetivo
-
Riscos e um futuro desejável
- Até agora, a tecnologia muitas vezes exigiu que as pessoas torcessem o corpo e a vida para se adaptar às máquinas, e a cena de digitar diante de uma caixa, sofrendo com síndrome do túnel do carpo e ombros curvados, não é algo natural para os seres humanos
- Daqui para frente, vamos migrar de um mundo em que se trabalha com computadores para um mundo em que os computadores trabalham para as pessoas, e isso cria ao mesmo tempo oportunidades e riscos
- Se as máquinas ajudarem a concretizar os objetivos das pessoas, será preciso definir como ajustar objetivos que entram em conflito entre si e onde traçar os limites do que a IA deve ou não ajudar a fazer
- Precisamos encontrar uma forma de inserir a IA na sociedade e de garantir que seus benefícios não fiquem concentrados em uma única empresa ou em um único grupo, mas elevem a todos
- Precisamos elevar o piso para que todas as pessoas tenham acesso a uma vida excelente e a essa tecnologia, e possam fazer algo com ela; com isso, ele acredita que o teto também vai subir
- Em acesso à saúde, ele vê como possível um mundo em que todos tenham no bolso um médico melhor do que qualquer equipe médica de hoje
- Essa mudança é disruptiva e não vem de graça, e erros iniciais já apareceram
- Nos próximos 2 anos, ele vê isso como uma força potencial para o bem, mas para atingir esse potencial de alta será preciso reconhecer também as formas como isso pode dar errado e os riscos envolvidos
-
Critérios pessoais e definição de sucesso
- Escrever artigos, receber citações e chamar atenção em conferências não basta para cumprir a missão; isso só é suficiente se estiver ligado à pergunta: “como essa atividade faz a AGI seguir em uma direção melhor para o mundo?”
- Na expressão de Ilya, existe a visão de que “é preciso sofrer”, em um sentido próximo de que, se não há sofrimento, então você não está criando valor
- Ele considera que a forma da OpenAI não foi encobrir problemas e seguir em frente de qualquer jeito, mas sim encarar verdades difíceis e compreender a realidade como ela é
- O significado da IA que ele gostaria de transmitir a quem não é técnico é que ela ajudará na vida pessoal, fará avançar a ciência e a medicina, e será uma força para o bem que elevará a todos
- Sucesso é a missão da OpenAI: garantir que a inteligência artificial geral beneficie toda a humanidade
1 comentários
Comentários do Hacker News
Lembro de quando as revistas de computador antigas eram voltadas para programadores e até publicavam listagens de código
Aí, em algum momento, só falavam de processos da IBM contra a Microsoft e depois pareceram encontrar uma fórmula de ficar comentando apenas a política interna das empresas de computação. Esse tipo de cobertura empresa contra empresa é chato, parece reality show do setor de tecnologia. Tipo: será que hoje à noite a Debra vai ser eliminada, ou a Deborah?
O lado que o mundo enxerga tem menos a ver com a tecnologia em si e mais com o nível insano de dinheiro, poder, influência e conspiração que essa tecnologia tornou possível. Na época de IBM contra Microsoft isso já era grande, mas a escala da era OpenAI de hoje está além da imaginação. Há até uma geração cuja conexão com engenharia e tecnologia existe apenas por interesse nesse outro lado. Sinto falta dos tempos da Byte magazine
Se você não quiser ouvir tudo, dá para ver aqui: https://apecast.app/podcast/the-knowledge-project/episode/op...
Também existem diários pessoais mostrando como Brockman via o passado, divulgados durante o processo do Musk
Por exemplo, há frases como “Financially what will take me to $1B?”. Só para constar, Musk perdeu porque entrou com a ação tarde demais
Não entendo por que ninguém pergunta sobre o que Ilya realmente pensava
Não consigo entender a sequência de demitir Sam e depois assinar a carta de apoio dizendo que sairia da OpenAI se Sam fosse demitido. Todo o resto parece superficial
Na prática, isso provavelmente teria sido muito mais difícil de executar, mas talvez tenha feito parecer um resultado inevitável
Por algum motivo, este episódio pareceu bem chato
Acho que porque quase não compartilhou nada inesperado ou desconhecido
Acho que aquilo não teria matado a OpenAI. Na verdade, teria corrigido a empresa
O interessante é que, na prática, encontraram a resposta quase por acaso. Pré-treinamento é aprendizado não supervisionado em larga escala, e RLHF é aprendizado por reforço. Eles só ainda não sabiam a receita
Não entendo como uma organização sem fins lucrativos pôde fazer isso
Isso não cria um precedente de que, na prática, ser sem fins lucrativos não significa nada? Usa-se a estrutura vantajosa e, quando chega a hora de os próprios fundadores ficarem ricos, muda-se tudo
A OpenAI foi fundada em 2015 como uma organização sem fins lucrativos em Delaware e, ao descobrir as leis de escala em 2017, percebeu que precisaria de muito mais computação e capital do que o esperado. Depois disso, vieram negociações para mudar a estrutura e levantar mais recursos; os outros fundadores não quiseram dar o controle ao Musk, e ele saiu. Em 2018, mesmo com a interrupção das contribuições do Elon, tentaram aumentar bastante a captação, mas levantaram apenas 50 milhões de dólares da meta de 100 milhões. Em 2019, criaram uma subsidiária com lucro limitado para atrair capital comercial, e a organização sem fins lucrativos contratou avaliadores independentes para estimar o valor da propriedade intelectual, transferindo-a para a entidade com fins lucrativos por um valor justo de cerca de 60 milhões de dólares. Em troca, a entidade sem fins lucrativos obteve o direito de receber até 100 vezes o investimento original em propriedade intelectual, ou seja, até 6 bilhões de dólares, caso houvesse lucros, além do direito aos lucros residuais restantes depois que os investidores futuros atingissem seu limite. A Microsoft investiu 1 bilhão de dólares em 2019, 2 bilhões em 2021 e 10 bilhões em 2023; cada investimento tinha um limite de retorno de 20x ou 6x, totalizando um objetivo de pagamento de 92 bilhões de dólares. Em 2025, a estrutura de lucro limitado foi recapitalizada como uma corporation de benefício público com participação acionária tradicional, e a organização sem fins lucrativos recebeu 26% da entidade com fins lucrativos em troca de abrir mão dos direitos aos lucros residuais e do limite de retorno de 100x sobre a transferência original de 60 milhões de dólares; hoje isso vale cerca de 200 bilhões de dólares. Isso vem dos autos de Musk v. Altman e, em resumo, a organização sem fins lucrativos trocou em 2019 uma propriedade intelectual avaliada em cerca de 60 milhões de dólares por um direito a 6 bilhões em lucros futuros e, após a recapitalização, passou a deter uma participação avaliada em 200 bilhões. Muita gente neste fio acha que a organização sem fins lucrativos deixou de existir, mas isso não é verdade
Só para registrar, a empresa de IA mais importante neste momento é a Anthropic