- Brendan Gregg, renomado especialista em performance no Linux e principal contribuidor do BPF, explica por que entrou na OpenAI
- Entrou na OpenAI para ajudar a resolver o problema do aumento acelerado dos custos e do consumo de energia dos datacenters de IA, focando inicialmente na otimização de performance do ChatGPT
- Avaliou que apenas a engenharia de performance tradicional tem limites e passou a idealizar novos métodos de engenharia para encontrar ganhos de otimização maiores com mais rapidez
- Percebeu a disseminação social da tecnologia por meio de casos de uso amplo do ChatGPT por pessoas comuns — por exemplo, cabeleireira, corretor imobiliário, contador e apicultor
- Após 26 entrevistas, comparou o nível de engenharia de várias empresas de IA e concluiu que a densidade de talentos e o ambiente colaborativo da OpenAI foram os mais impressionantes
- Viu em seu papel na OpenAI uma oportunidade de contribuir para ganhos de eficiência em escala planetária e sustentabilidade, considerando isso um ponto de virada em sua vida
Os desafios dos datacenters de IA e da engenharia de performance
- O custo e a velocidade de crescimento dos datacenters de IA estão avançando em um ritmo sem precedentes na história, e isso é visto não apenas como redução de custos, mas como uma questão de proteção do planeta
- Entrou na OpenAI para enfrentar diretamente esse problema, com foco inicial em melhorar a performance do ChatGPT
- Busca uma nova abordagem para ir além dos limites da engenharia de performance tradicional, visando otimizações maiores e melhorias mais rápidas
- Destaca uma estrutura aberta com pouquíssimas restrições que impeçam mudanças, mesmo em ambiente de grande escala
- Resume essa postura como: “tente qualquer coisa, em escala, agora mesmo”
A expansão cotidiana do ChatGPT e a motivação pessoal
- Enquanto ainda era cético em relação à adoção de IA, sentiu diretamente o uso popular do ChatGPT em uma conversa com a cabeleireira Mia
- Mia compartilhou vários exemplos de uso, como verificar no ChatGPT informações sobre o destino de viagem de uma amiga para manter uma conexão emocional
- Ela descreveu o recurso de memória do ChatGPT como uma experiência parecida com conversar com uma pessoa
- Corretores imobiliários, contadores e apicultores também usam o ChatGPT ativamente no trabalho
- Ex.: um apicultor usa o ChatGPT para cuidar da papelada de um pequeno negócio
- A partir dessas experiências, percebeu que o ChatGPT já se tornou uma ferramenta do dia a dia e se convenceu do significado social de sua contribuição técnica
Por que escolheu a OpenAI e como foi o processo de entrevistas
- Por recomendação de vários especialistas do setor, participou de 26 entrevistas com grandes empresas de tecnologia de IA, incluindo a OpenAI
- Encontrou um ambiente semelhante ao da época da Netflix, com grande escala em nuvem, mudanças rápidas de código e autonomia para engenheiros
- Havia desafios amplos envolvendo problemas de performance em toda a stack tecnológica, não apenas em GPUs
- A OpenAI já contava com vários colegas engenheiros altamente competentes que ele conhecia
- A experiência prévia de colaboração com pessoas como Vadim, da Netflix, influenciou positivamente sua decisão de entrar
- A OpenAI já possui uma equipe experiente de engenharia de performance, e ele comenta que é “a pessoa que entrou mais recentemente” nesse grupo
O sonho de infância com “Orac” e sua conexão com a IA
- Recorda que, na infância, ficou fascinado pelo supercomputador Orac da série britânica de ficção científica Blake’s 7 e sonhava em desenvolver IA
- Na universidade, tentou desenvolver por conta própria um software de processamento de linguagem natural, mas interrompeu o projeto por limitações de memória
- Ao usar o ChatGPT, lembrou-se do Orac e se impressionou ao ver que o ChatGPT reproduzia perfeitamente a personalidade do Orac nas respostas
- Desde então, passou a usá-lo de forma personalizada em modo Orac
- Também menciona a notícia sobre um reboot de Blake’s 7
O presente na OpenAI e os planos futuros
- Atualmente trabalha remotamente de Sydney como Member of Technical Staff na equipe de engenharia de performance do ChatGPT
- O projeto inicial envolve melhorias de performance entre organizações e definição de estratégias de redução de custos
- Pretende aplicar tecnologias já conhecidas, como eBPF, Ftrace e PMC, às necessidades da OpenAI
- Também está usando o Codex para várias tarefas além de programação
- Depois de sair da Intel, muitas pessoas perguntaram sobre seus próximos passos durante a Linux Plumber’s Conference, o que motivou a escrita deste texto
- Por fim, conta que, ao perguntar novamente à cabeleireira Mia se ela ainda usava o ChatGPT, ouviu a resposta: “Uso 24 horas por dia”
- O texto é um registro pessoal, escrito de forma voluntária, e não a pedido da empresa
3 comentários
Mesmo que uma empresa que acumulou 40% da memória do mundo diga que está cuidando do interesse público do planeta...
Mas o que é isso agora... Do ponto de vista da OpenAI, que não fabrica nem usa diretamente nada, do chipset ao datacenter, se a stack de software for otimizada eles vão escalar na medida da folga disponível, então o objetivo é maximizar o lucro, não proteger o meio ambiente (o paradoxo de Jevons, como no comentário do HN).
É tão claramente um post de autopromoção que dá até vergonha de ler.
Comentários do Hacker News
A frase “não se trata de cortar custos, e sim de salvar o planeta” soa meio estranha
Dá a impressão de que talvez seja simplesmente por dinheiro
É bom ter paixão pelo trabalho, mas não precisa posar de Madre Teresa
Isso até lembra uma cena de paródia da série Silicon Valley
O objetivo de uma grande empresa não é salvar o mundo, e sim buscar lucro
Se a eficiência do hardware aumentar, no fim só vão preencher com ainda mais carga de trabalho
Ainda assim, estou curioso pelas novas inovações que podem surgir nessa área
Como fã do livro do Brendan, apoio a ida dele para a OpenAI, mas acho difícil concordar com a análise
Se a OpenAI compra Y de energia por X dólares, então ganhos de eficiência só vão resultar em mais produção de tokens
Isso se parece menos com economia de energia e mais com o paradoxo de Jevons
Ainda assim, é possível que o custo energético de pedidos como “perguntar o placar de basquete para um chatbot” diminua
Ele mencionou a questão da compensação, mas dinheiro não é a única razão
Queria resolver diretamente o problema do custo de energia dos data centers de IA
Nos últimos 20 anos, escreveu material didático quase por salário mínimo para ajudar outros desenvolvedores,
e construiu com open source a base de inúmeras startups
Também contribuiu para a expansão da cultura de trabalho remoto
Se a eficiência aumenta, a estrutura toda leva a comprar ainda mais GPUs
Para reduzir esse efeito colateral, acho que seria necessária regulação
esse discurso de “trabalhar pelo bem do mundo” soa vazio
É decepcionante, mas respeito que a escolha é sua
Link relacionado
mas também existe a chance de a OpenAI manter parte disso fechado para preservar vantagem competitiva
O tom autopromocional do texto estava tão forte que foi difícil ler
A parte “a cabeleireira Mia ficou em silêncio quando eu disse que era Intel Fellow” foi constrangedora
Parece que ele queria impressioná-la, e como não conseguiu, decidiu mudar de emprego
Quando você encontra o mundo fora do setor de tecnologia, esse tipo de reação é natural
Por outro lado, a marca de tesoura que a cabeleireira mencionou talvez também fosse desconhecida para nós
O modo de recrutamento do Vale do Silício estimula a autoimagem das pessoas
Faz com que acreditem que estão mudando o mundo,
e o resultado é que fica mais difícil encarar os impactos negativos
É chocante ver alguém que era um excelente engenheiro de sistemas escrever algo tão descolado da realidade
Dá a sensação de que política e autopromoção vieram antes da verdade técnica
Promover a si mesmo ou às próprias ideias também pode ser visto como uma extensão da engenharia
Li o texto como fã, mas esse papo de “salvar o mundo” soa como autojustificação
Soa como uma metáfora ironicamente absurda, tipo “vou tirar o máximo de calor de um incêndio de pneus para salvar o planeta”
Fiquei triste com a parte em que ele disse que, como um amigo estava viajando para longe, conversou com o ChatGPT sobre aquela cidade e isso lhe deu uma sensação de conexão
Um uso desses não exige energia em escala de gigawatts
Um pequeno modelo local já seria suficiente
A comunicação assíncrona entre humanos já é um problema resolvido
É menos deprimente do que assistir a programas de viagem