Recentemente me candidatei a um batch da YC com a ideia de fazer a AI agir de forma proativa em vez de apenas reagir, e antes disso publiquei um artigo sobre autoaperfeiçoamento recursivo ajustado aos dados da Epoch AI
Entrei em contato com um professor universitário do Reino Unido que fazia pesquisa parecida, e discutimos por cerca de uma hora diferenças de premissas, métodos e resultados sobrepostos
Mesmo um estudante de graduação em física, ao fazer pesquisa independente e conversar com especialistas, pode se conectar com pessoas que normalmente seriam difíceis de encontrar; por isso, para jovens entrando em qualquer negócio, pesquisa é uma boa forma de criar networking
É por isso também que grandes laboratórios param de publicar artigos. Publicar é mais valioso quando não há outra forma de chamar a atenção de desconhecidos inteligentes, mas quando você já está no estágio em que pode contratar qualquer pessoa e todo mundo atende suas ligações, o principal efeito que sobra é mostrar aos concorrentes o que funcionou
Isso acontece sempre que a ciência vira indústria. Químicos também publicavam livremente, mas quando corantes passaram a dar dinheiro, pesquisas interessantes migraram para laboratórios corporativos e deixaram de ser divulgadas
É triste que o LinkedIn devesse ser esse tipo de plataforma de conexão para especialistas, mas hoje esteja cheio de iscas de engajamento e gente posando de empreendedor
Ter visibilidade e conversar com outras pessoas, tenha começado ou não pela pesquisa, é algo fundamentalmente importante para carreira e crescimento pessoal
Queria ouvir mais sobre o que exatamente significa AI proativa aqui
Autoaperfeiçoamento recursivo me parece o começo do fim
Na prática, trabalhei em duas startups que fizeram pesquisa básica inédita no mundo. A primeira passou 3 anos tentando colocar novos resultados em um periódico de primeira linha, acabou soltando tudo como preprint e desistiu do periódico
A segunda empresa atual, por causa dessa experiência, não publica nada e também quer evitar que OpenAI ou Anthropic copiem os resultados e tornem irrelevantes 6 meses de trabalho. Artigos só são fornecidos junto com material para investidores
Quase não há vantagem para startups em divulgar pesquisa de ponta, e também é difícil se defender. Para empresas sem pressão de risco pode servir como vitrine, mas para startups vira problema
Fico na dúvida se o objetivo de publicar pesquisa não é justamente permitir que outros a reproduzam
Se você não é um acadêmico que precisa de estabilidade ou verba, pode pular o periódico e publicar o artigo diretamente. O ponto principal é compartilhar a pesquisa
Fico curioso se o texto está falando desse fenômeno de startups de AI publicarem descobertas em blogs em vez de periódicos. Será que os periódicos ficaram lentos, rígidos e exploratórios demais, a ponto de não servirem mais para esse setor?
Para submeter artigos às principais conferências de ciência da computação, quem não passou por um doutorado em uma área estreita tem dificuldade de acessar a linguagem de iniciados e o formalismo exigidos
Ironicamente, LLM faz isso muito bem, então um artigo realmente bom escrito por alguém de fora tem menos chance de ser melhor avaliado do que um artigo ruim gerado por AI
A bloguificação da pesquisa em AI fez com que todo tipo de afirmação e termo começasse a surgir e se espalhar como nas redes sociais, e isso não é saudável
Estamos indo rápido para uma fase em que dá para sustentar qualquer coisa colando números de vários experimentos rodados em um ambiente gamificado, quase sem discutir se aquilo tem significado real. Esse lixo vira dado de treinamento do próximo modelo, que por sua vez volta a gerar modelos, blogs e artigos, num ciclo vicioso parecido com soltar cupins numa biblioteca
Já chegamos a essa fase há 10 anos, talvez bem antes. A diferença agora é só que há muito mais gente entrando no jogo sem o treinamento social que tornava isso suportável
Ainda assim, não é totalmente ruim; períodos em que novos participantes entram sem parar são irritantes, mas depois que passam acabam fazendo falta
Fico em dúvida se, no fim, a única diferença em relação à publicação acadêmica tradicional é a velocidade
O texto tratou de forma vaga quais empresas aparecem no artigo. Em citações acumuladas, OpenAI é a mais alta, seguida por MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks e Aibee
O autor esclarece que isso é número de citações, não de publicações, e que foi usado como indicador imperfeito, mas útil, de importância. Empresas como Google foram excluídas por não serem startups unicórnio
Pelo que sei, pesquisadores precisam publicar artigos para cumprir metas e manter posição. A menos que OpenAI ou Anthropic paguem tanto a ponto de compensar abandonar uma carreira de pesquisa, eles continuarão publicando, então é difícil ver isso como pura boa vontade da empresa
O Google publicou muita pesquisa, e ainda me pergunto por que abriu especialmente as pesquisas sobre Transformer e Attention. Talvez no começo fosse só para tradução, ou nem os próprios pesquisadores tenham percebido o potencial real
Eu achava que a Databricks era uma empresa de hospedagem de Spark, então fico curioso sobre por que ela entra como startup líder em AI
O artigo aparentemente não deixa claro quais são de fato as empresas que não divulgam artigos. OpenAI, Anthropic e Hugging Face são explicitamente citadas como empresas que publicam, então não dá para olhar “principais startups de AI” e pensar imediatamente em OpenAI e Anthropic
O artigo não responde direito à pergunta que todo mundo vai querer fazer ao ver o título. A OpenAI lidera em citações, mas artigos antigos e influentes acumulam citações, e houve um período em que a OpenAI era mais aberta
Mesmo após a mudança de direção depois de Altman, não dá para saber se ela ainda contribui agora, e artigos após 2025 são explicitamente excluídos, o que dificulta entender a acessibilidade da pesquisa de fronteira mais recente, que é justamente o ponto de interesse. O repositório está em https://github.com/q5loisel/unicorn-AI-startup-publications
Ser uma empresa de AI não faz dela automaticamente uma empresa de pesquisa. A maioria das startups criadas nos últimos anos usa modelos feitos por outros para fins comerciais, então não há motivo para esperar artigos científicos
Na verdade, se 50% das startups contribuírem para pesquisa pública, isso já seria muito melhor do que o esperado
Não dá para confiar só nos incentivos do livre mercado, por isso a ciência recebe financiamento público. Empresas quase não têm motivo para compartilhar informação com concorrentes
Se o nome da segunda maior empresa for OpenAI, isso já faz esperar algum nível de publicação de artigos
Um bom artigo que analisa um setor mais amplo também aborda por que pesquisas anteriores davam a impressão de que está cada vez mais difícil encontrar boas ideias
Ao contrário do fenômeno em que o crescimento da produção ficou estagnado mesmo com o aumento do número de pesquisadores nos EUA, o rastreamento de 45 anos de patentes corporativas americanas mostra que as patentes médias por insumo de P&D aumentaram, e a elasticidade das patentes em relação ao insumo foi mantida ou elevada. Há uma relação positiva constante entre o aumento das patentes, que são ideias, e a produtividade do trabalho, mas a taxa de crescimento das empresas cai quando se controla o aumento das ideias. Ou seja, a conclusão é que o papel da atividade de inovação em sustentar o crescimento não enfraqueceu nos últimos 40 anos https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
É irônico pensar que, se o Google não tivesse publicado Attention Is All You Need, nenhuma das startups de IA de hoje existiria
Ao olhar para https://research.google/pubs/distilling-the-knowledge-in-a-n... de 2015, talvez essa ironia ainda esteja se desenrolando
O Google pode ter considerado economicamente irracional uma corrida armamentista independente por modelos de fronteira, mas ao mesmo tempo julgado essa capacidade estrategicamente essencial. Pode ser uma estratégia de longo prazo: construir os maiores modelos apenas na medida necessária para usá-los como fábricas de produção de capacidade, e transformar essa inteligência em um número muito maior de modelos mais baratos e voltados a finalidades específicas
Se o Google já sabia disso, a razão para não tratá-lo como arma secreta desde o início pode ser que previu a corrida armamentista e também sabia como lucrar com ela no processo. Considerando que o artigo sobre destilação saiu antes do artigo dos Transformers, talvez não seja ironia, mas um resultado natural
Até o próprio Google não estaria onde está hoje sem pesquisa aberta. Como aconteceu com a ciência da radiação antes da Segunda Guerra Mundial, resultados são publicados livremente antes de seu potencial de mudar o mundo ser reconhecido; depois que viram tema de interesse governamental, até pesquisadores sem relação com armas passam a esconder seus resultados
Todos os autores desse artigo hoje estão em empresas de IA que não são o Google
Esse artigo também se baseou em várias ideias que já estavam se aproximando. É uma grande descoberta, mas, como muitas descobertas, está sobre os ombros de gigantes
Toda a indústria de IA foi construída sobre pesquisa aberta, mas a onda atual vai na direção contrária e parece ser movida pela ganância, usando a corrida armamentista como desculpa
É preciso uma nova política de ESG que reconheça o papel da pesquisa aberta, mas, no ambiente sombrio atual, parece que tanto o ESG quanto outras normas foram deixados de lado
Uma parte considerável do valor da indústria de computação foi criada porque pessoas inteligentes cooperaram e, em vez de monopolizar o valor das descobertas iniciais, escolheram revelar os métodos. Isso antecede a atual febre da IA em cerca de meio século
No meu caso, porém, é o oposto da ganância. Se alguém quiser compartilhar como algo funciona, os resultados da solução de problemas ou conteúdo educacional, basta publicar diretamente; fazer isso dentro da estrutura de uma instituição aprovada pela academia é desgastante e dispersivo
Aqui, “publicação de pesquisa” não significa subir uma página HTML e código-fonte, mas um procedimento de comunicação muito específico e político. Isso só faz sentido em etapas da carreira em que essa competição por prestígio é necessária, e em alguns aspectos se aproxima de um culto de carga que imita o procedimento científico real
Há muita pesquisa excelente financiada com recursos públicos, mas Attention Is All You Need e vários artigos centrais da OpenAI foram produzidos com financiamento privado, e, em pesquisa, a OpenAI é a número 1 em citações. As premissas sobre pesquisa aberta podem não bater com as evidências
Há empresas que compartilham pesquisa, mas em geral não são empresas americanas; um exemplo é https://arxiv.org/abs/2607.24653. DeepMind, Nvidia e Thinking Machines são exceções
O processo de publicação com revisão por pares é trabalhoso, não maximiza a eficiência da transmissão de conhecimento, e se parece mais com certificação de credenciais e autoridade do que com comunicação; além disso, os benefícios desse prestígio vão mais para indivíduos do que para empresas
Publicações em formato de blog têm muito lixo não verificado, mas pesquisas revisadas por pares também têm muitos resultados de baixa qualidade, então a relação sinal-ruído tem sido ruim há décadas, independentemente da fonte do conhecimento
Quando uma boa pesquisa é publicada, ela pode ser explorada por concorrentes de várias formas, e na prática é quase impossível exercer direitos de propriedade intelectual, o que a transforma em um departamento de custo puro. Em algumas áreas da ciência da computação, técnicas de ponta ficaram enterradas por décadas como segredo comercial, deixando a literatura acadêmica vergonhosamente atrasada
Publicar exige tempo e dinheiro, mas pesquisadores querem resolver problemas interessantes e empresas querem maximizar a utilidade da pesquisa, então a publicação não ajuda nenhum dos dois lados. Muita pesquisa básica também não tem artigos como objetivo, mas sim a solução de problemas; depois de resolvidos, passa-se ao problema seguinte
Pesquisas de fronteira sempre vêm acompanhadas de considerações de segurança nacional. Tudo isso é resultado da estrutura de incentivos, e uma parte considerável da pesquisa básica já não acontece mais na academia. Eu também gostei de programas de pesquisa fechados, e pesquisas básicas interessantes que realizei pessoalmente não valiam a pena ser publicadas, porque o objetivo não era prestígio, mas sim o problema a ser resolvido
1 comentários
Comentários do Hacker News
Recentemente me candidatei a um batch da YC com a ideia de fazer a AI agir de forma proativa em vez de apenas reagir, e antes disso publiquei um artigo sobre autoaperfeiçoamento recursivo ajustado aos dados da Epoch AI
Entrei em contato com um professor universitário do Reino Unido que fazia pesquisa parecida, e discutimos por cerca de uma hora diferenças de premissas, métodos e resultados sobrepostos
Mesmo um estudante de graduação em física, ao fazer pesquisa independente e conversar com especialistas, pode se conectar com pessoas que normalmente seriam difíceis de encontrar; por isso, para jovens entrando em qualquer negócio, pesquisa é uma boa forma de criar networking
Isso acontece sempre que a ciência vira indústria. Químicos também publicavam livremente, mas quando corantes passaram a dar dinheiro, pesquisas interessantes migraram para laboratórios corporativos e deixaram de ser divulgadas
Na prática, trabalhei em duas startups que fizeram pesquisa básica inédita no mundo. A primeira passou 3 anos tentando colocar novos resultados em um periódico de primeira linha, acabou soltando tudo como preprint e desistiu do periódico
A segunda empresa atual, por causa dessa experiência, não publica nada e também quer evitar que OpenAI ou Anthropic copiem os resultados e tornem irrelevantes 6 meses de trabalho. Artigos só são fornecidos junto com material para investidores
Ironicamente, LLM faz isso muito bem, então um artigo realmente bom escrito por alguém de fora tem menos chance de ser melhor avaliado do que um artigo ruim gerado por AI
A bloguificação da pesquisa em AI fez com que todo tipo de afirmação e termo começasse a surgir e se espalhar como nas redes sociais, e isso não é saudável
Estamos indo rápido para uma fase em que dá para sustentar qualquer coisa colando números de vários experimentos rodados em um ambiente gamificado, quase sem discutir se aquilo tem significado real. Esse lixo vira dado de treinamento do próximo modelo, que por sua vez volta a gerar modelos, blogs e artigos, num ciclo vicioso parecido com soltar cupins numa biblioteca
Ainda assim, não é totalmente ruim; períodos em que novos participantes entram sem parar são irritantes, mas depois que passam acabam fazendo falta
O texto tratou de forma vaga quais empresas aparecem no artigo. Em citações acumuladas, OpenAI é a mais alta, seguida por MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks e Aibee
O autor esclarece que isso é número de citações, não de publicações, e que foi usado como indicador imperfeito, mas útil, de importância. Empresas como Google foram excluídas por não serem startups unicórnio
O artigo aparentemente não deixa claro quais são de fato as empresas que não divulgam artigos. OpenAI, Anthropic e Hugging Face são explicitamente citadas como empresas que publicam, então não dá para olhar “principais startups de AI” e pensar imediatamente em OpenAI e Anthropic
Mesmo após a mudança de direção depois de Altman, não dá para saber se ela ainda contribui agora, e artigos após 2025 são explicitamente excluídos, o que dificulta entender a acessibilidade da pesquisa de fronteira mais recente, que é justamente o ponto de interesse. O repositório está em https://github.com/q5loisel/unicorn-AI-startup-publications
Ser uma empresa de AI não faz dela automaticamente uma empresa de pesquisa. A maioria das startups criadas nos últimos anos usa modelos feitos por outros para fins comerciais, então não há motivo para esperar artigos científicos
Na verdade, se 50% das startups contribuírem para pesquisa pública, isso já seria muito melhor do que o esperado
Um bom artigo que analisa um setor mais amplo também aborda por que pesquisas anteriores davam a impressão de que está cada vez mais difícil encontrar boas ideias
Ao contrário do fenômeno em que o crescimento da produção ficou estagnado mesmo com o aumento do número de pesquisadores nos EUA, o rastreamento de 45 anos de patentes corporativas americanas mostra que as patentes médias por insumo de P&D aumentaram, e a elasticidade das patentes em relação ao insumo foi mantida ou elevada. Há uma relação positiva constante entre o aumento das patentes, que são ideias, e a produtividade do trabalho, mas a taxa de crescimento das empresas cai quando se controla o aumento das ideias. Ou seja, a conclusão é que o papel da atividade de inovação em sustentar o crescimento não enfraqueceu nos últimos 40 anos
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
É irônico pensar que, se o Google não tivesse publicado Attention Is All You Need, nenhuma das startups de IA de hoje existiria
O Google pode ter considerado economicamente irracional uma corrida armamentista independente por modelos de fronteira, mas ao mesmo tempo julgado essa capacidade estrategicamente essencial. Pode ser uma estratégia de longo prazo: construir os maiores modelos apenas na medida necessária para usá-los como fábricas de produção de capacidade, e transformar essa inteligência em um número muito maior de modelos mais baratos e voltados a finalidades específicas
Se o Google já sabia disso, a razão para não tratá-lo como arma secreta desde o início pode ser que previu a corrida armamentista e também sabia como lucrar com ela no processo. Considerando que o artigo sobre destilação saiu antes do artigo dos Transformers, talvez não seja ironia, mas um resultado natural
Toda a indústria de IA foi construída sobre pesquisa aberta, mas a onda atual vai na direção contrária e parece ser movida pela ganância, usando a corrida armamentista como desculpa
É preciso uma nova política de ESG que reconheça o papel da pesquisa aberta, mas, no ambiente sombrio atual, parece que tanto o ESG quanto outras normas foram deixados de lado
No meu caso, porém, é o oposto da ganância. Se alguém quiser compartilhar como algo funciona, os resultados da solução de problemas ou conteúdo educacional, basta publicar diretamente; fazer isso dentro da estrutura de uma instituição aprovada pela academia é desgastante e dispersivo
Aqui, “publicação de pesquisa” não significa subir uma página HTML e código-fonte, mas um procedimento de comunicação muito específico e político. Isso só faz sentido em etapas da carreira em que essa competição por prestígio é necessária, e em alguns aspectos se aproxima de um culto de carga que imita o procedimento científico real
O processo de publicação com revisão por pares é trabalhoso, não maximiza a eficiência da transmissão de conhecimento, e se parece mais com certificação de credenciais e autoridade do que com comunicação; além disso, os benefícios desse prestígio vão mais para indivíduos do que para empresas
Publicações em formato de blog têm muito lixo não verificado, mas pesquisas revisadas por pares também têm muitos resultados de baixa qualidade, então a relação sinal-ruído tem sido ruim há décadas, independentemente da fonte do conhecimento
Quando uma boa pesquisa é publicada, ela pode ser explorada por concorrentes de várias formas, e na prática é quase impossível exercer direitos de propriedade intelectual, o que a transforma em um departamento de custo puro. Em algumas áreas da ciência da computação, técnicas de ponta ficaram enterradas por décadas como segredo comercial, deixando a literatura acadêmica vergonhosamente atrasada
Publicar exige tempo e dinheiro, mas pesquisadores querem resolver problemas interessantes e empresas querem maximizar a utilidade da pesquisa, então a publicação não ajuda nenhum dos dois lados. Muita pesquisa básica também não tem artigos como objetivo, mas sim a solução de problemas; depois de resolvidos, passa-se ao problema seguinte
Pesquisas de fronteira sempre vêm acompanhadas de considerações de segurança nacional. Tudo isso é resultado da estrutura de incentivos, e uma parte considerável da pesquisa básica já não acontece mais na academia. Eu também gostei de programas de pesquisa fechados, e pesquisas básicas interessantes que realizei pessoalmente não valiam a pena ser publicadas, porque o objetivo não era prestígio, mas sim o problema a ser resolvido