14 pontos por GN⁺ 2024-09-26 | 3 comentários | Compartilhar no WhatsApp

1. Investir em projetos, não em artigos

  • No início da carreira de pesquisa, publicar artigos é importante, mas no longo prazo o impacto da pesquisa e a visão geral importam mais do que a quantidade de artigos
  • É preciso pensar na pesquisa não como artigos isolados, mas como uma grande visão ou paradigma
  • É importante manter artefatos consistentes, como modelos open source, sistemas, frameworks e benchmarks

2. Escolher problemas oportunos com grande escalabilidade e "efeito cascata"

  • O problema precisa ser oportuno. Por exemplo, é bom encontrar problemas que vão ficar "quentes" em 2–3 anos
  • Ele deve ter um grande "efeito cascata", capaz de impactar muitos problemas derivados
  • É preciso escolher problemas com grande margem de progresso. Por exemplo, deve haver esperança de torná-los 20 vezes mais rápidos ou 30% mais eficazes com o tempo

3. Pensar duas etapas à frente e iterar rapidamente

  • Em vez de buscar uma solução imediata, é preciso pensar duas etapas à frente
  • Depois de identificar o caminho que as pessoas provavelmente vão seguir, é preciso entender os limites desse caminho e focar em resolvê-los
  • É importante iterar rapidamente versões do problema e receber feedback

4. Tornar o trabalho público e popularizar as ideias

  • Depois de publicar um artigo, não passe imediatamente para o próximo; é preciso tornar o trabalho público e se comunicar ativamente com as pessoas
  • Publique o artigo no arXiv e anuncie a publicação em uma thread, começando com afirmações concretas e acessíveis
  • Mesmo após a publicação do artigo, é preciso continuar promovendo as ideias e se comunicando com a comunidade
  • As ideias e a comunicação científica devem continuar ao longo do ano, indo além de uma publicação isolada de artigo

5. Gerar interesse e expandir a pesquisa open source

  • Não basta apenas subir o código e o README no GitHub
  • Uma boa pesquisa open source deve ser boa pesquisa e também ter utilidade downstream clara e baixa fricção
  • É preciso criar releases de código utilizáveis, úteis e acessíveis
  • É preciso explicar por que alternativas aparentemente óbvias falham e ter paciência
  • É preciso entender diferentes categorias de usuários e evoluir o projeto de acordo com elas
  • É importante transformar o interesse em comunidade e fazê-la crescer

6. Continuar investindo no projeto por meio de novos artigos

  • Projeto open source e pesquisa não são coisas separadas
  • Grande parte do tempo investido em open source pode ser justamente fazer pesquisa nova e interessante
  • Estar na linha de frente do esforço open source permite perceber intuitivamente novos problemas muito cedo e receber colaboradores e feedback
  • Por exemplo, ColBERT e DSPy evoluíram por meio de vários artigos e colaboradores
  • A comunidade construída fornece feedback direto sobre a abordagem e também acesso a ótimos colaboradores que entendem a importância do problema

Resumo do GN⁺

  • Este texto trata de como maximizar o impacto na pesquisa em IA por meio de projetos open source
  • Ele enfatiza que uma grande visão e um projeto consistente são mais importantes do que a quantidade de artigos
  • Explica a importância de escolher problemas oportunos, pensar duas etapas à frente, tornar o trabalho público e popularizar as ideias, além de expandir projetos open source
  • Também destaca que pesquisa e projetos open source não são separados, podendo se complementar e evoluir juntos

3 comentários

 
kandk 2024-09-26

Então, hoje em dia a pesquisa em IA não é feita na pós-graduação, e sim nas big techs.
As big techs publicam mais artigos de ponta do que os programas de pós-graduação. Que mundo curioso..

 
nutella 2024-09-27

Também é comum contratar estudantes de pós-graduação como estagiários por alguns meses para pesquisar junto, publicar artigos e coisas do tipo.

 
GN⁺ 2024-09-26
Opiniões no Hacker News
  • O conselho de “investir em projetos, não em artigos” não é realista para doutorandos ou pesquisadores em início de carreira

    • Sem publicar muitos artigos, é difícil avançar na carreira
    • Você pode querer investir tempo em temas interessantes, mas se isso não render um artigo, o impacto na carreira pode ser grande
  • Para conduzir um programa de pesquisa com sucesso, é importante escolher problemas no momento certo e divulgar amplamente as ideias

    • O feedback pode ajudar a ajustar a direção da pesquisa e incentivar colaborações
  • Para pesquisadores de IA, escolher temas úteis dentro de 1 a 2 anos pode ser um motivo para ir para a indústria

    • Pesquisas de longo prazo podem ter um impacto maior
    • Pesquisas iniciais podem gerar grandes resultados com o passar do tempo
  • É difícil medir o impacto real de um artigo no mundo

    • Em pesquisa de IA, escala importa, e isso exige financiamento e recursos
    • Com tantos artigos sendo publicados, o impacto de cada artigo individual diminui
  • O conselho de “investir em projetos, não em artigos” significa que bons projetos geram bons artigos

  • Artigos de IA frequentemente têm muitos autores, e pesquisas realmente influentes são raras

  • Nos estágios iniciais da pesquisa, pequenas melhorias podem ter um grande impacto

    • À medida que a carreira de pesquisa avança, é possível dedicar mais tempo aos projetos
  • Tornar os resultados da pesquisa facilmente acessíveis é importante, mas também é necessário não divulgar tudo

  • O “hype” também faz parte da pesquisa

    • Pesquisas que têm impacto no curto prazo podem não tê-lo no longo prazo
  • Esse conselho pode se aplicar não apenas à pesquisa acadêmica, mas também a startups