- Sam Altman, CEO da OpenAI, afirmou que a estratégia de pesquisa que deu origem ao ChatGPT já não é mais válida e que serão necessárias novas ideias para o futuro avanço da inteligência artificial
- A OpenAI criou modelos de linguagem como o GPT-4 ampliando os algoritmos tradicionais de machine learning, mas afirmou que, daqui para frente, será difícil avançar apenas aumentando ainda mais o tamanho dos modelos
- O desenvolvimento do GPT-4 custou mais de US$ 100 milhões, e há também limitações para a expansão de data centers devido a restrições físicas
- Direção da pesquisa em IA após o GPT-4
- Nick Frosst, cofundador da Cohere, também concorda que há limites em avançar apenas expandindo o tamanho dos modelos
- Novos projetos de modelos de IA (arquiteturas) e ajustes finos por meio de feedback humano podem se tornar direções promissoras de pesquisa
- Processo de evolução da série de modelos GPT
- O GPT-2, lançado em 2019, era um grande modelo com 1,5 bilhão de parâmetros
- Em 2020, o GPT-3 aumentou drasticamente de tamanho para 175 bilhões de parâmetros, o que levou outras empresas e instituições de pesquisa a impulsionar o desenvolvimento de modelos de escala semelhante
- O tamanho exato do GPT-4 não foi divulgado, mas especula-se que, além de simplesmente ampliar a escala, também tenham sido usadas técnicas como aprendizado por reforço com feedback humano
- Impacto social e controvérsias causados pelo surgimento do GPT-4
- As capacidades impressionantes do GPT-4 surpreenderam especialistas e vêm gerando preocupações de que a IA possa transformar a economia e eliminar empregos
- Alguns especialistas e empresários, incluindo Elon Musk, divulgaram uma carta aberta pedindo a suspensão por seis meses do desenvolvimento de IAs mais poderosas que o GPT-4
- Altman afirmou que a OpenAI não está desenvolvendo o GPT-5 no momento e que não pretende fazê-lo por enquanto
Opinião do GN⁺
- O desenvolvimento de grandes modelos de linguagem como o GPT-4 exige custos enormes e vastos recursos computacionais, por isso continuar expandindo-os de forma contínua é algo difícil na prática. Assim, como disse o CEO Altman, parece necessário buscar novas direções de pesquisa
- Como estão sendo estudadas diversas técnicas para melhorar o desempenho dos modelos, como o aprendizado por reforço com feedback humano, espera-se que o avanço da IA ocorra por meio de inovação no próprio algoritmo, e não apenas pela expansão do tamanho do modelo
- Com o surgimento de modelos de IA poderosos como o GPT-4, são esperadas grandes mudanças em toda a sociedade, portanto, junto com o desenvolvimento tecnológico, também será necessário buscar consenso social sobre os problemas éticos e jurídicos decorrentes
- Com o rápido avanço da tecnologia de IA, surgem preocupações com efeitos colaterais como a substituição de empregos, mas, ao mesmo tempo, também existem oportunidades de criação de novos postos de trabalho e aumento de produtividade, de modo que será preciso buscar respostas em uma perspectiva de longo prazo
- Como não parece fácil para startups pequenas e médias conquistarem competitividade no desenvolvimento de grandes modelos de IA, será necessário buscar novos modelos de negócio, como inovação em áreas especializadas ou oferta de plataformas de desenvolvimento
2 comentários
É uma matéria de entrevista de abril do ano passado. Como já faz nada menos que um ano, há bastante coisa que não bate mais.
Enquanto eu lia o resumo, pensei: de quando é que era essa história mesmo? Aí vi que era uma matéria de 1 ano atrás hahaha