OpenAI, Google e Anthropic lutam para desenvolver uma IA mais avançada

• Grandes empresas de IA, como OpenAI, Google e Anthropic, estão obtendo cada vez menos resultados no desenvolvimento de novos modelos
• A OpenAI treinou seu modelo de IA mais recente, Orion, mas ele não atingiu o desempenho esperado
  • Em especial, enfrentou problemas para responder adequadamente a perguntas de programação
• O Gemini do Google também apresentou resultados abaixo das expectativas internas, e a Anthropic está com o cronograma de lançamento do novo Claude 3.5 Opus atrasado

Limites dos dados e problema de custos

• Está ficando cada vez mais difícil garantir dados de alta qualidade escritos por humanos
• O desempenho dos modelos de IA está estagnando, e pequenas melhorias tornam difícil justificar custos enormes
• No caso do Orion, da OpenAI, uma das principais causas apontadas foi não ter conseguido garantir dados suficientes de programação
• O desenvolvimento de novos modelos de IA custa milhões de dólares, e espera-se que no futuro esse valor chegue à casa dos bilhões

Estratégias para melhorar o desempenho da IA

• A OpenAI está focando no processo de pós-treinamento (post-training) antes do lançamento do Orion. Isso inclui melhorar as respostas do modelo com base no feedback dos usuários e ajustar o tom das interações
• Para resolver o problema da falta de dados, as empresas estão obtendo dados por meio de contratos com editoras ou usando especialistas para rotular dados
• O uso de dados sintéticos (synthetic data) também está aumentando, mas ainda há limites para garantir dados únicos e de alta qualidade

Dúvidas sobre as leis de escala da IA

• O setor de IA vinha se apoiando nas leis de escala (scaling laws), segundo as quais modelos maiores e mais dados levariam a melhor desempenho, mas os resultados recentes estão colocando isso em dúvida
• Dario Amodei, CEO da Anthropic, mantém uma visão otimista de que a escassez de dados pode causar problemas, mas que será possível encontrar formas de superá-los

O problema do equilíbrio entre custo e desempenho

• Com os custos de desenvolvimento de IA disparando, o alto gasto se torna um problema quando os novos modelos não melhoram o desempenho tanto quanto o esperado
• OpenAI e Anthropic estão mudando o foco de modelos maiores para novos casos de uso, como agentes de IA (agent)
  • Os agentes podem executar tarefas como enviar e-mails ou reservar voos em nome do usuário
• Sam Altman, CEO da OpenAI, mencionou que serão necessárias decisões difíceis no uso de recursos computacionais
  • Ele explicou em um AMA no Reddit: "Continuaremos lançando ótimos modelos novos, mas a próxima grande inovação serão os agentes"

Conclusão

• As principais empresas de IA estão usando cada vez mais poder computacional e dados, mas os resultados estão estagnados
• Para superar limites técnicos e a escassez de dados, elas estão buscando novas abordagens e novos casos de uso
• A tendência é que a direção futura do desenvolvimento de IA dê mais ênfase a aplicações práticas do que ao tamanho dos modelos

[kandk]

No fim, a história é que custa dinheiro demais.
Pessoalmente, acho que existe um potencial de crescimento na mesma escala do número de neurônios do cérebro.

[GN⁺]

Comentários do Hacker News

• Há uma pergunta sobre se as opções para gerar valor com base nos atuais LLMs (grandes modelos de linguagem) já se esgotaram. Uma pessoa que lidera uma equipe acha que ainda há um longo caminho pela frente

  • Usa principalmente os modelos GPT-4o e Claude 3.5, e a combinação de investimento técnico com LLMs continua revelando possibilidades para novas aplicações
  • Por exemplo, é possível combinar grafos de conhecimento curados por humanos com LLMs para criar "bots especialistas" que entendem o contexto de negócios e agem como colegas de equipe
  • Ao adicionar capacidades de previsão e simulação, os LLMs podem gerar alterações de código razoáveis e revisar e iterar automaticamente
  • Defende-se que é mais importante aproveitar a inteligência atual do que buscar apenas melhorias no modelo

• Na área de engenharia, os últimos 3 anos foram focados em escalar o pré e o pós-treinamento de modelos Transformer

  • Como novo paradigma, treinamento multimodal e agentes incorporados, incluindo robôs, estão ganhando atenção
  • OpenAI, Google e Anthropic também estão investindo em pesquisa com robótica

• A capacidade de geração de código do ChatGPT consegue encontrar na web algo semelhante ao código existente

  • LLMs oferecem funções de busca e copiar/colar, e isso é suficiente para resolver problemas comuns
  • No entanto, só com LLMs não se chegará à inteligência artificial geral
  • É necessário um indicador de confiança para os LLMs, e isso seria muito mais útil do que os LLMs atuais

• É algo positivo que o avanço da IA tenha chegado ao limite dos dados, pois a pressão passa a se concentrar no desenvolvimento de arquiteturas de modelo melhores

  • Pesquisadores de IA estão procurando modelos melhores

• As manchetes negativas dizendo que a IA bateu no muro são semelhantes às do início da internet

  • Acredita-se que, daqui a 10 anos, a IA estará profundamente conectada a todos os aspectos da vida

• As tecnologias existentes já trouxeram grandes mudanças para a indústria, e será preciso tempo para fazer a transição para um modelo híbrido entre IA e humanos

• Embora o modelo mais recente da OpenAI tenha ficado abaixo das expectativas, ele ainda pode crescer linearmente de acordo com o tamanho dos dados de treinamento

• Foi levantada a pergunta sobre a possibilidade de comprar software de IA e adicionar recursos que ajudem o usuário a ler documentos por conta própria e escrever novas versões de aplicativos