Relatório AI Index 2025

• O impacto social da IA está mais evidente do que nunca, e seu alcance é nada menos que histórico
• Stanford HAI vê a IA como a maior tecnologia transformadora do século 21
• No entanto, enfatiza que, para que os benefícios do avanço da IA sejam distribuídos de forma equilibrada para todos, é necessário um desenvolvimento orientado
• O AI Index analisa objetivamente o progresso técnico da IA, seu impacto econômico e social, oferecendo insights importantes para formuladores de políticas públicas e líderes empresariais

1. O desempenho da IA continua melhorando em benchmarks de alta dificuldade

• Em 2023, pesquisadores introduziram novos benchmarks para testar os limites dos sistemas de IA mais avançados:
  • MMMU, GPQA, SWE-bench
• Em apenas um ano, o desempenho melhorou drasticamente:
  • MMMU: +18,8 p.p.
  • GPQA: +48,9 p.p.
  • SWE-bench: +67,3 p.p.
• Além dos benchmarks, a IA também mostrou avanços notáveis em geração de vídeo de alta qualidade
• Em alguns ambientes, agentes baseados em modelos de linguagem chegaram a apresentar desempenho de programação superior ao humano dentro de um tempo limitado

2. A IA está se espalhando rapidamente pelo cotidiano

• Da saúde ao transporte, a IA está saindo dos laboratórios e sendo integrada de vez à vida diária
• Em 2023, o FDA dos EUA aprovou 223 dispositivos médicos baseados em IA (em 2015, eram apenas 6)
• Carros autônomos já não estão mais em fase de experimento, e sim de comercialização
  • Waymo: oferece mais de 150 mil corridas autônomas por semana
  • Baidu: opera serviços comerciais em várias cidades da China com o robotáxi Apollo Go

3. As empresas estão investindo pesado e ampliando o uso de IA

• Em 2024, o investimento privado em IA nos Estados Unidos chegou a US$ 109,1 bilhões, o maior do mundo
  • Cerca de 12 vezes o da China (US$ 9,3 bilhões) e 24 vezes o do Reino Unido (US$ 4,5 bilhões)
• Em especial, US$ 33,9 bilhões foram investidos apenas em IA generativa → alta de 18,7% em relação a 2023
• A proporção de empresas que usam IA também cresce rapidamente:
  • 55% em 2023 → 78% relataram adoção de IA em 2024
• Segundo os estudos, a IA contribui de forma geral para aumento de produtividade, além de
  • ajudar positivamente a reduzir lacunas de qualificação entre funções

4. Os EUA ainda lideram a produção dos principais modelos de IA, mas a China está reduzindo rapidamente a diferença de desempenho

• Em 2024, os EUA anunciaram 40 modelos de IA de destaque, muito à frente da China (15) e da Europa (3)
• Em quantidade, os EUA seguem na frente, mas a diferença de qualidade dos modelos chineses está diminuindo rapidamente
  • Em benchmarks representativos (MMLU, HumanEval), a diferença de dois dígitos em 2023 → quase paridade em 2024
• A China continua em 1º lugar mundial em número de artigos e patentes de IA
• O desenvolvimento de modelos de IA está se diversificando cada vez mais para Oriente Médio, América Latina, Sudeste Asiático e outras regiões

5. O ecossistema de IA Responsável (RAI) está evoluindo, mas de forma desequilibrada

• Incidentes e problemas relacionados à IA estão disparando, mas grandes desenvolvedores de modelos industriais ainda raramente adotam avaliações padronizadas de RAI
• Surgiram novos benchmarks de avaliação de segurança:
  • HELM Safety, AIR-Bench, FACTS → ferramentas promissoras para avaliar precisão e segurança
• As empresas têm alta percepção dos riscos de RAI, mas ainda pecam nas ações concretas
• Em contrapartida, os governos estão acelerando a resposta em governança de IA
  • OCDE, UE, ONU, União Africana e outros divulgaram frameworks de políticas com foco em transparência e confiabilidade

6. O otimismo global em relação à IA está em alta, mas a diferença entre regiões é grande

• Percentual dos que consideram a IA benéfica:
  • China (83%), Indonésia (80%), Tailândia (77%) registram maioria positiva
  • Canadá (40%), Estados Unidos (39%), Países Baixos (36%) mostram números mais baixos
• Ainda assim, o otimismo está crescendo:
  • Aumento da percepção positiva em relação a 2022: Alemanha (+10%), França (+10%), Canadá (+8%), Reino Unido (+8%), Estados Unidos (+4%)

7. A IA está evoluindo para se tornar mais eficiente, barata e acessível

• Impulsionado pela melhora no desempenho de modelos menores, o custo de inferência de modelos no nível do GPT-3.5 caiu 280 vezes entre novembro de 2022 e outubro de 2024
• Em hardware:
  • queda anual de custos de 30%
  • ganho de 40% em eficiência energética
• Modelos de pesos abertos também estão melhorando rapidamente em desempenho
  • Em alguns benchmarks, a diferença para modelos fechados caiu de 8% → 1,7%
• Todos esses fatores estão reduzindo rapidamente as barreiras de entrada para tecnologias avançadas de IA

8. Governos de vários países estão entrando de vez em regulação e investimento em IA

• Em 2024, agências federais dos EUA anunciaram 59 regulações relacionadas à IA
  • Mais que o dobro de 2023, com o número de órgãos envolvidos também dobrando
• Em 75 países, menções legislativas relacionadas à IA cresceram 21,3%
  • Um aumento de 9 vezes em relação a 2016
• Exemplos de investimentos governamentais importantes:
  • Canadá: US$ 2,4 bilhões, China: fundo de semicondutores de US$ 47,5 bilhões
  • França: €109 bilhões, Índia: US$ 1,25 bilhão
  • Arábia Saudita: investimento de US$ 100 bilhões com o Project Transcendence

9. A educação em IA e ciência da computação está se expandindo, mas ainda há problemas de acesso e preparo

• Dois terços dos países do mundo já implementam ou planejam implementar ensino de ciência da computação no K–12
  • O dobro em relação a 2019
  • Os avanços mais rápidos estão acontecendo na África e na América Latina
• Nos EUA, o número de graduados em cursos de computação cresceu 22% em 10 anos
• Mas, por causa da falta de infraestrutura básica (como eletricidade), algumas regiões da África ainda enfrentam dificuldades de acesso
• Entre professores de ciência da computação do K–12 nos EUA, 81% acreditam que IA é um elemento essencial da educação, mas
  • menos da metade afirma estar realmente preparada para ensinar IA

10. A indústria lidera o desenvolvimento de IA, mas a concorrência está ficando mais acirrada

• Em 2024, cerca de 90% dos principais modelos de IA foram desenvolvidos pela indústria (em 2023, eram 60%)
• Por outro lado, as pesquisas de IA mais citadas ainda vêm da academia
• A escala dos modelos continua crescendo:
  • o volume de computação de treinamento dobra a cada 5 meses
  • os datasets dobram a cada 8 meses
  • o consumo de energia dobra a cada ano
• Mas a diferença de desempenho está diminuindo:
  • diferença de pontuação entre o 1º e o 10º modelo: 11,9% → 5,4%
  • diferença entre o 1º e o 2º colocado: apenas 0,7%
• Isso indica um ambiente de desenvolvimento de IA cada vez mais competitivo e complexo

11. A IA está sendo reconhecida com o mais alto prestígio na ciência

• A IA foi recentemente reconhecida como tecnologia central em pesquisas premiadas com o Nobel
  • Houve premiação por tecnologias de deep learning (na área de Física) e por aplicações de predição de estrutura de proteínas (na área de Química)
• Além disso, também foi concedido um Prêmio Turing por contribuições revolucionárias na área de aprendizado por reforço
• Isso sugere que a influência científica da IA está começando a ser formalmente reconhecida nos principais campos acadêmicos

12. O raciocínio complexo ainda continua sendo um grande desafio para a IA

• A IA apresenta excelente desempenho na resolução de problemas em nível de Olimpíada Internacional de Matemática
• No entanto, ainda encontra dificuldades em benchmarks de raciocínio complexo como o PlanBench
• Mesmo quando existe uma resposta correta clara, muitas vezes não consegue resolver problemas lógicos de forma consistente
• Por isso, a efetividade da IA ainda tem limitações em áreas de alto risco nas quais a precisão é crítica

[GN⁺]

Opiniões do Hacker News

• Os dados deste relatório foram disponibilizados como arquivos CSV no Google Drive, permitindo convertê-los em um banco de dados SQLite e explorá-los com o Datasette Lite
  • A tabela mais interessante mostra exemplos de vieses em vários modelos
• Foi publicada no Substack uma contestação ao item 11 (AlphaFold3 vs Vina, Gnina etc.)
  • O Gnina reavalia os resultados do Vina com uma rede neural, então a mesma preocupação se aplica
  • Sou otimista em relação à IA, mas esta comparação foi equivocada
  • É preciso um método que generalize para novos candidatos a fármacos, mas a avaliação foi feita em um conjunto de dados repetitivo
• Vejo com frequência relatórios dizendo que a IA supera os humanos, mas não tenho recebido ajuda para resolver problemas do dia a dia
  • Dei ao Claude centenas de linhas de código e a localização do problema, mas ele não conseguiu resolvê-lo
  • LLMs tendem a se fixar em uma saída específica
  • Como no Google Search, mesmo tentando buscas específicas, ele devolve os mesmos resultados
• É surpreendente que não haja um capítulo sobre impacto ambiental
  • Na Europa, especialmente na França, esse é um dos principais argumentos de crítica ao uso de IA
  • Isso inclui roubo de arte, destruição de empregos, facilidade de gerar desinformação e as condições de trabalho de treinadores de IA em países de baixa renda
  • Pessoalmente não sou contra a IA; estou apenas listando argumentos que vejo com frequência no meu feed
• Cada capítulo é oferecido como um PDF separado, e o relatório completo tem 456 páginas
• "O desempenho da IA em benchmarks desafiadores continua melhorando"
  • Tenho a impressão de que mais modelos de IA estão sendo ajustados para esses benchmarks consagrados
• Há uma pergunta sobre por que o site dificulta abrir imagens em uma nova aba
  • Ao copiar a URL, ela aponta para uma imagem com ruído, mas é possível baixar a imagem original do AWS S3
  • Fica a dúvida se isso é para intimidar usuários não técnicos
• Os relatórios anteriores de IA de Stanford eram substanciais e críticos
  • O relatório atual parece juntar vários pequenos comunicados de imprensa em um só
  • A IA saiu da universidade para as empresas, e dos artigos de pesquisa para os comunicados de imprensa
  • Os comunicados de imprensa da OpenAI sobre GPT só listavam estatísticas, sem informações úteis
• Tenho convicção de que o padrão de vida vai melhorar
  • Será possível realizar um trabalho mais eficaz no mesmo tempo, aumentando a produtividade e reduzindo custos
  • Não tenho certeza de como esse efeito vai aparecer no mercado de ações
• Os EUA ainda produzem os melhores modelos de IA, mas a China está reduzindo a diferença de desempenho
  • A maioria dos pesquisadores se concentra em criar coisas legais com pessoas inteligentes, não com países
  • Não quero uma guerra com a única potência manufatureira do mundo
  • Eu gostaria que os EUA levassem P&D a sério na competição de IA com a China, mas não quero isso