Para onde estão indo os modelos de IA NLP em escala gigantesca?

Situação atual

• LaMDA, anunciado no Google I/O, GPT-3, cuja licença exclusiva foi comprada pela Microsoft, e o LLM (Large Language Model) desenvolvido internamente pelo Facebook para tradução e moderação de conteúdo mostram que grandes empresas estão desenvolvendo seus próprios modelos NLP em escala gigantesca

• À medida que esses modelos, criados de forma fechada por cada empresa, passam a ser usados na vida real, praticamente não há pesquisas sobre como as falhas dos LLMs afetam as pessoas, que problemas existem e como eles podem ser resolvidos.

• Em dezembro passado, o problema se agravou ainda mais quando o Google demitiu Timnit Gebru, co-líder da equipe de IA ética (Ethical AI)

Novas tentativas

• Mais de 500 pesquisadores do mundo todo estão se reunindo no projeto BigScience, liderado pela Huggingface, para acelerar a construção de um LLM open source.

• Um grupo de trabalho que mede o impacto ambiental dos LLMs, incluindo a pegada de carbono do treinamento e da operação dos modelos, levando em conta os custos de ciclo de vida (life-cycle costs) de supercomputadores

• Um grupo de trabalho que discute como obter dados de treinamento de maneira responsável

---

Foi difícil resumir, então acho que não consegui fazer um bom resumo.

Assim como a agenda da “renda básica” surgiu a partir das preocupações e esperanças em relação à tecnologia, parece que, diante das expectativas e preocupações em torno do GPT-3 lançado no ano passado, a agenda da “preocupação com o desenvolvimento fechado de IA” está vindo à tona. Gostaria de reler este texto por volta de 2050.