Nova técnica de treinamento de IA do Google, JEST, é muito mais rápida que as anteriores

• Pesquisadores do Google DeepMind divulgaram em um artigo um novo método chamado JEST para acelerar o treinamento de IA. Ele reduz significativamente os recursos computacionais e o tempo necessários para a tarefa
• A abordagem Multimodal Contrastive Learning with Joint Example Selection (JEST) é até 13 vezes mais rápida e 10 vezes mais eficiente. Isso significa que pode reduzir a demanda de energia
• Segundo um artigo de pesquisa recente, essa nova abordagem para um processo normalmente intensivo em energia pode tornar o desenvolvimento de IA mais rápido e mais barato. Isso é uma boa notícia para o meio ambiente

O alto consumo de energia da indústria de IA

• Grandes sistemas de IA exigem enorme capacidade de processamento, o que demanda muita energia e água para resfriamento
• Foi relatado que o consumo de água da Microsoft saltou 34% entre 2021 e 2022 devido ao aumento da demanda por computação de IA
• A IEA prevê que o consumo de eletricidade de data centers dobrará entre 2022 e 2026. Isso tem gerado comparações entre a demanda elétrica da IA e o perfil energético da criticada indústria de mineração de criptomoedas
• No entanto, abordagens como o JEST podem oferecer uma solução. Ao otimizar a seleção de dados para o treinamento de IA, é possível reduzir drasticamente o número de iterações e a capacidade computacional necessária, o que pode diminuir o consumo total de energia

Como o JEST funciona

• O JEST seleciona lotes de dados complementares para maximizar a capacidade de aprendizado dos modelos de IA. Diferentemente dos métodos tradicionais, que escolhem exemplos individuais, esse algoritmo considera a composição do conjunto como um todo
• Os pesquisadores do Google usaram multimodal contrastive learning, no qual o processo JEST identifica dependências entre os pontos de dados. Esse método melhora a velocidade e a eficiência do treinamento de IA, exigindo muito menos poder computacional
• Usar um modelo de referência pré-treinado para orientar o processo de seleção de dados foi o ponto central da abordagem. Com essa técnica, o modelo pôde se concentrar em conjuntos de dados de alta qualidade e bem curados, otimizando ainda mais a eficiência do treinamento
• O treinamento no conjunto de dados WebLI com o uso do JEST mostrou melhorias impressionantes em velocidade de aprendizado e eficiência no uso de recursos
• O algoritmo acelera o processo de treinamento ao focar em partes específicas de dados "correspondentes" usando uma técnica chamada data quality bootstrapping. Essa técnica prioriza a qualidade em vez da quantidade e se mostrou melhor para o treinamento de IA