Instituto de IA da LG divulga o modelo open source EXAONE 3.0 7.8B

• Em agosto de 2024, apresentou o EXAONE 3.0 e, após usá-lo apenas internamente na LG, o converteu em um modelo aberto
• Entre a linha de modelos configurada para diferentes finalidades, o modelo 7.8B Instruction Tuned foi disponibilizado como open source para pesquisa
• Espera-se que contribua para pesquisas relevantes de pesquisadores de IA no país e no exterior, bem como para o desenvolvimento do ecossistema de IA
• Baseado em arquitetura Decoder-only Transformer, com 7.8B parâmetros e 8T de dados de treinamento

Alcançando nível Global Top em inglês: 1º lugar na pontuação média em casos de uso do mundo real e excelente desempenho também em benchmarks individuais

• O desempenho em inglês do modelo 7.8B está em nível Global Top em comparação com outros modelos
• Os resultados de avaliação em 4 benchmarks confirmaram desempenho superior ao de modelos globais de ponta
• 1º lugar na pontuação média em Math e Coding, além de alto desempenho em Reasoning

Desempenho em coreano claramente superior: 1º lugar na pontuação média tanto em casos de uso do mundo real quanto em benchmarks individuais

• Como modelo bilíngue inglês/coreano, também apresenta excelente desempenho em coreano
• Para verificar o desempenho sob a ótica de casos de uso do mundo real, foram usados 2 benchmarks
• Os benchmarks individuais foram estruturados para corresponder a benchmarks de avaliação em inglês, como o KMMLU
• Foi confirmado o resultado de 1º lugar na pontuação média tanto em casos de uso do mundo real quanto em benchmarks individuais

Viabilidade econômica garantida: após 3 anos de P&D, custos reduzidos para o nível de 6%

• Para o uso de IA, além de melhorar o desempenho, é indispensável reforçar a viabilidade econômica
• Ao longo de 3 anos, houve foco em P&D de técnicas de redução de peso de modelos de IA e em eficiência de custos
• Em comparação com o EXAONE 2.0, o modelo 7.8B reduziu o tempo de processamento de inferência em 56% e os custos em 72%
• Em relação ao EXAONE 1.0, obteve-se uma grande redução de custos para o nível de 6%

Transparência ética: além dos bons resultados, também foram divulgadas áreas que precisam de melhorias

• O Instituto de IA da LG considera a ética em IA indispensável no processo de pesquisa e desenvolvimento de modelos de IA
• O modelo EXAONE 3.0 7.8B também passou por processo de Red Teaming para avaliação de ética e segurança
• Foram usados datasets internos e externos de terceiros na avaliação
• Embora tenha excelente desempenho na prevenção de discriminação de gênero e de respostas ilegais, ainda há pontos a serem aprimorados
• Para o avanço da ética em IA, os resultados da avaliação foram divulgados de forma transparente
• Espera-se uma pesquisa ativa sobre ética em IA por parte dos pesquisadores, e o Instituto de IA da LG também continuará pesquisando

[xguru]

Seria ótimo se também passássemos a compartilhar mais notícias nacionais por aqui ;)