- A OpenAI divulgou os seus primeiros modelos de linguagem de grande escala de código aberto
gpt-oss-120b e gpt-oss-20b; eles têm um desempenho excelente em alguns benchmarks, mas mostram limitações em aplicações reais
- Esses modelos contam com conhecimento geral, mas recebem a avaliação de que lhes falta conhecimento em áreas específicas, como cultura pop
- Tal como a série Phi da Microsoft, o treinamento centrado em dados sintéticos pode elevar o desempenho em benchmarks, mas tende a reduzir a utilidade prática
- O treinamento com dados sintéticos traz a vantagem de aumentar a segurança, reduzindo o risco de uso indevido quando o modelo é liberado como código aberto
- Parece que a OpenAI escolheu uma abordagem no estilo Phi para manter vantagem em benchmarks em relação a modelos chineses de código aberto sem comprometer a segurança
Lançamento do primeiro LLM de código aberto da OpenAI
- A OpenAI anunciou os
gpt-oss-120b e gpt-oss-20b como seus primeiros modelos de linguagem de grande escala de código aberto, disponíveis para conversa diretamente na web
- Eles têm bom desempenho em alguns benchmarks, mas pioram em testes específicos como o SimpleQA
- São bem avaliados por terem bastante conhecimento geral, como em áreas de ciências, mas faltam em cultura pop
- A utilidade prática deve ficar mais clara dentro de cerca de seis meses, e é provável que o desempenho no mundo real fique abaixo do observado em benchmarks
Phi e aprendizado com dados sintéticos
- A série Phi, conduzida por Sebastien Bubeck na Microsoft em 2024, é composta por modelos treinados inteiramente com dados sintéticos
- Dados sintéticos são textos baseados em materiais didáticos gerados por outros LLMs ou filtrados por humanos, o que facilita controle de qualidade, embora o custo de geração seja alto
- Esse método tende a aumentar a performance em benchmarks, mas apresenta tendência de entregar resultados abaixo do esperado em ambientes reais
- Como os dados sintéticos podem ser criados facilmente para se ajustar aos tipos de questões dos benchmarks, permitem um aprendizado orientado para prova, embora reduzem a generalização
Entrada de Sebastien Bubeck no OpenAI e o gpt-oss
- No fim de 2024, Bubeck deixou a Microsoft e se juntou ao OpenAI
- Embora a OpenAI não tenha divulgado os detalhes dos dados de pré-treinamento dos modelos
gpt-oss, é bastante provável que tenham usado dados fortemente filtrados ou sintéticos
- Essa abordagem pode apresentar características semelhantes às de Phi-5 e Phi-5-mini
Vantagem de segurança dos dados sintéticos
- Modelos de código aberto podem passar por ajuste fino sem limites após o lançamento, o que pode causar problemas de segurança
- Entre os principais usos não oficiais de LLMs menores está o roleplay adulto, o que torna o controle de segurança essencial
- Treinar com dados sintéticos ou baseados em materiais didáticos pode aumentar a segurança por não incluir conteúdo perigoso
- Parece que a OpenAI escolheu uma estratégia de manter vantagem em benchmarks sobre modelos de código aberto chineses, sem abrir mão da segurança
Conclusão: essencialmente da família Phi-5
- Estima-se que os modelos
gpt-oss adotem um desenho de segurança centrado em dados sintéticos, priorizando pontuação de benchmark e segurança em vez do desempenho prático
- Como consequência, esses modelos têm natureza essencialmente equivalente à do Phi-5 e do Phi-5-mini
Ainda não há comentários.