OpenOrca - Dataset e modelo de linguagem ajustado por instruções em código aberto

• Criado ao reproduzir em código aberto o conteúdo do artigo Orca, da Microsoft
  • Cerca de 1 milhão de exemplos do FLANv2 aprimorados com GPT-4 Completion
  • Cerca de 3,5 milhões de exemplos do FLANv2 aprimorados com GPT-3.4 Completion
• Inclui todos os 75k CoT presentes no dataset FLAN-1m
• No momento, está em andamento o fine-tuning de todos os pesos sobre a base LLaMA-13B, então o desempenho deve se aproximar ao da versão da Microsoft
  • A expectativa é lançar o OpenOrca-LLaMA-13b por volta de meados de julho
• Procurando patrocinadores de computação GPU para aplicar o OpenOrca a outras plataformas (Falcon, LLaMA, MPT etc.)

[ninebow]

Ah, o link está dando 404.

Você pode conferir o conjunto de dados em Open-Orca/OpenOrca do HuggingFace! :D

[xguru]

Ah, parece que ele apagou o post.

Ainda está no WaybackMachine.

https://web.archive.org/web/20230629002546/…

Já corrigi o link para o link do HuggingFace que você tinha postado.