Unix vs. Linux
Oracle vs. MySQL
O código aberto trouxe inovação por meio da colaboração. A força do open source está na transparência e na colaboração. O sucesso do Linux, MySQL e outros projetos é resultado disso.
GPT-n vs. Llama?
O Llama é aberto, mas há limites para a inovação.
Para inovar de fato no modelo Llama, seria necessário poder fazer pré-treinamento, mas atualmente só é possível fazer pós-treinamento. O motivo é que os dados de treinamento do Llama não foram divulgados. Em IA e deep learning, o código-fonte é o conjunto de dados de treinamento. No entanto, o Llama divulgou apenas os pesos do modelo, e não os dados de treinamento, o código de treinamento do modelo, os hiperparâmetros etc. Com os pesos do Llama que existem hoje, são possíveis inovações de ajuste, como fine-tuning e quantização, mas não é possível inovar nos pesos do modelo de uma forma que só o pré-treinamento permite. Isso porque, em IA e deep learning, desenvolver o dataset de treinamento é programar e depurar. Como os dados de treinamento do Llama são fechados, não há como o público colaborar para melhorá-los. Nesse sentido, é difícil considerar o Llama como open source.
Além disso, há a falta de recursos de GPU na comunidade.
Diz-se que o treinamento do Llama usou H100*16k GPUs. Só as GPUs já passam de 600 bilhões de won. Se forem considerados os custos adicionais de infraestrutura e eletricidade para operar isso, o total ultrapassaria facilmente 1 trilhão de won. Não é algo que qualquer um possa tentar. Para que a inovação open source seja possível, seria necessário haver um cluster público de GPUs.
Em resumo,
Para que a inovação aberta seja possível na área de IA e deep learning, pelo menos as duas condições a seguir precisam ser atendidas.
Divulgação dos dados de treinamento
Disponibilização de um grande cluster público de GPUs
Mas a condição 1 é improvável por causa de questões de direitos autorais. E a condição 2 exige 1 trilhão de won.
A conclusão é que, nas condições atuais, a possibilidade de open innovation em IA e deep learning é muito pequena. Mas, se houver inovação de hardware, como GPUs ou chips neuromórficos, a história pode mudar.
1 comentários
Unix vs. Linux
Oracle vs. MySQL
O código aberto trouxe inovação por meio da colaboração. A força do open source está na transparência e na colaboração. O sucesso do Linux, MySQL e outros projetos é resultado disso.
GPT-n vs. Llama?
O Llama é aberto, mas há limites para a inovação.
Para inovar de fato no modelo Llama, seria necessário poder fazer pré-treinamento, mas atualmente só é possível fazer pós-treinamento. O motivo é que os dados de treinamento do Llama não foram divulgados. Em IA e deep learning, o código-fonte é o conjunto de dados de treinamento. No entanto, o Llama divulgou apenas os pesos do modelo, e não os dados de treinamento, o código de treinamento do modelo, os hiperparâmetros etc. Com os pesos do Llama que existem hoje, são possíveis inovações de ajuste, como fine-tuning e quantização, mas não é possível inovar nos pesos do modelo de uma forma que só o pré-treinamento permite. Isso porque, em IA e deep learning, desenvolver o dataset de treinamento é programar e depurar. Como os dados de treinamento do Llama são fechados, não há como o público colaborar para melhorá-los. Nesse sentido, é difícil considerar o Llama como open source.
Além disso, há a falta de recursos de GPU na comunidade.
Diz-se que o treinamento do Llama usou H100*16k GPUs. Só as GPUs já passam de 600 bilhões de won. Se forem considerados os custos adicionais de infraestrutura e eletricidade para operar isso, o total ultrapassaria facilmente 1 trilhão de won. Não é algo que qualquer um possa tentar. Para que a inovação open source seja possível, seria necessário haver um cluster público de GPUs.
Em resumo,
Para que a inovação aberta seja possível na área de IA e deep learning, pelo menos as duas condições a seguir precisam ser atendidas.
Mas a condição 1 é improvável por causa de questões de direitos autorais. E a condição 2 exige 1 trilhão de won.
A conclusão é que, nas condições atuais, a possibilidade de open innovation em IA e deep learning é muito pequena. Mas, se houver inovação de hardware, como GPUs ou chips neuromórficos, a história pode mudar.