speculative_decoding.c: código C de speculative decoding escrito com base no llama2.c
(github.com/mscheong01)Este é um código simples de inferência de speculative decoding implementado em C.
Assim como o llama2.c que serviu de base, tentei escrevê-lo como um código simples com fins educacionais.
Em seguida, pretendo implementar alguns artigos um pouco mais recentes.
Ainda não há comentários.