TSAC - tecnologia de compressão de áudio de baixa taxa de bits

• Novo projeto de Bellard, criador do FFMPEG/QEMU
• TSAC é um utilitário de compressão de áudio que oferece boa qualidade sonora mesmo atingindo taxas de bits muito baixas, como mono a 5,5 kb/s ou estéreo a 7,5 kb/s em 44,1 kHz
• O TSAC pode comprimir uma música estéreo de 3,5 minutos em um arquivo de 192 KiB
• Para funcionamento rápido, é necessária uma GPU Nvidia; também há suporte apenas com CPU, mas com velocidade menor

Informações técnicas

• O TSAC é baseado em uma versão modificada do Descript Audio Codec expandida para estéreo e em um modelo Transformer para aumentar ainda mais a taxa de compressão. Ambos os modelos são quantizados em 8 bits por parâmetro
• O modelo Transformer é avaliado de forma determinística e reprodutível, portanto os resultados não dependem do modelo exato de GPU ou CPU nem da quantidade de threads configurada. Ou seja, os arquivos comprimidos podem ser descompactados usando diferentes configurações de hardware ou software.

[botplaysdice]

Pelo que vi no site, ele também chegou a se interessar por LLM por um tempo;;;; Fiquei pensando “uma pessoa dessas mexendo com uma tecnologia tão recente?” e, ao mesmo tempo, isso me fez sentir de novo que a IA realmente virou tendência.

[xguru]

Se eu atualizar a apresentação que escrevi antes sobre o monstruoso Fabrice Bellard...

Fabrice Bellard

Em 1989, desenvolveu o LZEXE

Em 1996, o Harissa - uma Java Virtual Machine e compilador de Java para código C

Em 1997, publicou uma fórmula para descobrir o valor de um dígito específico de pi (π) em notação binária.
-> Calculava sem precisar obter nenhum dos dígitos anteriores. O trilionésimo dígito é "1"
https://en.wikipedia.org/wiki/Bellard%27s_formula

Em 1998, apresentou o TinyGL - uma implementação de OpenGL pequena e embarcável

Em 2000, apresentou o FFMpeg. Hoje, a maioria dos players de vídeo que usamos utiliza isso.

Em 2000, venceu a IOCCC com um código C de 448 bytes para encontrar o maior número primo. Esse primo foi o maior já encontrado até 2016.

Em 2001, apresentou o Tiny C Compiler - um compilador C ultraleve

Em 2002, apresentou o QEmacs - um clone ultraleve do Emacs. Permitindo renderização e edição WYSIWYG de HTML/XML/CSS2 (com motor de navegador próprio embutido)

Em 2003, apresentou o QEMU - um emulador de CPU com recursos de virtualização de hardware

Em 2004, apresentou o TinyCC Boot Loader - um bootloader capaz de inicializar compilando diretamente o kernel do Linux

Em 2005, apresentou um gerador de sinal DVB-T: tornando possível transmitir TV digital a partir de um desktop em vez de usar um transmissor caro. O código-fonte disso não foi publicado

Em 2009, estabeleceu um recorde mundial ao calcular 2,7 trilhões de casas decimais de π. Dizem que calculou isso por 131 dias no próprio desktop.
-> Disse que não era tanto por interesse em números grandes, mas como um desafio de programação.

Em 2011, apresentou o JSLinux. Um Linux que roda no navegador web.

Em 2019, apresentou o QuickJS JavaScript Engine, um motor JavaScript pequeno, rápido e embarcável

Em 2022, revelou o TextSynth, um SaaS criado usando gpt2tc(GPT-2)

Além disso, também criou o BPG, um formato de imagem baseado em HEVC com taxa de compressão melhor que JPG (fornecendo decodificador em JavaScript para uso em qualquer navegador)

Também implementou estações-base 4G LTE/5G NR de forma barata com base em PC, e comercializou isso por meio da própria empresa, a Amarisoft

É o tipo de pessoa que, a cada coisa que faz, só faz a gente se perguntar como tudo isso pode ser obra de uma única pessoa.

[mdisprgm]

Uau..

[botplaysdice]

Algum tempo atrás, em um post no HN sobre um código feito por essa pessoa...

Alguém perguntou: "O Bellard não posta aqui (no HN)?", e houve respostas do tipo: "Você acha mesmo que uma pessoa tão produtiva assim viria aqui para ficar escrevendo?" haha

Ele é realmente um monstro....

[xguru]

Opiniões do Hacker News

Resumo:

• Houve muitas reações positivas ao TSAC, o novo codec de áudio de Bellard. Em especial, o desempenho em bitrates baixos parece superior ao dos codecs existentes.
• Corromper arquivos comprimidos do TSAC produz resultados interessantes. O som no modo Fast e no modo normal é diferente entre si.
• Para processamento em tempo real, é necessária uma GPU da NVIDIA, e a decodificação em dispositivos móveis pode ser pesada. O uso em sistemas embarcados de baixo desempenho parece ser limitado.
• O tamanho do arquivo comprimido do decodificador TSAC, de 237 MB, causou estranheza. Surgiu a dúvida se amostras de áudio não estariam incluídas no decodificador.
• Há curiosidade sobre comparações com codecs que suportam bitrates ainda mais baixos, como o Codec2.
• Houve um comentário sobre o TSAC por parte de um desenvolvedor do DAC, o codec base do TSAC. A forma de melhoria com uso de Transformer parece interessante.
• O funcionamento do TSAC se assemelha aos modelos de IA para geração de música. Alguns geram música ao inserir tokens em um modelo de linguagem, enquanto outros substituem a tokenização por uma representação contínua para modelos de Diffusion.
• Foram levantadas dúvidas sobre um método de avaliação determinístico e reproduzível do TSAC. Há curiosidade se ele usa ponto flutuante e concorrência. A portabilidade para GPUs da AMD pode afetar o comportamento determinístico.
• A maioria das tecnologias de compressão de mídia se concentra em cenários de baixo bitrate. Há curiosidade sobre o quanto a melhoria se mantém em bitrates altos, por exemplo comparando 256 kbps em AAC com o desempenho do AV1 a 10 Mbps.