ExecuTorch Alpha: capacitando a implantação de grandes modelos de linguagem e IA na borda com colaboração da comunidade

• O PyTorch apresenta o ExecuTorch Alpha, com foco em implantar grandes modelos de linguagem (LLMs) e grandes modelos de ML em dispositivos de borda, estabilizar APIs e reforçar o processo de instalação.

• O ExecuTorch Alpha oferece suporte ao Llama 2 da Meta e suporte inicial ao Llama 3, permitindo executar esses LLMs com eficiência em dispositivos de borda como iPhones, celulares Samsung Galaxy e outros.

• Para otimizar o desempenho em dispositivos de borda com recursos limitados, o ExecuTorch Alpha usa técnicas de quantização e aproveita o suporte a formas dinâmicas do XNNPack e novos dtype para ampla compatibilidade com dispositivos CPU.

• O SDK do ExecuTorch fornece ferramentas aprimoradas de depuração e profiling, permitindo que desenvolvedores remapeiem nós de operadores ao código-fonte original em Python para resolver anomalias e ajustar o desempenho com eficiência.

• A colaboração com parceiros como Arm, Apple, Qualcomm Technologies, Google, Unity e Meta teve papel fundamental no avanço do ExecuTorch, que a própria Meta já utiliza para rastreamento de mãos e diversos modelos no dispositivo.