O novo modelo de texto preditivo da Apple baseado em 'Transformer'

• Apple anuncia um novo recurso do iOS e do macOS que usa um modelo de linguagem Transformer para oferecer sugestões de texto preditivo enquanto o usuário digita
• Um dos primeiros modelos baseados em Transformer reconhecidos publicamente pela Apple, com integração prevista ao sistema operacional
• Recurso semelhante ao preenchimento automático do Gmail, capaz de completar palavras individuais e às vezes sugerir duas ou mais palavras de uma vez
• O modelo de texto preditivo foi encontrado no AppleSpell, um aplicativo interno do macOS que verifica erros de ortografia e gramática enquanto o usuário digita
• O modelo está localizado em /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle, que contém vários arquivos de modelo Espresso usados durante a digitação
• O vocabulário do modelo de texto preditivo é composto por 15.000 tokens, incluindo tokens especiais, abreviações e emoticons
• A arquitetura do modelo de texto preditivo parece ser baseada no GPT-2, incluindo embeddings de tokens, codificação posicional, uma série de blocos decodificadores e uma camada de saída
• O modelo de texto preditivo da Apple tem cerca de 34 milhões de parâmetros e 512 unidades ocultas, sendo muito menor que a menor versão do GPT-2
• Graças ao tamanho reduzido, o modelo pode ser executado com rapidez e frequência sem consumir muita bateria do dispositivo, melhorando a experiência do usuário
• Devido às limitações de tamanho, ele não é muito capaz de escrever frases ou parágrafos inteiros, mas é bom o suficiente para sugerir ao usuário a próxima palavra ou duas quando há alta confiança
• Para quem quiser testar diretamente o recurso de texto preditivo, o autor disponibilizou um script no GitHub

[GN⁺]

Comentários no Hacker News

• O autor da publicação está surpreso com o fato de seu artigo estar fazendo sucesso no Hacker News e afirmou que responderá a perguntas sobre isso.
• Alguns usuários questionam se o novo modelo de texto preditivo da Apple é superior ao GPT2. Este último tende a gerar texto sem relação com base na entrada do usuário.
• Há debate sobre se um modelo de texto preditivo deve gerar frases inteiras ou simplesmente prever a entrada pretendida pelo usuário.
• A configuração de temperatura, que controla a probabilidade de escolher tokens que não sejam a principal previsão, não foi mencionada nos testes. Essa configuração pode afetar a criatividade e a repetição na saída do modelo.
• Alguns usuários descobriram, ao observar os logs do console do simulador do iOS, que unilm.bundle é o novo modelo de previsão de texto.
• Há especulações sobre se versões futuras do modelo da Apple migrarão para modelos menores treinados com dados de qualidade mais alta, e se a Apple desenvolverá sua própria versão do Copilot para Xcode.
• Alguns usuários observam que, se o objetivo da previsão de texto é acelerar a digitação, a interface de entrada pode ser o gargalo, o que sugere a necessidade de formas de inserir texto mais rapidamente.
• A implantação de IA está sendo discutida, e alguns usuários sugerem que a IA deve ser usada para executar tarefas pequenas e confiáveis, em vez de ser vendida como uma solução end-to-end.
• Foi levantada a questão de saber se o novo modelo de previsão de texto pode melhorar com base na experiência ou no histórico do iMessage.
• Especula-se que o termo "UnilmCtrl" sugira alguma dependência do modelo CTRL de Socher, mas isso não foi confirmado. Alguns usuários dizem que respeitariam mais a Apple se ela estivesse trabalhando há mais tempo com NLP.