- O Transformer Debugger (TDB) é uma ferramenta desenvolvida pela equipe de Superalignment da OpenAI para ajudar a investigar comportamentos específicos de modelos de linguagem de pequeno porte
- Ele combina técnicas de interpretação automática com Sparse Autoencoder, permitindo exploração rápida antes de escrever código e possibilitando intervir em fatores que influenciam determinados comportamentos para verificá-los
- Pode responder a perguntas como "Por que o modelo gera o token B em vez do token A para este prompt?" ou "Por que o attention head H presta atenção ao token T para este prompt?"
O que está incluído no lançamento
- Neuron viewer: aplicativo React que hospeda o TDB e inclui páginas com informações sobre componentes individuais do modelo (neurônios MLP, attention heads, variáveis latentes do autoencoder)
- Activation server: servidor de backend que executa inferência sobre os modelos em questão para fornecer dados ao TDB, lendo e servindo dados de um bucket público do Azure
- Models: biblioteca simples de inferência para o modelo GPT-2 e seu autoencoder, incluindo hooks para capturar ativações
- Collated activation datasets: exemplos de conjuntos de dados com maiores ativações para neurônios MLP, attention heads e variáveis latentes do autoencoder
Como instalar
- São necessários python/pip e node/npm, e recomenda-se o uso de um ambiente virtual
- Após configurar o ambiente, clone o transformer-debugger do GitHub e instale os pacotes necessários
- Para executar o app do TDB, siga as instruções para configurar o backend do activation server e o frontend do neuron viewer
Verificando alterações
- Para validar alterações, execute
pytest, mypy, o activation server e o neuron viewer para confirmar que as funções básicas estão funcionando
Opinião do GN⁺
- O Transformer Debugger é uma ferramenta útil para pesquisadores e desenvolvedores que querem entender como modelos de linguagem de IA funcionam. Com ele, é possível compreender melhor o processo de decisão do modelo e identificar possíveis erros ou vieses.
- O TDB ajuda a interpretar o comportamento do modelo, o que pode contribuir para aumentar a transparência e a confiabilidade da IA. No entanto, a complexidade e a especialização dessas ferramentas podem dificultar o acesso para iniciantes.
- Outras ferramentas com funcionalidades semelhantes incluem o TensorFlow Model Analysis, do Google, e o Captum, do Facebook, que também são úteis para interpretação de modelos.
- Antes de usar o TDB, é necessário ter compreensão suficiente sobre como utilizar a ferramenta e sobre os princípios básicos dos modelos de linguagem. O benefício de usar a ferramenta é obter insights profundos sobre o comportamento do modelo, mas interpretações equivocadas podem causar mal-entendidos.
1 comentários
Comentários no Hacker News
Há quem ache que o processo do Elon Musk pode acabar levando a OpenAI a divulgar mais coisas. A avaliação é que, embora a alegação dele seja basicamente absurda, ela levanta perguntas legítimas sobre a falta de atuação relacionada ao status sem fins lucrativos da OpenAI.
Há quem considere interessante ver as ferramentas ruff e black sendo usadas no mesmo projeto. Essas ferramentas foram aplicadas ao projeto transformer-debugger da OpenAI.
Há quem argumente que entender como os transformers funcionam é um dos problemas de pesquisa mais importantes da história, assumindo que seja possível alcançar AGI simplesmente escalando os atuais LLMs em texto, vídeo, áudio etc.
Foi levantada a curiosidade sobre o que aconteceria se um LLM pudesse acessar e consultar seu próprio depurador. Por exemplo: "Por que dei essa resposta?" ou "O que aconteceria se eu alterasse um pouco minhas suposições?"
Há quem ache bastante impressionante fazer uma espécie de "neurocirurgia" em um LLM.
Há uma pergunta sobre quantos transformers existem dentro de um LLM, ou se o sistema inteiro é considerado um transformer.
Há quem diga que a OpenAI libera open source por obrigação uma vez por ano. Foi mencionado que, da última vez, ela publicou uma ferramenta chamada whisper.
Há uma opinião crítica de que isso parece uma tentativa muito tímida da OpenAI de dar a impressão de que está oferecendo ferramentas open source para tornar a AGI segura.
[comentário excluído]
[comentário denunciado]