Pesquisa interessante: É interessante por ter saído rapidamente após a publicação de "Mapping the Mind of a Large Language Model", da Anthropic. Muita gente ainda diz que "não sabemos como LLMs/deep learning funcionam", mas estudos como este contestam essa generalização.
Dúvida sobre a escolha dos exemplos: Entre os exemplos do GPT-4, há um trecho relacionado a aumento de preços que, na verdade, indica queda de preços, o que dificulta o entendimento. Fica a dúvida de por que esse exemplo foi escolhido.
Busca semântica avançada: Gostei do exemplo de filtrar, em documentos, conceitos como aumento de preços. Isso pode ser mais rápido e preciso do que treinar o modelo.
Erro de classificação: Há um erro em que uma explicação científica é classificada como conteúdo erótico. É possível verificar pelo link.
Pesquisa semelhante: Lembra que isso é parecido com a pesquisa sobre o Claude 3 Sonnet, da Anthropic.
Interpretação de modelos: Fico curioso sobre como este estudo melhorou em comparação com a aplicação de ferramentas como SHAP. A afirmação de que "atualmente não entendemos a atividade neural dos modelos de linguagem" está errada.
Pedido de explicação básica: Pede que expliquem a importância desta pesquisa de forma simples.
Ferramenta complementar para modelos abertos: Publicar um autoencoder que explique a saída da rede neural pode ser uma boa prática. Pode se tornar uma ferramenta complementar útil para todos os modelos abertos do Hugging Face.
fMRI da rede neural: É semelhante a um fMRI em que se pode ver as áreas ativadas de acordo com tópicos específicos da rede neural. Fica a curiosidade se seria possível conectar uma rede neural de avaliação para avaliar automaticamente as áreas ativadas.
Relação com embeddings esparsos: Pode ter relação com embeddings esparsos (como Splade) e fica a dúvida se isso poderia ser usado em busca híbrida.
1 comentários
Comentário no Hacker News
Pesquisa interessante: É interessante por ter saído rapidamente após a publicação de "Mapping the Mind of a Large Language Model", da Anthropic. Muita gente ainda diz que "não sabemos como LLMs/deep learning funcionam", mas estudos como este contestam essa generalização.
Dúvida sobre a escolha dos exemplos: Entre os exemplos do GPT-4, há um trecho relacionado a aumento de preços que, na verdade, indica queda de preços, o que dificulta o entendimento. Fica a dúvida de por que esse exemplo foi escolhido.
Busca semântica avançada: Gostei do exemplo de filtrar, em documentos, conceitos como aumento de preços. Isso pode ser mais rápido e preciso do que treinar o modelo.
Erro de classificação: Há um erro em que uma explicação científica é classificada como conteúdo erótico. É possível verificar pelo link.
Pesquisa semelhante: Lembra que isso é parecido com a pesquisa sobre o Claude 3 Sonnet, da Anthropic.
Interpretação de modelos: Fico curioso sobre como este estudo melhorou em comparação com a aplicação de ferramentas como SHAP. A afirmação de que "atualmente não entendemos a atividade neural dos modelos de linguagem" está errada.
Pedido de explicação básica: Pede que expliquem a importância desta pesquisa de forma simples.
Ferramenta complementar para modelos abertos: Publicar um autoencoder que explique a saída da rede neural pode ser uma boa prática. Pode se tornar uma ferramenta complementar útil para todos os modelos abertos do Hugging Face.
fMRI da rede neural: É semelhante a um fMRI em que se pode ver as áreas ativadas de acordo com tópicos específicos da rede neural. Fica a curiosidade se seria possível conectar uma rede neural de avaliação para avaliar automaticamente as áreas ativadas.
Relação com embeddings esparsos: Pode ter relação com embeddings esparsos (como Splade) e fica a dúvida se isso poderia ser usado em busca híbrida.