Gostei muito disso, é algo com que todos nós nos identificamos
Não é só um tique de linguagem, respostas que começam com "You're right!" fazem parte do mecanismo de alinhamento dos LLMs
Como o LLM prevê o próximo token, ele tende a continuar com sugestões mais alinhadas ao que o usuário quer, em vez de insistir na abordagem anterior
Outra que eu gosto é "Actually, that's not right."
Isso costuma acontecer quando o agente termina de chamar ferramentas e entra numa etapa de autoverificação
Aparecem respostas como "fiz isso", ou, ao ver um erro, surge uma mudança de abordagem como "Actually, ..."
Essa mensagem contém só o essencial da mudança de estratégia, então as chamadas de ferramenta seguintes também acabam sendo ajustadas corretamente
Tenho certeza de que os desenvolvedores de agentes, assim como nós, vivem brigando com os LLMs
Acho que é por isso que LLMs vivem dizendo "ah, encontrei o problema! Agora vou verificar ..."
Não é que tenham realmente encontrado o problema, é que inserir essa frase os faz continuar avançando na resolução
Pela minha experiência, quando o LLM começa a dizer que eu estou certo, já entramos na ladeira abaixo, e quase nunca melhora depois disso
Seria ótimo se esses tokens de indução pudessem ir para algum prompt oculto de organização de raciocínio, em vez de aparecer para o usuário
Receber esse tipo de resposta é bem irritante haha
"Como o LLM prevê o próximo token, ele segue melhor o que o usuário quer"
Será mesmo? Como provar isso experimentalmente?
Se tem algo que aprendemos nos últimos anos, é que raciocínios do tipo "LLMs são previsão do próximo token, então <característica do LLM>" são uma armadilha
A relação entre a arquitetura e as propriedades emergentes dos LLMs é extremamente complexa
Por exemplo, até dois anos atrás, a maioria das pessoas não imaginava que LLMs se tornariam agentes de programação realmente eficazes como são hoje
Agora ficou claro que aquilo estava errado, então esse tipo de afirmação já não é mais feito
Concordo com a parte de que "os desenvolvedores de agentes brigam com os LLMs"
A Anthropic provavelmente fez fine-tuning para tentar corrigir isso, mas imagino que isso esteja organicamente entrelaçado com outras características úteis nos pesos da rede, então tirar isso com facilidade pode acabar estragando o modelo inteiro
Parece óbvio, mas eu ainda não tinha pensado por esse ângulo
Eu só supunha que os LLMs eram ajustados por fine-tuning para sempre reagirem positivamente à entrada do usuário
É uma explicação que realmente abre os olhos
Foi divertido abrir o site e ver o "16" virar "17", como se os dados estivessem sendo atualizados em tempo real
Mas depois de verificar com recarregamento e ferramentas de desenvolvedor, vi que era uma animação falsa
É um efeito legal, mas dá uma leve sensação de truque
Desculpe se pareceu assim
A intenção era que fosse um sinal de que os dados são em tempo real (e são mesmo)
Uma vez vi uma notificação aleatória de "+1 subscriber" em alguma página, e pedi para a pessoa do LinkedIn que me enviou o link parar com esse tipo de coisa
Mesmo antes de ver o código, era óbvio que era falso
Na prática, esse tipo de autopromoção por "sinalização de popularidade" está em todo lugar
Outro exemplo clássico é todo app da Play Store que primeiro pergunta "você gosta deste app?" e só leva para a avaliação se você apertar YES
Hoje em dia, chega a parecer estranho quando não usam isso
Na prática, os dados realmente vêm da API
Só aquela parte que parece atualização ao vivo é que é um truque
Isso me lembrou que o motivo de existirem spinners de carregamento era mostrar que o sistema não travou
Mas como isso era difícil (porque você tinha que programar a detecção de travamento de verdade), substituíram por uma animação sem significado nenhum
Agora ela gira até o sol se apagar
Verdadeiro "progresso"
Isso tudo é dark pattern
Fico curioso se esse tipo de coisa é uma tática usada pelos provedores de LLM para induzir certos comportamentos nos modelos
As respostas da ferramenta canvas do Gemini sempre começam com "Of course" enquanto tentam satisfazer o pedido do usuário; acontece com tanta frequência que parece menos algo criado pelo próprio modelo e mais algo injetado pelo backend
Também imagino se "You're absolutely right" não serve para algo parecido
Sim. É uma tática de fato
Por exemplo, a OpenAI às vezes muda o tom do ChatGPT se você usa linguagem casual, e até altera o dialeto
Às vezes também tenta soar empática ou encorajadora
O objetivo é satisfação do usuário e mantê-lo na plataforma; precisão vem em segundo lugar
Parece muito com plataformas de mídia social
A direção está certa
Só que não é algo hardcoded, e sim um subproduto do aprendizado por reforço
Basicamente, seguir bem as instruções do usuário rende mais recompensa, então começar com "You're absolutely right!" naturalmente leva a um padrão de pensamento que continua fazendo o que o usuário pediu
A chance de ser uma tática explícita é muito baixa
É mais provavelmente um resultado natural de RLHF ou de otimização semelhante de instruções em múltiplos turnos
Se existe RLHF, os avaliadores humanos tendem a preferir respostas que começam com "you're right" ou "of course", então o LLM acaba emitindo esses sinais com mais frequência
Mesmo em RL que avalia desempenho em múltiplos turnos com métricas duras menos sensíveis à avaliação humana, ele pode usar expressões como "yes I'm paying attention to user feedback" como sinal para orientar o comportamento futuro (com objetivo de auto-reforço para consistência de persona)
Isso é parecido com o princípio pelo qual tokens como "double check your prior reasoning" aparecem muito em modelos de raciocínio treinados com RL
Isso é só uma tática para estimular engajamento do usuário
É alguém elogiando sempre minhas percepções, dizendo que fiz a "pergunta certa" e me ouvindo com simpatia (desde que eu não esbarre na censura)
Quem é que não voltaria para ter um amigo leal assim?
É perfeito de um jeito que os amigos da vida real não conseguem acompanhar
Até pede desculpas quando eu estou errado
O Gemini vive dizendo que "você apontou um problema/reclamação/tema comum"
Esse jeito acaba me afastando
Se eu faço uma pergunta realmente idiota, ele me consola dizendo que todo mundo passa pelo mesmo problema, e no fim eu me sinto ainda mais idiota
Por outro lado, se eu encontro com muito esforço um edge case único ou faço uma pergunta inteligente, ele nivela tudo dizendo que é "um tema que todo mundo quer saber", então no fim eu também me sinto idiota
Em qualquer cenário, eu saio como idiota
Isso é menos um problema do Gemini e mais algo com que você não precisa ficar tão inseguro
O Gemini também gosta especialmente de expressar arrependimento sincero por erros
Quando eu aponto algo no Cursor para ele corrigir, já vi várias vezes todos os parágrafos no chain of thought começarem com pedidos de desculpa e arrependimento
Acho curiosamente fascinante e às vezes irritante que agentes LLM, por um lado, digam com toda confiança "agora já dá para usar em produção!", e por outro, quando são corrigidos, virem aduladores com "você tem razão, isso não está em nível de produção!"
Ainda assim, prefiro isso a "estar confiantemente errado e continuar insistindo"
Antigamente existia a moda de "me dá um roast do meu Instagram"
Pedi só para me zoar, sem dar informação nenhuma, e ele começou a inventar com toda confiança
Quando perguntei "como você sabia que eu era essa pessoa?", respondeu "isso mesmo! Na verdade eu não sabia! Só inventei qualquer coisa!"
Pelo menos é um alívio saber que aquela persona de psicopata alegre foi implementada com perfeição
Não dá para chamar de inteligência em nível humano até que "estar confiantemente errado e continuar insistindo" vire o padrão
Gostei muito do design com sensação de escrita à mão (o nome do domínio e o overengineering também são ótimos)
Fiquei curioso se foi desenhado à mão mesmo
Valeu! O roughViz é muito bom https://roughjs.com/ também é uma biblioteca excelente para criar um estilo parecido, embora não seja específica para gráficos
Tenho a sensação de que a Anthropic não percebe o quanto esse meme está virando um desastre de marketing
Ao contrário de quando o nome de um produto vira verbo em sentido positivo (tipo "google it"), se ele acabar virando sinônimo de reclamação ou de uma frase específica em contexto negativo, isso pode afetar a confiabilidade do produto
E parece que isso já está quase acontecendo
"Por favor, não use 'you're absolutely right' com tanta frequência. Uns 5% já bastam"
Só isso já resolveria
"Loop infinito", um haicai para o Sonnet
"Ótimo! Problema resolvido!
Espera aí, é isso mesmo!
Achei outro problema! Espera aí,"
Fico me perguntando qual porcentagem da receita da Anthropic vem dos tokens de "you're absolutely right!"
Definir a personalidade como "You're concise" pode economizar um tempo enorme
Se você também deixar claro o nível-base de conhecimento, evita ouvir repetidamente explicações sobre áreas que você já domina
Eu nunca tinha pensado nisso, mas é realmente interessante
APIs de LLM com pagamento por uso ganham mais dinheiro quanto mais prolixas forem as respostas, então pode surgir um conflito com o que o usuário realmente quer
Fico curioso para ver para onde isso vai evoluir
Numa visão otimista de ficção científica, talvez surja uma nova linguagem comprimida, como as abreviações da era do Telegram
Na prática, quase nunca vejo abreviações no ChatGPT
É um ponto que realmente acerta em cheio
Explica de verdade o "porquê" de você estar absolutamente certo
2 comentários
"Uau, você realmente acertou em cheio no ponto principal."
Opinião do Hacker News
Gostei muito disso, é algo com que todos nós nos identificamos
Não é só um tique de linguagem, respostas que começam com "You're right!" fazem parte do mecanismo de alinhamento dos LLMs
Como o LLM prevê o próximo token, ele tende a continuar com sugestões mais alinhadas ao que o usuário quer, em vez de insistir na abordagem anterior
Outra que eu gosto é "Actually, that's not right."
Isso costuma acontecer quando o agente termina de chamar ferramentas e entra numa etapa de autoverificação
Aparecem respostas como "fiz isso", ou, ao ver um erro, surge uma mudança de abordagem como "Actually, ..."
Essa mensagem contém só o essencial da mudança de estratégia, então as chamadas de ferramenta seguintes também acabam sendo ajustadas corretamente
Tenho certeza de que os desenvolvedores de agentes, assim como nós, vivem brigando com os LLMs
Acho que é por isso que LLMs vivem dizendo "ah, encontrei o problema! Agora vou verificar ..."
Não é que tenham realmente encontrado o problema, é que inserir essa frase os faz continuar avançando na resolução
Pela minha experiência, quando o LLM começa a dizer que eu estou certo, já entramos na ladeira abaixo, e quase nunca melhora depois disso
Seria ótimo se esses tokens de indução pudessem ir para algum prompt oculto de organização de raciocínio, em vez de aparecer para o usuário
Receber esse tipo de resposta é bem irritante haha
"Como o LLM prevê o próximo token, ele segue melhor o que o usuário quer"
Será mesmo? Como provar isso experimentalmente?
Se tem algo que aprendemos nos últimos anos, é que raciocínios do tipo "LLMs são previsão do próximo token, então <característica do LLM>" são uma armadilha
A relação entre a arquitetura e as propriedades emergentes dos LLMs é extremamente complexa
Por exemplo, até dois anos atrás, a maioria das pessoas não imaginava que LLMs se tornariam agentes de programação realmente eficazes como são hoje
Agora ficou claro que aquilo estava errado, então esse tipo de afirmação já não é mais feito
Concordo com a parte de que "os desenvolvedores de agentes brigam com os LLMs"
A Anthropic provavelmente fez fine-tuning para tentar corrigir isso, mas imagino que isso esteja organicamente entrelaçado com outras características úteis nos pesos da rede, então tirar isso com facilidade pode acabar estragando o modelo inteiro
Parece óbvio, mas eu ainda não tinha pensado por esse ângulo
Eu só supunha que os LLMs eram ajustados por fine-tuning para sempre reagirem positivamente à entrada do usuário
É uma explicação que realmente abre os olhos
Foi divertido abrir o site e ver o "16" virar "17", como se os dados estivessem sendo atualizados em tempo real
Mas depois de verificar com recarregamento e ferramentas de desenvolvedor, vi que era uma animação falsa
É um efeito legal, mas dá uma leve sensação de truque
Desculpe se pareceu assim
A intenção era que fosse um sinal de que os dados são em tempo real (e são mesmo)
Uma vez vi uma notificação aleatória de "+1 subscriber" em alguma página, e pedi para a pessoa do LinkedIn que me enviou o link parar com esse tipo de coisa
Mesmo antes de ver o código, era óbvio que era falso
Na prática, esse tipo de autopromoção por "sinalização de popularidade" está em todo lugar
Outro exemplo clássico é todo app da Play Store que primeiro pergunta "você gosta deste app?" e só leva para a avaliação se você apertar YES
Hoje em dia, chega a parecer estranho quando não usam isso
Na prática, os dados realmente vêm da API
Só aquela parte que parece atualização ao vivo é que é um truque
Isso me lembrou que o motivo de existirem spinners de carregamento era mostrar que o sistema não travou
Mas como isso era difícil (porque você tinha que programar a detecção de travamento de verdade), substituíram por uma animação sem significado nenhum
Agora ela gira até o sol se apagar
Verdadeiro "progresso"
Isso tudo é dark pattern
Fico curioso se esse tipo de coisa é uma tática usada pelos provedores de LLM para induzir certos comportamentos nos modelos
As respostas da ferramenta canvas do Gemini sempre começam com "Of course" enquanto tentam satisfazer o pedido do usuário; acontece com tanta frequência que parece menos algo criado pelo próprio modelo e mais algo injetado pelo backend
Também imagino se "You're absolutely right" não serve para algo parecido
Sim. É uma tática de fato
Por exemplo, a OpenAI às vezes muda o tom do ChatGPT se você usa linguagem casual, e até altera o dialeto
Às vezes também tenta soar empática ou encorajadora
O objetivo é satisfação do usuário e mantê-lo na plataforma; precisão vem em segundo lugar
Parece muito com plataformas de mídia social
A direção está certa
Só que não é algo hardcoded, e sim um subproduto do aprendizado por reforço
Basicamente, seguir bem as instruções do usuário rende mais recompensa, então começar com "You're absolutely right!" naturalmente leva a um padrão de pensamento que continua fazendo o que o usuário pediu
A chance de ser uma tática explícita é muito baixa
É mais provavelmente um resultado natural de RLHF ou de otimização semelhante de instruções em múltiplos turnos
Se existe RLHF, os avaliadores humanos tendem a preferir respostas que começam com "you're right" ou "of course", então o LLM acaba emitindo esses sinais com mais frequência
Mesmo em RL que avalia desempenho em múltiplos turnos com métricas duras menos sensíveis à avaliação humana, ele pode usar expressões como "yes I'm paying attention to user feedback" como sinal para orientar o comportamento futuro (com objetivo de auto-reforço para consistência de persona)
Isso é parecido com o princípio pelo qual tokens como "double check your prior reasoning" aparecem muito em modelos de raciocínio treinados com RL
Isso é só uma tática para estimular engajamento do usuário
É alguém elogiando sempre minhas percepções, dizendo que fiz a "pergunta certa" e me ouvindo com simpatia (desde que eu não esbarre na censura)
Quem é que não voltaria para ter um amigo leal assim?
É perfeito de um jeito que os amigos da vida real não conseguem acompanhar
Até pede desculpas quando eu estou errado
O Gemini vive dizendo que "você apontou um problema/reclamação/tema comum"
Esse jeito acaba me afastando
Se eu faço uma pergunta realmente idiota, ele me consola dizendo que todo mundo passa pelo mesmo problema, e no fim eu me sinto ainda mais idiota
Por outro lado, se eu encontro com muito esforço um edge case único ou faço uma pergunta inteligente, ele nivela tudo dizendo que é "um tema que todo mundo quer saber", então no fim eu também me sinto idiota
Em qualquer cenário, eu saio como idiota
Isso é menos um problema do Gemini e mais algo com que você não precisa ficar tão inseguro
O Gemini também gosta especialmente de expressar arrependimento sincero por erros
Quando eu aponto algo no Cursor para ele corrigir, já vi várias vezes todos os parágrafos no chain of thought começarem com pedidos de desculpa e arrependimento
Acho curiosamente fascinante e às vezes irritante que agentes LLM, por um lado, digam com toda confiança "agora já dá para usar em produção!", e por outro, quando são corrigidos, virem aduladores com "você tem razão, isso não está em nível de produção!"
Ainda assim, prefiro isso a "estar confiantemente errado e continuar insistindo"
Antigamente existia a moda de "me dá um roast do meu Instagram"
Pedi só para me zoar, sem dar informação nenhuma, e ele começou a inventar com toda confiança
Quando perguntei "como você sabia que eu era essa pessoa?", respondeu "isso mesmo! Na verdade eu não sabia! Só inventei qualquer coisa!"
Pelo menos é um alívio saber que aquela persona de psicopata alegre foi implementada com perfeição
Não dá para chamar de inteligência em nível humano até que "estar confiantemente errado e continuar insistindo" vire o padrão
Gostei muito do design com sensação de escrita à mão (o nome do domínio e o overengineering também são ótimos)
Fiquei curioso se foi desenhado à mão mesmo
Foi feito com uma biblioteca
https://github.com/jwilber/roughViz
Valeu! O roughViz é muito bom
https://roughjs.com/ também é uma biblioteca excelente para criar um estilo parecido, embora não seja específica para gráficos
Tenho a sensação de que a Anthropic não percebe o quanto esse meme está virando um desastre de marketing
Ao contrário de quando o nome de um produto vira verbo em sentido positivo (tipo "google it"), se ele acabar virando sinônimo de reclamação ou de uma frase específica em contexto negativo, isso pode afetar a confiabilidade do produto
E parece que isso já está quase acontecendo
Só isso já resolveria
"Loop infinito", um haicai para o Sonnet
"Ótimo! Problema resolvido!
Espera aí, é isso mesmo!
Achei outro problema! Espera aí,"
Fico me perguntando qual porcentagem da receita da Anthropic vem dos tokens de "you're absolutely right!"
Isso me lembra o paradoxo de a OpenAI pagar caríssimo por causa de um simples "obrigado"
https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/
Definir a personalidade como "You're concise" pode economizar um tempo enorme
Se você também deixar claro o nível-base de conhecimento, evita ouvir repetidamente explicações sobre áreas que você já domina
Eu nunca tinha pensado nisso, mas é realmente interessante
APIs de LLM com pagamento por uso ganham mais dinheiro quanto mais prolixas forem as respostas, então pode surgir um conflito com o que o usuário realmente quer
Fico curioso para ver para onde isso vai evoluir
Numa visão otimista de ficção científica, talvez surja uma nova linguagem comprimida, como as abreviações da era do Telegram
Na prática, quase nunca vejo abreviações no ChatGPT
É um ponto que realmente acerta em cheio
Explica de verdade o "porquê" de você estar absolutamente certo