Adicionei um recurso que o ChatGPT achava, por engano, que existia

• O ChatGPT orientou sobre um recurso que não existia, e por isso muitos usuários realmente enviaram ASCII Tab para o Soundslice
• O serviço original do Soundslice só suportava escaneamento de partituras baseado em imagem, mas por causa das orientações do ChatGPT os pedidos por suporte a ASCII Tab dispararam
• Para reduzir mal-entendidos sobre o produto, a empresa acabou adicionando de fato um recurso de importação de ASCII Tab
• Este pode ser considerado o primeiro caso em que a IA disseminou informação incorreta e acabou influenciando até a direção real do produto
• A adição do recurso em si ajuda os usuários, mas houve sentimentos ambíguos diante da realidade de o desenvolvimento do produto ser puxado por "informação incorreta"

---

Contexto e problema

• O Sheet Music scanner do Soundslice digitaliza partituras a partir de fotos para que os usuários possam ouvir, editar e praticar
• Para melhorar o sistema, a empresa monitora os logs de erro, e recentemente aumentou muito o número de uploads de capturas de tela com tablaturas ASCII de conversas do ChatGPT em vez de fotos de partituras tradicionais
  • Tablatura ASCII é uma forma simplificada de notação musical para guitarra e outros instrumentos de corda
• Originalmente, o formato ASCII Tab não era um recurso suportado pelo serviço atual do Soundslice

Identificando a causa

• Ao investigar por que tantas capturas de tela de tablaturas ASCII de origens diversas estavam sendo enviadas, a equipe fez um teste direto perguntando ao ChatGPT
• Foi confirmado diretamente que o ChatGPT orientava incorretamente os usuários a importar tablaturas ASCII no site do Soundslice para ouvir o áudio

Ausência do recurso e mal-entendido

• O Soundslice na prática não oferecia um recurso para importar tablaturas ASCII diretamente
• Mesmo sem esse recurso existir de fato, muitos usuários confiaram apenas nas orientações do ChatGPT e tentaram se cadastrar e fazer upload
• Por causa das respostas incorretas do ChatGPT, as expectativas dos usuários sobre o serviço da empresa foram formadas de maneira errada
• Com isso, continuaram surgindo reclamações e dúvidas sobre um recurso que na realidade não existia

Decisão e resposta

• Diante dessa situação, a empresa refletiu sobre como deveria responder
• Havia a opção de colocar um aviso no serviço dizendo que "a resposta do ChatGPT estava errada", mas como entendeu que a demanda real dos usuários era grande, decidiu desenvolver um recurso de importação de ASCII Tab
• Era um recurso que estava na parte baixa da lista de desenvolvimento prevista para 2025, mas foi introduzido rapidamente para atender à demanda
• Os textos da UI do produto também foram alterados para divulgar ativamente esse novo recurso

Impacto na direção do produto/serviço

• O autor avalia que este é o primeiro caso em que o ChatGPT, ao fornecer repetidamente informações incorretas, levou à inclusão no roadmap de um recurso que antes não existia
• É positivo poder oferecer uma ferramenta útil aos usuários, mas houve sentimentos complexos por ver a direção de desenvolvimento do produto ser abalada por informação incorreta

Impressões e dilemas

• Fica clara a sensação de que chegou a era em que informações falsas espalhadas por IA influenciam decisões reais de empresas e produtos
• Permanece a dúvida sobre até que ponto uma empresa deve responder não à demanda dos usuários, mas às expectativas equivocadas geradas por IA

[kandk]

Inveja de um serviço escolhido pela IA mesmo, haha

[jjw951215]

Parece que o ChatGPT era do departamento de marketing.

[GN⁺]

Comentários do Hacker News

• Ao usar o GPT-4 para programação, percebi que uma das formas mais úteis é, em vez de <i>explicar</i> como usar a API, apenas mostrar código de exemplo e pedir funcionalidades extras, deixando a IA adivinhar. Muitas vezes surge uma abordagem melhor que eu não tinha considerado. Nesses casos, eu realmente ajusto a API para fazer o código da IA funcionar. Por outro lado, quando mostro código existente e pergunto o que ele faz, se a IA erra, tomo isso como sinal de que minha API foi projetada de forma confusa. Assim dá para aproveitar a principal força das redes neurais não como precisão, mas como sua capacidade de “alucinação” plausível, ou seja, criatividade. Gosto disso porque não preciso gastar tempo caçando pessoalmente os bugs sutilmente escondidos pelo GPT-4. Só interfaces não intuitivas podem ser melhoradas. Se algo é essencialmente ineficiente, pouco confiável ou pouco composicional, a IA não consegue ajudar. Mas já é muito valioso só o fato de a API ficar mais fácil de adivinhar e entender. Há um limite, porém: isso não funciona tão bem com APIs que já são populares
  • Às vezes a IA sugere uma abordagem melhor do que eu imaginava. Revisei o manuscrito do meu livro mais de 30 vezes e ele ainda passou por revisão profissional, mas na etapa final o Grammarly ainda fez sugestões úteis em cerca de 1/3 dos casos. Se eu tivesse aceitado tudo, o texto teria ficado pior. O Grammarly é bom em encontrar palavras desnecessárias e voz passiva. Mas não entende humor, contexto ou repetição intencional. O problema é que executivos querem tirar completamente os humanos do processo, e isso quase sempre termina em desastre
  • Uma anedota leve: quase toda biblioteca Python de processamento de imagem costuma ter uma função imread(), mas eu não sabia disso e, ao criar uma biblioteca interna, usei um nome peculiar como image_get(). Quando peço ao ChatGPT para escrever um script simples usando a biblioteca interna, se eu não der muito contexto, ele quase sempre supõe mylib.imread() e monta o código assim
  • Isso lembra o antigo método de design em HCI (interação humano-computador) chamado Wizard of Oz. É um experimento em que uma pessoa finge ser o aplicativo real, e é eficaz para descobrir novas funcionalidades explicação na wiki
  • Usei esse método com sucesso hoje de manhã. Pedi para a IA gerar testes unitários, e o resultado ficou péssimo. Mas, nesse processo de fracasso, acabei descobrindo que havia um bug escondido no código que eu queria testar
  • HDD, a piada sobre desenvolvimento guiado por alucinação (Hallucination-Driven Development)
• Em algo que escrevi recentemente, disse que “alucinações às vezes podem funcionar como desenvolvimento orientado a testes (TDD). Se um grande modelo de linguagem alucina um método que não existe, isso pode acontecer porque esse método faz sentido logicamente e deveria existir, então às vezes vale a pena implementá-lo” ver original. Isso também vale para funcionalidades de produto
  • Muitos de nós parecem já ter vivido isso na prática. Talvez chamadas de API alucinadas por vibe coders fossem, na verdade, sugestões do que deveria existir primeiro. Desenvolvimento baseado em alucinação agora é tendência tweet relacionado
• Parece que muita gente tirou a lição errada desse caso. O ponto central não é que havia demanda, mas que uma funcionalidade inexistente foi adicionada porque a tecnologia a alucinou. O principal é que a IA generativa fez as pessoas acreditarem que um recurso que não existia de fato existia. Acho que a equipe do ChatGPT deveria se preocupar em impedir que isso se repita, porque problemas mais sérios podem surgir no futuro
• O mercado de ferramentas para partituras musicais é fragmentado de várias formas. Principalmente entre notação tradicional e tablatura (para violão, guitarra e afins). Usuários, forma de notação e até o tipo de informação usada são completamente diferentes. Houve tentativas de padronização, como o MusicXML, mas ainda existem barreiras altas entre esses grupos. O que o ChatGPT fez foi presumir que usuários de tablatura também usariam o Soundslice, e provavelmente hoje isso não é verdade. Mas isso pode mudar no futuro se o Soundslice oferecer funcionalidades extras que tragam valor específico para usuários de tablatura
  • Não sei se entendi exatamente seu ponto, mas o Soundslice já oferece suporte completo a tablatura há 10 anos, especialmente com editor e importadores de vários formatos. O que foi adicionado agora foi suporte a <i>ASCII tab</i>
• Recentemente tentei escrever código com LLMs. Eles servem para montar boilerplate. Também são fortes em reconhecer padrões. Mas muitas vezes fazem você ficar mexendo no código para lá e para cá repetidamente. Já fizeram até um app iOS inteiro para mim; a UI foi adaptada do jeito que eu queria e eles também preencheram dados de exemplo variados. Mas a organização da estrutura do código foi um desastre completo. Quando eu precisava gerenciar a duração de execução de arquivos de áudio em forma de lista, tentaram mapear ID de arquivo e duração com um dicionário (para desenvolvedores iniciantes: normalmente esse tipo de informação deveria ficar anexado a um objeto AudioFile). LLMs tendem a continuar se baseando em versões antigas do código. Também insistem repetidamente em alterações que não têm relação com a tarefa atual. Estou sentindo cada vez mais que gasto tempo demais “educando” o LLM. Ainda assim, acho que dá para ser bastante produtivo, desde que você não dependa dele além dos seus limites. Pelo menos eu gostaria que ele entendesse o que foi alterado e parasse de continuar recomendando coisas com base em um rascunho de código de 5 dias atrás. (Num trabalho de exemplo em que um arquivo longo de texto simples estava sendo convertido em valores de enum, assim que alterei manualmente as duas primeiras linhas ele pegou o padrão e passou a sugerir corretamente dezenas de linhas)
  • Trabalhar com LLMs realmente parece ter vários estagiários muito produtivos, mas com limitações parecidas
• Isso se chama product-channel fit. O ponto importante é que a demanda em um novo canal de aquisição foi capturada imediatamente
  • O que o ChatGPT de fato fez foi uma versão automatizada do que equipes de vendas de empresas onde trabalhei sempre fizeram: dizer com confiança ao cliente que o que ele queria “já existe” ou “sai no próximo trimestre”, e depois pedir correndo aos engenheiros para construir
  • Isso se relaciona com solutions engineering? Ou seja, a área focada em apoiar soluções customizadas para grandes clientes, com personalização individual, adaptadores, processamento de dados etc.?
  • É uma forma original de encontrar uma necessidade ou oportunidade de mercado totalmente nova. Isso se conecta à força dos LLMs de olhar grandes volumes de dados e “alucinar” padrões que humanos talvez ainda não tenham percebido. Como neste caso, a prova de que o padrão realmente existe aparece quando as pessoas acreditam na informação errada do ChatGPT e agem com base nela. Ou seja: alucinação → ação → validação de demanda real → fornecedor adiciona a funcionalidade. Se o custo de implementação não for muito alto, é uma resposta razoável do ponto de vista da empresa
• O que me veio imediatamente à cabeça nesse caso foi “AI SEO”. Acho que muita gente deve estar estudando como fazer chatbots de IA, como o ChatGPT e outros LLMs, enviarem tráfego para seus sites. Imagino que bilhões de dólares vão entrar nesse mercado. Não entendo do assunto, mas muita gente já deve estar tentando, e fico me perguntando se no futuro vai surgir um serviço em que você paga à OpenAI para o ChatGPT recomendar mais o seu produto
  • Para vencer nesse jogo, você precisa fazer com que seu site seja mencionado bastante de forma natural nos dados de treino dos LLMs. AI SEO não é tão diferente de SEO tradicional
• É um caso interessante de IA realmente causando mudanças no mundo real. Há quem tema histórias de AGI e exércitos de robôs dominando o mundo, mas acho que, na prática, as forças de mercado serão um meio mais direto de a IA mover o mundo
• Se você já trabalhou em uma startup B2B e viu o backlog mudar de direção de repente para uma funcionalidade que “existia” só nas anotações da equipe comercial, essa mudança impulsionada por alucinação de IA não parece nada surpreendente
  • Piada perguntando se não quiseram dizer rogue em vez de rouge. Também mencionam com link a diferença entre o “rouge” de cosméticos e o “rogue” de algo fora das regras
  • No mundo B2B, é prática padrão a equipe de vendas sair por aí apenas com um PowerPoint e, se a reação for boa, improvisar depois a funcionalidade ou até o produto inteiro nos bastidores. Não é exclusividade de startup. Grandes empresas também fazem isso com frequência
  • B2B (Business-to-Business) significa negócios voltados para empresas
• Nossa empresa também passa por algo parecido. Não com o ChatGPT, mas com um chatbot de IA interno fazendo RAG com base em documentação, que vive alucinando opções (flags) que não existem. Então começamos a avaliar isso como feedback de produto. Não era necessariamente exatamente aquela opção que faltava, mas parecia que havia alguma funcionalidade intuitiva ausente e o LLM acabou imaginando algo plausível

[kallare]

Desenvolvimento guiado por alucinação... talvez seja assim que dá para chamar;;

[opminsu]

kkkkkkkk

[ryj0902]

Recomendação... é recomendação!

[unsure4000]

HDD kkkkkkkkkkkkkkkkkkkk

[ilillliiliil]

É isso mesmo kkk

[bungker]

kkkkkkkk

[dongjinahn]

kkkkkk "que exista a funcionalidade"