98% não é tanto assim

• O número 98% parece alto para resultados excepcionais, como ganhar na loteria ou tirar a nota máxima em uma prova, mas pode ser insuficiente em áreas que precisam funcionar por padrão, como websites
• Em situações que envolvem expectativas básicas, como um restaurante sem intoxicação alimentar, um empregador que paga salários em dia ou clientes que pagam a conta antes de ir embora, uma falha de 2% também causa danos recorrentes
• Se um website que usa um novo recurso de navegador funciona para apenas 98% da população, isso significa que cerca de 150 milhões de pessoas ficam excluídas
• “Suporte de 98% considerando a população total” pode diferir da distribuição real de visitantes; em um site de cliente, entre os navegadores visitantes do último ano, o suporte a nested CSS ficou em cerca de 70%
• Se um novo recurso não consegue degradar graciosamente, suporte de 98% não significa “amplamente suportado”, mas sim um estado em que alguns usuários não têm as condições mínimas básicas atendidas

---

Situações em que 98% não é suficiente

• O significado de 98% varia muito conforme o contexto
  • Ganhar na loteria com 98% de probabilidade ou ter 98% de chance de tirar a nota máxima em uma prova seria um resultado excelente
  • Se clientes de um restaurante evitassem intoxicação alimentar em apenas 98% das vezes, poderia haver pessoas ficando doentes todo mês ou toda semana
  • Se um empregador pagasse salários em apenas 98% das vezes, ou se clientes pagassem a conta antes de sair de um restaurante em apenas 98% das vezes, isso seria difícil de aceitar
• Em situações que envolvem expectativas básicas, uma taxa de falha de 2% também se torna um grande problema
  • Se um website funciona para apenas 98% das pessoas, ele não funciona para cerca de 150 milhões de pessoas
  • Se uma alteração em um website funciona para apenas 98% dos visitantes, é praticamente como expulsar 2% dos usuários existentes

Diferença entre taxa de suporte dos navegadores e visitantes reais

• A taxa de suporte considerando a população geral pode ser diferente da taxa de suporte entre os visitantes reais de um site
  • Mesmo que um recurso funcione para 98% da população total, ele pode funcionar para apenas 70% dos usuários reais de um site específico
• O caso de nested CSS mostra essa diferença
  • nested CSS é padrão desde 2023, mas, em um site específico, a conclusão de que “pode ser usado com segurança” pode não se aplicar exatamente
  • Ao verificar a distribuição de navegadores de um website de cliente ao longo do último ano, os navegadores visitantes que suportavam o novo recurso de CSS eram cerca de 70%
  • Mesmo um recurso que, em geral, parece “amplamente suportado” poderia excluir 30% dos visitantes daquele site
• Engenharia robusta está mais próxima de lidar graciosamente com casos excepcionais do que de funcionar apenas para a maioria
  • Se um novo recurso não consegue degradar graciosamente, o suporte de 98% deixa 2% dos usuários em um estado em que as condições mínimas básicas não são atendidas

[GN⁺]

Comentários do Hacker News

• 98% muitas vezes é suficiente
  Se um plano de negócios só se sustenta se precisar capturar mais do que 98% do mercado, então já é um plano fracassado, e é bem provável que isso nunca aconteça
  Como sempre, é uma questão de “depende do contexto”. Se a base de usuários em geral não for familiarizada com tecnologia, talvez seja preciso dar suporte a navegadores com mais de 10 anos que nem recebem mais atualizações; caso contrário, pode bastar se preocupar apenas com pessoas que usam computadores nos quais dá para atualizar o navegador pelo menos uma vez por ano
  No fim, o trade-off é entre complexidade do código e tempo de desenvolvimento versus um mercado maior, e cada empresa precisa decidir isso por conta própria

  • Como ex-chef, tendo trabalhado em 2 restaurantes Michelin de 2 estrelas, posso dizer que 5% já é mais do que suficiente
    Existe a frase “se funciona para 98%, então não funciona para cerca de 150 milhões de pessoas”, mas se você só consegue cozinhar para 70 pessoas por noite, de qualquer forma não conseguiria atender 150 milhões de pessoas sem acesso a um navegador moderno. E quem pode usar um navegador moderno mas não usa provavelmente também não gostaria tanto assim da minha comida
    Para um restaurante sobreviver, não é preciso satisfazer 8 bilhões de pessoas; basta satisfazer cerca de 1.000 que continuam voltando por aniversários, datas especiais e pelo prazer de uma comida criativa
    Quando trabalhei como chef em iate, eu só precisava satisfazer 10 pessoas, e usei um método em que tripulação e convidados comiam a mesma comida. Como eu fazia as compras pessoalmente em vez de depender da empresa de abastecimento, quando os hóspedes ficavam a bordo por um mês, o gasto mensal com alimentação caía de cerca de 30 mil dólares para 10 mil dólares. Por volta de 2005, os ingredientes em St. Barts eram caros porque chegavam de avião diariamente da França, mas, graças a isso, eu podia servir pratos como chateaubriand e osso buco também para a tripulação
    Então, a comida equilibrada, rica em fibras e saudável que eu queria comer todos os dias virou a comida que todo mundo comia todos os dias
    Algumas pessoas perguntam se os convidados ou proprietários não diziam o que queriam comer todos os dias, mas o marido era CEO de uma empresa da Fortune 500 e, mesmo depois de se aposentar, continuava presidente do conselho. Era alguém que tomava decisões de bilhões de dólares todos os dias, e a esposa também era muito ocupada. Responder qual menu queriam para cada jantar era uma das coisas que eles menos queriam fazer, então delegaram essa decisão a mim. Eu sempre fazia o que eu queria comer, e sempre acertava
    É impossível satisfazer todo mundo. É melhor nem tentar. Isso acaba te destruindo
  • Ao ler o texto, pensei: “lá vem de novo aquele conselho paternalista que finge que existem recursos, tempo e dinheiro infinitos”
    Quem já fez desenvolvimento web ou mobile sabe que existe uma quantidade enorme de combinações de navegadores e plataformas, e dar suporte até para a cauda longa de configurações às vezes é quase impossível e quase nunca vale o custo. Quando eu mantinha alguns webapps no passado, também tive uma quantidade considerável de erros por causa de plugins de navegador quebrados ou às vezes maliciosos. Não dá para verificar se toda combinação arbitrária de plugins de navegador funciona com o meu site
    No fim, realmente depende muito do contexto, então não gosto dessa forma de dar diretrizes gerais como no texto. Se, de repente, 2% dos usuários do Gmail não conseguissem fazer login, seria um grande incidente afetando dezenas de milhões de pessoas. Mas, como diz o velho ditado, “você não é o Google”; em muitos pequenos sites de e-commerce, não faz sentido se esforçar para corrigir o caso de uma única pessoa usando um navegador com mais de 10 anos. Como outros comentários disseram, esse tipo de usuário provavelmente já tem a menor chance de conversão de compra de qualquer forma
  • Esse cálculo ignora os efeitos de rede. Menos de 10% da população dos EUA é vegetariana, mas se um restaurante não tiver nenhuma opção vegetariana, ele não perde só esses 10%; perde o grupo inteiro se houver sequer um vegetariano nele
    Da mesma forma, se um site tiver qualquer efeito de rede social, por menor que seja, ignorar parte da população vai causar uma queda de uso muito maior do que a proporção diretamente afetada
    Mesmo que a funcionalidade do site em si não tenha elemento social, todo negócio é afetado por um efeito de rede chamado boca a boca. As pessoas compartilham experiências negativas muito mais do que positivas, então se 1 em cada 50 pessoas achar que o site quebrou, uma parte significativa do feedback online vai ficar negativa, prejudicando a reputação não só entre esses 2%, mas no mercado inteiro
    Nos negócios, é preciso se esforçar muito até para conquistar uma pequena parte do mercado total acessível. Tudo bem reduzir deliberadamente esse mercado como decisão estratégica para focar em um nicho específico, mas excluir pessoas sem motivo não faz sentido. É aceitável que uma churrascaria texana não tenha opções vegetarianas, porque ninguém vai esperando isso, mas, num restaurante genérico, não ter nem algumas opções vegetarianas é burrice. É ainda mais burrice excluir pessoas porque desenvolvedores web têm preguiça de usar abordagens que funcionam bem há 20 anos e preferem usar tecnologias novas e brilhantes
  • Infelizmente, alguns negócios são serviços essenciais, então as pessoas não têm a opção de simplesmente não usar, ou o custo de não usar é muito alto
    Exemplos seriam Uber, sites relacionados a visto e imigração e sites de reserva de companhias aéreas de baixo custo
  • Pode ser um 2% diferente a cada vez. No fim, se você passa por 2% cinquenta vezes, acaba atingindo 100% dos usuários pelo menos uma vez, e todo usuário pode sentir que aquele software só funciona 98% do tempo. Aí surge a reputação de fornecedor não confiável
    Claro que normalmente não é tão extremo assim, mas é algo a considerar. Reputação negativa se espalha mais rápido do que reputação positiva
    E, se algo já era suportado, basta não quebrar. Em geral, isso é mais fácil do que fazer funcionar desde o começo

• Neste ano, depois do Natal, eu estava tirando a árvore de Natal da sala e, no processo de mover a árvore, as folhas caíram por toda parte. Eu varri, mas da primeira vez deixei passar alguns pontos e, mesmo na segunda varrida, ainda sobraram algumas
  Naquele momento, me caiu a ficha de que remover mais de 99% das folhas simplesmente não é suficiente. Parece que muita tarefa de limpeza é assim. Mesmo uma sujeirinha muito pequena salta aos olhos. Na verdade, quanto mais perto de 100% você chega, mais a sujeira que sobra parece se destacar

  • É exatamente essa a sensação toda vez que arranco ervas daninhas no quintal. Faço uma pilha de mato e, quando olho para a área em que trabalhei, ainda parece haver erva daninha por toda parte
  • É parecido com o sabão antibacteriano que promete eliminar 99,9% das bactérias. Nem está claro se isso é em número de bactérias ou em número de tipos, mas, de qualquer forma, o que sobra provavelmente ainda são milhões delas, e de muitos tipos

• Concordo com a ideia geral, mas o problema aqui não é que desenvolvedores não entendam de estatística, e sim o simples fato de que quase tudo isso gira em torno de lucro
  Na semana passada tentei comprar ingressos para um evento, e o único canal oficial era o Ticketmaster. A verificação da conta era obrigatória por número de telefone, mas a empresa de mensagens que eles usam não conseguia entregar o código para o meu número. Tentei também com alguns números aqui de casa, mas todos falharam
  Pesquisando, vi que muita gente tinha o mesmo problema, então era claramente algo conhecido, mas na prática não havia nada que eu pudesse fazer. Para eles, é só uma conta simples. Outro provedor de SMS que cobrisse meu pequeno país da UE pode ser mais caro. Talvez queiram evitar golpistas que no passado abusaram da minha operadora móvel. Seja como for, o custo de corrigir isso provavelmente é maior do que a perda na venda de ingressos
  A menos que um órgão do governo os obrigue, eles não ligam muito para o fato de eu conseguir ou não ver esse evento

  • Infraestrutura não deveria funcionar de forma puramente orientada a lucro. A forma mais fácil de aumentar o lucro de uma operadora ferroviária é cortar linhas que ligam regiões pequenas e rurais. Elas são muito menos viáveis economicamente do que atender grandes cidades. Cobertura de celular e internet banda larga são a mesma coisa. A escolha mais lucrativa é simplesmente não cobrir alguns por cento da população
    Existe um ponto em que a tecnologia vira base para a participação na sociedade. A partir daí, ela deve ser regulada para ser oferecida a todos
  • Toda vez que esse assunto aparece no HN, sempre surgem as mesmas desculpas. É difícil fazer software que funcione em todo lugar, testar em mais de um navegador leva tempo demais, é caro demais contratar alguém para portar para a plataforma X, estamos correndo para bootstrapar e não temos tempo para dar suporte ao grupo Y, todo mundo devia só atualizar para a versão mais recente então por que testar em sistemas antigos, e assim por diante
    Essa atitude vem do privilégio de nunca ter sido parte desses 2% de usuários. E é fácil pensar assim até o dia em que nós mesmos viramos esses 2% e passamos a não conseguir usar o sistema
    Quando eu fazia apps para iOS, eu vivia irritado porque a liderança técnica e o gerenciamento de produto insistiam em dar suporte só à versão principal atual do sistema e à imediatamente anterior. Os engenheiros gastavam tempo removendo o suporte ao iOS X-2 em vez de corrigir bugs, melhorar desempenho ou desenvolver recursos. Era um código que não atrapalhava refatoração, não tinha muitos bugs e não prejudicava a arquitetura. Aos meus olhos, parecia pura implicância com o usuário, e eu não entendia isso na época nem entendo agora
    Agora estou usando um celular de 8 anos e, como era de se esperar, cerca de metade dos apps da App Store já não funciona mais por causa dessa postura. Então agora com certeza eu entrei nesses 2%
  • Quando se fala em “motivação por lucro”, o princípio por trás disso na verdade está mais perto do utilitarismo. A ideia é gerar o maior benefício para o maior número de pessoas, e lucro é só um indicador imperfeito disso

• O ponto mais amplo é que porcentagens podem induzir ao erro. É por isso que elas são usadas com tanta frequência: fazem as coisas parecerem melhores
  Em geral, uma forma mais precisa é usar uma notação de razão de chances, como “1 em 50”, em vez de 98%. Porcentagens têm uma espécie de singularidade nas extremidades, e pequenas mudanças numéricas podem representar diferenças enormes no mundo real. Uma taxa de sucesso indo de 98% para 99% parece pouca coisa, mas a falha cai de 1 em 50 para 1 em 100. Ou seja, o efeito dobrou

  • Acho que esse é justamente o ponto central do texto
  • O contexto muda conforme o resultado desejado esteja em qual extremidade da probabilidade
    SPF é um bom exemplo disso. SPF 30 deixa passar 1/30 dos raios UV, ou seja, 3%, e bloqueia 29/30, ou 97%. SPF 50 deixa passar 1/50, ou 2%, e bloqueia 49/50, ou 98%. Nesse caso, expressar pelo denominador mostra o ganho de forma muito mais intuitiva
    Comparar SPF 30 com 50 deixa o aumento de eficácia muito mais claro do que comparar 97% com 98%
    Também daria para expressar pela quantidade que passa, mas o nome é Sun Protection Factor, não Sun Transparency Factor
  • Em muitos casos, odds são melhores do que probabilidade. Especialmente quando pequenas diferenças nas extremidades da probabilidade correspondem a grandes diferenças no mundo real
    Mas às vezes pequenas diferenças nas extremidades também são pequenas na prática. Isso vale especialmente para valor esperado. Por exemplo, compare receber US$ 100 com probabilidade de 98% e receber US$ 100 com probabilidade de 99,9%
    O valor esperado do segundo caso é só um pouco maior que o do primeiro. A diferença é de US$ 1,90: US$ 99,90 menos US$ 98,00. Já a diferença nas odds é enorme. (0.999/0.001)/(0.98/0.02)≈20,39. Ou seja, 99,9% corresponde a odds de 999 para 1, enquanto 98% corresponde a 49 para 1, então o primeiro é mais de 20 vezes maior, mas o retorno esperado é quase o mesmo
  • Você aumentou a efetividade de 98 para 99, e isso não é uma grande mudança. O que você realmente fez foi reduzir a inefetividade pela metade, e isso sim é uma grande mudança

• Texto relacionado: Science is a strong-link problem
  https://news.ycombinator.com/item?id=35712694
  Coisas como loteria são um problema de elo forte. O valor do sistema é igual ao valor do elo mais forte. Segurança alimentar é um problema de elo fraco. A segurança de uma refeição é determinada pela garfada menos segura
  O autor parece defender um critério de elo fraco para CSS. O que importa mais é o que a maioria vê, e um ou dois grandes acertos não compensam as falhas

• Isso me lembra a música “Two Out of Three Ain’t Bad”, do Meat Loaf. No Japão, ela foi lançada com um título como 66%の誘惑, “66% is Good Enough” https://www.discogs.com/release/8303076

  • Acho que 誘惑 fica mais perto de “fascínio”, “tentação” ou “sedução”, não?

• Acho que existem dois grandes tipos de problema. Problemas em que dá para ganhar crédito parcial e problemas em que não dá
  O exemplo do restaurante é do tipo em que não há crédito parcial. Dizer que 98% da comida é segura não basta; ou é tudo seguro, ou não serve de nada. Salário de funcionário é parecido: ou vem inteiro ou é um problemão. Perder um pagamento uma única vez já é um problema enorme
  Mas o CSS de um site pode receber algum crédito parcial. Mesmo não sendo perfeito, em teoria ainda pode entregar parte do valor
  Ao medir a porcentagem de “conclusão”, é muito importante saber com que tipo de problema você está lidando

• Isso me lembra a estatística de que, se alguns itens desejados deixarem de ser vendidos, a maioria dos clientes deixa de ir a um determinado supermercado.
  Pode parecer algo pequeno não oferecer uma marca de creme de chocolate, mas, se por causa disso algum cliente deixar de comprar também outros 12 itens de que precisa naquela loja, então o fato de os produtos descontinuados representarem apenas 2% do total não significa muita coisa. O mix de produtos de supermercado é estável não porque ninguém cria produtos novos, mas porque até uma pequena porcentagem de mudanças irrita os clientes.
  Se eu não consigo fazer um pedido em algum site, eu não tento mais. Na semana seguinte, o navegador ESR pode até ser atualizado e passar a funcionar, mas, até lá, eu já não clico mais naquele link nos resultados de busca.

  • A Aldi não opera na direção oposta a essa teoria?

• Parte do problema é que os sites do governo dos EUA e do Reino Unido usam a “regra dos 2%” e oficialmente dão suporte só a 98%.
  Há 3 anos, disseram que a participação de 2,2% do Firefox estava perto de cair no risco de perder suporte em sites do governo; agora caiu para 1,9%.
  https://news.ycombinator.com/item?id=36776603
  Segundo https://analytics.usa.gov/, “houve 1,66 bilhão de sessões nos últimos 30 dias”. Se a conta estiver certa, 2% são 33 milhões de sessões.

  • Esse é o problema de uma abordagem baseada em porcentagem. Na maioria dos casos, é melhor escolher as 3 principais implementações. No exemplo dos navegadores, isso incluiria WebKit, Blink e Gecko e, de qualquer forma, a cauda longa seria ignorada de um jeito ou de outro, então provavelmente isso já bastaria.
  • Se deixarem de dar suporte ao Firefox, isso significa bloquear o Firefox ativamente?

• Não gosto de tratar pessoas como números.
  98% não é muito nem pouco. Está simplesmente errado.
  Se eu sou um desses 2%, para mim isso é tudo. Pode haver um motivo válido para eu estar dentro desses 2%. E a atitude de não se importar com isso pode ser errada.
  Acho melhor um site que funcione para apenas 2% das pessoas pelos motivos certos do que um site que não funcione para 2% pelos motivos errados.