Sobre qualidade de dados — princípios básicos

Os dados não têm uma qualidade inata; quanto maior o valor que eles geram em um caso de uso específico, maior pode ser considerada sua qualidade.

A qualidade de dados é composta por quatro níveis: dados individuais, corpus completo, adequação ao propósito e resultados de negócio. Os níveis inferiores viabilizam os superiores, e os superiores fornecem a justificativa para investir nos inferiores.

Mesmo dados de receita corretos podem ser adequados para contabilidade, mas inadequados para gestão em tempo real ou previsão de receitas futuras; assim, a avaliação da qualidade dos mesmos dados varia conforme o usuário e o objetivo.

Se o foco ficar apenas na verificação de atributos, é possível criar dados perfeitos sem gerar valor de negócio. Por outro lado, se a busca for apenas por resultados, ignorando a qualidade básica, pode-se criar um sistema insustentável.

A gestão da qualidade de dados não deve se limitar à limpeza dos dados: ela também precisa incluir a medição do caminho entre uso dos dados → mudança na tomada de decisão → resultado de negócio, e o ajuste dos investimentos conforme os resultados.

Por que definições padrão não bastam

A ISO 8000 define dados de boa qualidade como dados que atendem a requisitos especificados, mas essa é uma definição circular que, embora correta, não ajuda muito no julgamento prático.

A ISO 25012 define qualidade de dados por 15 atributos, incluindo acurácia, completude e consistência.

Ela é útil para verificar o estado de dados individuais, mas não aborda se esses dados contribuem para o uso real e para os resultados de negócio.

A razão pela qual diferentes profissionais avaliam os mesmos dados de formas distintas é que eles julgam com base em diferentes níveis de qualidade e diferentes propósitos de uso.

A qualidade de dados surge do valor dos dados

Dados não têm valor intrínseco; o que determina seu valor é o que se pode fazer com eles.

A lógica usada em
Como precificar ativos de dados
também pode ser aplicada à qualidade.

Qualidade de dados é uma característica que aumenta o valor dos dados.

Como o valor dos dados é função da forma de uso, a qualidade dos dados também é determinada pela forma de uso.

O objetivo de elevar a qualidade é fazer mais coisas com os dados, fazer as mesmas coisas melhor, mais rápido e mais barato, ou tornar possíveis coisas diferentes das anteriores.

Nível 1: qualidade dos dados individuais

A qualidade em nível granular (granular quality) avalia unidades individuais de dados, como registros de banco de dados, frases, pares de pergunta e resposta ou exemplos rotulados.

Os principais atributos de avaliação incluem acurácia, precisão, atualidade, conformidade de formato, consistência interna, plausibilidade, origem, interpretabilidade e confiabilidade.

Cada atributo pode ser avaliado apenas pela unidade individual, sem examinar outros registros.

No entanto, toda avaliação pressupõe um contexto de uso.

É preciso definir qual critério determina o que é verdadeiro.

Qual ponto no tempo determina se algo está atualizado.

De que forma algo é utilizável.

Em qual contexto algo é consistente.

Qualidade individual dos dados de receita

Se termos contratuais, renovações, descontos e receitas pontuais versus recorrentes forem interpretados incorretamente, os itens individuais de receita já podem estar errados desde o início.

Mesmo que tenham sido registrados corretamente, reconhecer a receita de um marketplace pelo valor bruto (gross) ou pelo valor líquido (net) depende da estrutura do negócio.

O julgamento muda conforme a empresa fornece valor diretamente, define preços e assume responsabilidade pelo serviço,

ou se está mais próxima de uma intermediária que conecta compradores e vendedores.

Mesmo auditores podem chegar a conclusões diferentes, portanto a própria acurácia não pode ser separada do objetivo de uso e do contexto contábil.

Nível 2: qualidade do conjunto de dados completo

Mesmo que todos os registros individuais estejam corretos, isso não garante alta qualidade do corpus completo (aggregate quality).

No nível do conjunto, os seguintes atributos precisam ser avaliados:

Cobertura e ausência de lacunas

Remoção de duplicatas

Granularidade dos dados

Representatividade e equilíbrio

Consistência entre registros e rótulos

Distribuições e estatísticas agregadas

Volume de dados e suficiência

Continuidade temporal

Possibilidade de combinação com outros dados

Drift ao longo do tempo e do espaço

Esses atributos não aparecem em dados individuais; eles emergem das relações e distribuições do conjunto completo de dados.

É preciso verificar se todos os dados existem, se foram suficientemente tratados, se refletem a realidade e se são estáveis ao longo do tempo e do espaço.

Qualidade completa dos dados de receita

Mesmo que cada evento de receita tenha sido registrado corretamente, os seguintes problemas podem permanecer:

A definição de receita mudou no meio dos dados históricos.

Parte da receita está ausente.

A mesma receita foi contabilizada em duplicidade.

Resultados agregados diferentes não batem entre si.

Dados que refletem perfeitamente os clientes atuais podem ser de alta qualidade para contabilidade e relatórios, mas de baixa qualidade para prever receita de expansão caso a composição dos clientes futuros seja diferente.

A representatividade de um conjunto de dados deve ser avaliada não pelos dados em si, mas pelo alvo ao qual se pretende aplicá-los.

Nível 3: adequação ao propósito

A adequação ao propósito (fitness for purpose) avalia a interação entre os dados e a aplicação real, mais do que os atributos dos dados.

Demonstrações financeiras não são adequadas para campanhas publicitárias, e perfis de clientes não são adequados para análise de ações; mas, ao mudar o uso, cada um deles pode se tornar dado essencial.

Adequação informacional

Avalia se os dados conseguem responder à pergunta que se pretende resolver.

Inclui relevância, pertinência, suficiência e necessidade.

O fato de os dados serem corretos e o fato de fornecerem as informações necessárias são problemas diferentes.

Adequação operacional

Avalia se os dados podem ser usados de forma eficaz no ambiente real.

Inclui disponibilidade, licenças e conformidade regulatória, interoperabilidade e relação risco-recompensa.

Mesmo que a informação seja suficiente, se ela não puder ser acessada no momento necessário ou não puder ser usada legalmente, ela não é adequada ao propósito.

Diferenças nos dados de receita conforme o propósito

Para fechar perfeitamente a receita do fim do mês, até uma excelente equipe financeira precisa de alguns dias, mas o CEO pode ter de decidir, ainda dentro do mês em que a receita se desvia do previsto, sobre investimentos, cortes de custos, contratações ou demissões.

A receita finalizada que é de alta qualidade para um auditor pode ser um dado atrasado demais para operações em tempo real.

Mesmo dados financeiros detalhados podem não corresponder às necessidades de cada usuário.

O conselho quer um resumo dos pontos principais.

O CMO quer atribuição de contribuição de marketing.

A equipe de vendas quer saber o tamanho da comissão.

Detalhes, nuances, ressalvas e diversos eixos de análise que aumentam a qualidade para a equipe financeira podem, para outros usuários, reduzir a usabilidade.

Nível 4: qualidade dos resultados de negócio

Mesmo que a qualidade individual, a qualidade do conjunto e a adequação ao propósito sejam excelentes, isso não garante que os dados criem valor real de negócio.

A qualidade dos resultados de negócio (business-outcome quality) avalia o quanto os dados melhoraram os resultados da empresa.

Melhoria em pontuações de avaliação

Aumento da retenção da receita corporativa

Melhoria do retorno ajustado ao risco

Aumento da taxa de conversão de clientes podem ser alguns dos alvos.

Ela pode ser dividida em três perguntas:

Os dados foram realmente usados?

O que mudou após o uso?

Essa mudança valeu o investimento?

Medição de uso e resultados

O uso dos dados é medido por taxa de adoção, impacto na tomada de decisão e grau de mudança de comportamento.

A mudança nos resultados é avaliada pela diferença entre antes e depois, pela contribuição precisa e pela importância da mudança.

O valor da mudança deve considerar retorno sobre o investimento, momento em que os resultados aparecem, persistência e risco.

Quando dados de receita de alta qualidade fracassam

Mesmo que uma empresa mude seu sistema de comissões de vendas com base em dados de receita corretos, sem viés e alinhados às necessidades dos usuários, os resultados de negócio esperados podem não aparecer.

Se a equipe de vendas otimizar para a nova fórmula, os seguintes comportamentos podem ocorrer:

Antecipar receita futura para receber remuneração acelerada.

Oferecer descontos que prejudicam a margem.

Buscar contratos de baixa qualidade e fáceis de fechar, em vez de contratos difíceis com alto valor de longo prazo.

Mesmo que os dados em si sejam de alta qualidade em todos os níveis inferiores, o sistema que os utiliza e a mudança de comportamento podem destruir valor de negócio.

No nível mais alto, em vez de refinar ainda mais os dados em si, é necessário o seguinte processo:

Definir, com hipóteses melhores, o valor que os dados devem criar.

Instrumentar o caminho que vai do uso dos dados ao comportamento e aos resultados.

Reduzir ou ampliar investimentos conforme os resultados reais.

A escada da qualidade

Os quatro níveis não são checklists separados; são uma escada ordenada e interdependente.

Para chegar à adequação ao propósito e aos resultados de negócio, a qualidade dos dados individuais e do conjunto completo precisa estar estabelecida primeiro.

Por outro lado, a qualidade dos níveis inferiores não cria valor por si só; é preciso haver resultados nos níveis superiores para que exista motivo para investir.

Nos níveis inferiores, é preciso verificar se a atenção às verificações de atributos não está fazendo esquecer o caso de uso de negócio.

Nos níveis superiores, é preciso verificar se a atenção aos resultados não está fazendo ignorar a higiene básica dos dados.

Como os padrões existentes falham

A abordagem da ISO 25012 pode cair na armadilha do checklist: medir inúmeros atributos de qualidade sem que o negócio melhore.

A abordagem da ISO 8000 fica presa à definição de que dados bons são dados que geram bons resultados, sem indicar concretamente o que deve ser melhorado.

A escada da qualidade conecta, em uma só estrutura, verificações acionáveis nos níveis inferiores e julgamentos de valor nos níveis superiores.

Conflitos que surgem em níveis diferentes

Debates sobre qualidade de dados surgem frequentemente quando as pessoas falam a partir de níveis diferentes da escada.

Um engenheiro de operações de dados prioriza rótulos corretos e o estado dos registros, mas esses dados podem não ser usados no negócio.

O CEO valoriza o modelo operacional ideal e os resultados de negócio, mas esse modelo pode estar construído sobre dados de entrada pouco confiáveis.

Quando surge um problema, um lado procura corrigir dados detalhados e o outro procura uma nova estratégia, mas nenhum dos dois resolve todos os problemas sozinho.

Três formas de pular níveis
Falha de lançamento

É o caso de focar demais nos níveis inferiores, aperfeiçoar a qualidade individual, a qualidade do conjunto e a adequação ao propósito, mas não gerar nenhum valor de negócio.

Os níveis inferiores são concretos, mensuráveis e mais fáceis de melhorar diretamente, por isso são aqueles em que a organização tende a se concentrar com mais facilidade.

Por haver muitos itens mensuráveis, o trabalho de arrumação dos dados pode se tornar o objetivo, em vez do desempenho real.

Falha de base

É o caso de ignorar os níveis inferiores e otimizar diretamente pelo valor de negócio.

Se a meta for clara e o ciclo de feedback for rápido o suficiente, isso pode funcionar temporariamente.

A abordagem de que problemas de acurácia, origem ou atualidade não importam desde que o resultado seja bom geralmente não é sustentável; no fim, os problemas dos dados básicos aparecem.

Usar a origem como prova de qualidade

Uma fonte externa confiável pode reduzir investimentos em validação interna ao garantir, em seu lugar, a qualidade dos dados individuais e do conjunto completo.

Escolher um fornecedor especializado em determinado setor também pode reduzir o esforço de verificar a adequação ao propósito.

No entanto, o valor de negócio precisa ser criado diretamente pela organização que compra os dados.

A confiança na origem dos dados não surge automaticamente.

Ela se forma por meio de tempo, recursos e resultados repetidos.

É mantida enquanto os dados continuam funcionando.

Enfraquece rapidamente quando não entrega os resultados esperados.

Próximo passo

A qualidade de dados não é um atributo absoluto que existe nos dados em si; ela aparece no propósito de uso e no processo de criação de valor.

Uma gestão de qualidade eficaz exige verificar todos os quatro níveis sem permanecer em apenas um deles.

Um próximo texto abordará como a IA muda as intuições existentes sobre qualidade de dados.