10 anos de lições em ciência de dados para o bem social

xguru · 2025-01-23T09:46:01+09:00

Quando a DrivenData foi criada em 2014, o uso da ciência de dados para o bem social ainda estava em estágio inicial Na época, as técnicas de ciência de dados eram usadas principalmente por empresas como Netflix e Amazon para marketing e recomendação de conteúdo, e quase não havia casos de uso para organizações sem fins lucrativos, ONGs, negócios de impacto social ou serviços governamentais Objetivos iniciais e contexto Havia escassez severa de talentos em ciência de dados e o custo de contratação era alto; essa lacuna era ainda mais grave em organizações que lidam com problemas sociais A iniciativa começou no Harvard Innovation Lab com o objetivo de reduzir a lacuna de capacidades em ciência de dados voltadas para problemas sociais O objetivo era usar técnicas avançadas de ciência de dados e crowdsourcing para enfrentar grandes desafios sociais do mundo Duas citações que refletem a visão da época "Tornar o big data útil para a tomada de decisões humanitárias é um dos principais desafios e oportunidades da era em rede" – UN OCHA "As melhores mentes da minha geração estão pensando em como fazer as pessoas clicarem em anúncios… isso é realmente deprimente." – Jeff Hammerbacher, ex-gerente de dados do Facebook Mudanças nos últimos 10 anos Houve diversas tentativas de aplicar ciência de dados e IA ao impacto social Mais de 150 projetos, em colaboração com cerca de 80 parceiros (Banco Mundial, Fundação Bill & Melinda Gates, NASA etc.) Mais de 75 competições de ciência de dados realizadas, com mais de US$ 4,7 milhões em prêmios Ao longo da última década, a DrivenData acumulou boas práticas e lições ao buscar o bem social por meio da ciência de dados Este é um momento para refletir sobre o que funcionou, o que continua desafiador e quais direções podem levar a um futuro melhor Prévia de 10 lições principais Casos em que a ciência de dados funcionou bem A ciência de dados gera impacto significativo em problemas sociais Bons dados levam a boas soluções Os esforços têm mais sucesso quando focam em problemas concretos e necessidades humanas É mais eficaz quando combina os pontos fortes de máquinas e humanos Perspectivas multidisciplinares e flexibilidade trazem vantagens às organizações Pontos que ainda são desafiadores Ciência de dados é uma atividade iterativa de P&D, e o setor social investe pouco nisso É difícil contratar cientistas de dados e oferecer bom suporte a eles O open source ainda carece de soluções para não desenvolvedores O exagero tecnológico (hype wave) recebe atenção excessiva Ciência de dados e IA têm grandes implicações éticas, mas as ferramentas e práticas para apoiar o uso ético ainda estão atrasadas Os tempos estão mudando Nos últimos 10 anos, a velocidade de avanço das tecnologias de dados e IA foi surpreendentemente rápida. Os principais fatores de inovação que tornaram isso possível incluem: Computação e armazenamento A expansão da computação em nuvem e do armazenamento tornou os recursos necessários mais baratos e acessíveis Houve redução dos custos iniciais, desde experimentos baseados em GPU até a implantação de clusters escaláveis para execução de modelos em tempo real Deep learning O deep learning trouxe mudanças transformadoras para a ciência de dados Houve uma explosão de arquiteturas eficazes, como redes adversariais generativas (GANs), transformers, variational autoencoders e graph neural networks O ecossistema em torno de PyTorch e TensorFlow evoluiu, e ferramentas, bibliotecas e modelos pré-treinados aceleraram ainda mais o ritmo de avanço Democratização do acesso à tecnologia A ciência de dados passou a ser chamada de "a profissão mais sexy do século 21", e as oportunidades de aprendizado cresceram de forma explosiva MOOCs, bootcamps e competições de dados permitiram que mais pessoas adquirissem habilidades básicas de ciência de dados IA generativa O surgimento dos grandes modelos de linguagem (LLMs) mudou a forma de trabalhar Eles reduziram o tempo necessário para tarefas complexas e abriram novas possibilidades Ainda se avalia se a IA generativa é uma moda passageira ou uma inovação substancial, mas é claro que a IA continuará sendo usada Apesar dessas mudanças tecnológicas, vários padrões em comum vêm sendo observados para além de tecnologias específicas. Este texto discute o que funcionou bem nos últimos 10 anos e o que continua sendo um desafio. Casos em que a ciência de dados funcionou bem A ciência de dados gera impacto significativo em problemas sociais Situação há 10 anos O potencial das ferramentas de ciência de dados já era claro, mas sua aplicação para impacto social era limitada Na época, as discussões se restringiam a alguns poucos exemplos e eram centradas em ideias sobre possibilidades futuras Avanços atuais Modelos de machine learning influenciam decisões em áreas diversas, como saúde e gestão de recursos naturais A ciência de dados ajuda a lidar com problemas como florações nocivas de algas, pesca insustentável e desastres naturais causados pelas mudanças climáticas, além de contribuir para inclusão financeira e conservação da vida selvagem No setor público, a visualização de dados se consolidou como um meio central de cobertura jornalística e comunicação de mensagens Ex.: campanhas para conter a disseminação da COVID-19, dashboard da OMS Exemplo concreto com imagens de satélite No Iêmen, imagens de satélite foram usadas para analisar tipos de cultivo e riscos climáticos, fornecendo informações para programas de segurança alimentar do Banco Mundial Contribuição da IA para o progresso científico AlphaFold: modelo de previsão de estruturas de proteínas que realiza em poucas horas tarefas que antes levavam anos, oferecendo gratuitamente aos cientistas estruturas de todas as proteínas Modelos transformer: aplicados à detecção de discurso de ódio em memes multimodais Tecnologias de identificação individual: melhoram o rastreamento de espécies ameaçadas de extinção (como baleias) e vêm sendo expandidas para várias espécies Mudanças no setor social Em meados da década de 2010, a discussão sobre uso de dados estava concentrada principalmente em "medição de impacto" Agora, o foco está em como ferramentas de ciência de dados transformam a forma como as organizações operam e lhes dão novas capacidades Hoje, a discussão está voltada para o que a ciência de dados e a IA podem "fazer", indo além do que pode ser medido Bons dados levam a boas soluções, e a acessibilidade aos dados melhorou muito Maior papel cotidiano dos dados Toda atividade, como compras, uso de serviços de emergência e visitas ao hospital, gera dados Eletrodomésticos, wearables, veículos, celulares e aplicativos coletam dados de uso Com o avanço de sensores e câmeras, o uso de dados de imagem e vídeo aumentou Duas etapas do uso de dados Registrar os dados digitalmente e torná-los observáveis Evoluir para uma etapa em que se aprende com os dados e se descobrem padrões IA e machine learning baseados em dados Maior volume e melhor qualidade de dados apoiam a descoberta de novos padrões e o desenvolvimento de algoritmos Ex.: detecção de câncer, algoritmo de recomendação do Spotify, dados de treinamento do ChatGPT Hierarquia da ciência de dados de Monica Rogati Recursos mais avançados de ciência de dados exigem uma base sólida de dados Investimentos inteligentes em infraestrutura de dados se tornam a base para implementar capacidades de nível superior Uso de dados para valor social Governos e grandes instituições ampliaram a abertura de dados públicos Tipos de dados usados pela DrivenData: Dados meteorológicos, de tráfego e do OpenStreetMap: planejamento de tráfego aéreo, apoio à resiliência a desastres Imagens de satélite: mapeamento da extensão de enchentes, estimativa de biomassa florestal Dados de transações móveis: análise de comportamento e atitudes financeiras Dados de pesquisas: insights em larga escala sobre opiniões e comportamentos Gravações de áudio: classificação do nível de alfabetização infantil Imagens de alta resolução: previsão da probabilidade de recorrência de melanoma Dados textuais: análise automática de conceitos clínicos em pareceres médicos Importância da acessibilidade e usabilidade dos dados Não basta que os dados sejam simplesmente públicos Quando são oferecidos em formato legível por máquina, com documentação clara e casos de uso, a participação e o aproveitamento aumentam Muitas organizações investem na coleta de dados, mas negligenciam investimentos adicionais para usá-los de fato Documentação de dados e casos de aplicação têm papel tão importante quanto os prêmios das competições Os esforços têm mais sucesso quando focam em problemas concretos e necessidades humanas Armadilha da abordagem centrada na tecnologia Organizações de impacto social muitas vezes tentam acompanhar as tendências tecnológicas mais recentes "Big data" e ferramentas de IA podem parecer soluções universais, mas na prática são eficazes quando o foco está em resolver problemas concretos Pontos centrais para o desenho de projetos bem-sucedidos Definir usuários e problemas específicos, e estabelecer metas mensuráveis que possam resolvê-los Usar ferramentas de design centrado no ser humano para entender o que as pessoas "querem" e desenvolver soluções que vão além do que é tecnicamente "possível" Exemplos concretos Detecção de florações de algas (CyFi) Em colaboração com a NASA, detecta florações nocivas de cianobactérias por meio de imagens de satélite Ajuda gestores de recursos hídricos a avaliar com precisão o estado das florações e a alocar recursos com mais eficiência Identificação de vida selvagem (Zamba) Em colaboração com o Instituto Max Planck, foi desenvolvida uma ferramenta de identificação automática de animais com uso de dados de camera traps A usabilidade foi ampliada com o Zamba Cloud, cujo UI foi melhorado com base no feedback dos pesquisadores Importância da perspectiva do usuário Definição do problema Compreender claramente o problema e os requisitos por meio de entrevistas com usuários e coleta de opiniões Refletir a perspectiva humana por trás dos pontos de dados Entrega da solução São necessários testes de UI/UX e comunicação clara para que os usuários consigam usar a solução de forma eficaz e entender seus benefícios Apoiar uma compreensão intuitiva dos pontos fortes e das limitações do modelo, explicando formas de uso com casos reais Conclusão O papel do cientista de dados é conectar capacidade técnica e necessidades sociais Os projetos mais eficazes são os que não ficam presos à tecnologia mais recente, mas se concentram na resolução de problemas e em resultados práticos As soluções são mais eficazes quando combinam os pontos fortes das máquinas e dos humanos Riscos das expectativas exageradas com IA Modelos de ciência de dados e IA não são onipotentes, e todo modelo tem algum grau de limitação Simplesmente adotar IA não garante sucesso As melhores soluções surgem em sistemas que combinam os pontos fortes de máquinas e humanos Caso da ferramenta Zamba O Zamba prevê probabilisticamente se há ou não animais em vídeos de camera traps de vida selvagem O modelo pode errar às vezes, mas as probabilidades fornecidas permitem criar estratégias de revisão eficientes Ex.: revisar primeiro os vídeos com maior probabilidade de conter chimpanzés, ou definir um limite de probabilidade para considerar um vídeo vazio Como resultado, é possível identificar 85% dos vídeos com chimpanzés revisando menos de 5% do total de vídeos Resultados da colaboração entre máquina e humano Caso de triagem de câncer de mama com IA: quando radiologistas e IA colaboram, alcançam maior precisão do que cada um isoladamente Ênfase em interpretabilidade e explicabilidade da IA: fornecer informações para que pessoas possam avaliar os resultados da IA e integrá-los ao contexto Ex.: em uma competição de identificação de baleias, foram fornecidas visualizações das características usadas pelo modelo para associar baleias individuais Padrão semelhante na IA generativa O feedback humano é essencial para o desenvolvimento de ferramentas úteis como o ChatGPT Dados de feedback permitem melhorar o modelo para que ele aprenda casos cada vez mais difíceis Avaliação do custo do erro e pontos de melhoria O desenho do sistema pode ser aprimorado com duas perguntas: "Se houvesse um modelo perfeito, como você o usaria?" "Se esse modelo errasse às vezes, como você lidaria com isso?" Isso ajuda a identificar o limite de tolerância a erros do sistema e os pontos em que a revisão humana é necessária Lições para organizações Caso do governo dos Países Baixos em 2021: 26 mil famílias foram acusadas injustamente de fraude em benefícios sociais por causa de um algoritmo inadequado Depender de algoritmos sem revisão humana adequada gera custos sociais elevados Em contrapartida, combinar os pontos fortes de algoritmos e humanos pode maximizar eficiência e eficácia Perspectivas multidisciplinares e flexibilidade ajudam as organizações Experiência em projetos de diferentes áreas Ao atuar em áreas como inclusão financeira, ação climática e saúde, confirmou-se o benefício de uma perspectiva multidisciplinar Padrões de machine learning em um contexto específico podem ser estendidos e aplicados a outras áreas Ex.: aplicação entre um modelo de visão computacional para conservação de florestas de kelp e um modelo para detecção de lesões em biópsias cervicais Flexibilidade da abordagem Problemas diferentes, como detecção precoce de pragas em lavouras e extração de habilidades em currículos, também podem se basear em reconhecimento de entidades nomeadas (NER) É possível aproveitar lições e experiências de abordagens existentes para aplicá-las a outros problemas com menor custo Exemplo concreto Uma abordagem de processamento de linguagem natural para reconhecer cultivos, pragas, doenças e substâncias químicas em mensagens do WhatsApp Isso ajuda pequenos agricultores a identificar novas tendências e melhorar orientações baseadas em ciência Equilíbrio entre especialização e perspectiva do usuário A colaboração com especialistas do domínio garante o contexto adequado ao problema Incluir a perspectiva do usuário no processo de ciência de dados ajuda a desenhar soluções apropriadas Identificar "trabalhos que valem a pena" Só a especialização técnica não basta; também são necessárias empatia, comunicação, curiosidade e flexibilidade É preciso fazer brainstorming sobre onde o machine learning pode agregar valor e entender profundamente para quem a abordagem é destinada e como será usada Atender às diversas necessidades das organizações As necessidades variam entre organizações, desde pesquisa exploratória até prototipagem e estágio de produção Há colaboração com parceiros diversos, desde grandes organizações provedoras de dados (como Candid e NASA) até organizações que estão construindo seu sistema de dados pela primeira vez É importante manter a adequação tecnológica e, ao mesmo tempo, extrair flexibilidade de uma experiência rica O que ainda continua sendo desafiador Ciência de dados é iterativa, e o setor social investe pouco em P&D Natureza e valor de P&D Pesquisa e desenvolvimento são um processo de aprendizado que exige investimento de capital, experimentação, reflexão e disposição para aceitar falhas Há limites em métodos certos de antemão e abordagens de curto prazo para resolver a variedade de problemas necessária no setor social Investimentos de longo prazo e inovação não linear geram os principais resultados Baixo investimento em P&D no setor social Segundo uma pesquisa da NSF de 2022, 94% das grandes organizações sem fins lucrativos não realizam nenhuma atividade de P&D Embora a ciência de dados seja em grande parte uma atividade de P&D, faltam investimentos nessa área Natureza iterativa da ciência de dados A ciência de dados usa aprendizado iterativo e ciclos de feedback para produzir resultados ótimos e melhorar a eficiência dos serviços São usados frameworks que enfatizam a iteração, como o curso de ciência de dados de Harvard e o CRISP-DM (processo padrão para mineração de dados) Importância da ciência de dados centrada no ser humano O processo de aprendizado gira em torno do desenho de soluções eficazes e se combina com frameworks de inovação iteráveis O design centrado no ser humano fortalece a conexão entre necessidades reais e soluções Casos de sucesso de P&D em empresas privadas Empresas privadas reconhecem claramente o valor do uso de dados por meio de processos de P&D Exemplos recentes de inovação em IA seriam impossíveis sem investimento contínuo em P&D Conclusão Os resultados iniciais de projetos de P&D em dados podem ser incertos, mas o próprio processo de gerar valor a partir de dados é uma metodologia comprovada Investimento contínuo e de longo prazo em P&D é essencial para acelerar a inovação e enfrentar os desafios do setor social É difícil contratar e dar suporte a cientistas de dados, e cientistas de dados que trabalham sozinhos têm baixa satisfação Dificuldades do ponto de vista da organização Contratação É difícil identificar e avaliar candidatos adequados quando não há cientistas de dados já atuando na organização O termo “cientista de dados” tem definição ambígua, pois abrange diversas habilidades e experiências Atrair e reter talentos A alta demanda por cientistas de dados cria um mercado de contratação competitivo Além do fator motivacional de resolver problemas sociais, é preciso oferecer trabalho técnico interessante, salário competitivo e oportunidades de desenvolvimento profissional Na fase inicial de contratação, é ainda mais difícil reunir esses elementos Gestão e suporte Para que cientistas de dados mantenham a produtividade, é necessário definir claramente o escopo do problema e fornecer direcionamento, infraestrutura e dados A falta de formação técnica facilita subestimar ou superestimar a dificuldade do trabalho Dificuldades do ponto de vista do desenvolvedor Aprendizado e crescimento A ciência de dados é uma área que evolui rapidamente, e oportunidades de aprender e crescer dentro da equipe são importantes Em ambientes onde revisão de código, feedback sobre modelos e divisão da carga de trabalho são difíceis, as oportunidades de crescimento ficam limitadas Falta de direcionamento e suporte Quando o trabalho não recebe suporte adequado, a satisfação e a produtividade dos cientistas de dados caem Prazer no trabalho Discutir problemas e resolvê-los com colegas aumenta a satisfação no trabalho Isso até pode ser resolvido em redes externas, mas a colaboração dentro da organização é mais eficiente Sinais de mudança Recentemente, tem aumentado o número de organizações do setor social que montam suas próprias equipes de dados A DrivenData participa como parceira apoiando a contratação de cientistas de dados e engenheiros em início de carreira, o onboarding e a transição de trabalho Colaborar com equipes externas especializadas em ciência de dados para oferecer capacidade flexível beneficia tanto as organizações quanto os cientistas de dados Perspectivas futuras Algumas organizações começaram a ter sucesso na construção de equipes de dados, mas a demanda por habilidades em ciência de dados continua alta Espera-se que o desafio de construir equipes de dados do zero continue O open source não desenvolve soluções suficientes para não desenvolvedores Limitações do open source Softwares de código aberto frequentemente evoluem bem porque a comunidade de desenvolvedores muitas vezes é a mesma dos usuários Os contribuidores se sentem motivados a melhorar ferramentas que eles próprios vão usar Porém, essa motivação não atua da mesma forma em ferramentas voltadas para não desenvolvedores ou não especialistas Desafios de ferramentas para não especialistas Em projetos de ciência de dados, é comum desenvolver metodologias e ferramentas para não desenvolvedores Mesmo quando são disponibilizados como open source, se não houver investimento e desenvolvimento contínuos, os projetos estagnam ou são interrompidos Para de fato evoluir para uma solução bem-sucedida, é preciso desenvolvimento adicional após a fase de protótipo e testes-piloto realistas Exemplo concreto: Concept to Clinic Em 2017-18, foi desenvolvido um aplicativo aberto que usa IA para ajudar radiologistas a processar tomografias computadorizadas Para incentivar contribuições, foi introduzido um sistema estruturado de incentivos que oferecia pontos e recompensas financeiras aos contribuidores Sem essa abordagem, é bem provável que o desenvolvimento do projeto não tivesse sido possível Requisitos para um sucesso sustentável em open source Apenas publicar algo como open source não garante impacto de longo prazo Para evoluir de protótipo para solução voltada ao usuário final, são necessários um roadmap claro e financiamento contínuo Ao desenvolver aplicações importantes, open source é apenas parte da jornada, e não deve ser o objetivo final O hype tecnológico recebe atenção excessiva Setor social e inovação tecnológica O setor social esteve intimamente ligado, ao longo dos últimos 10 anos, às ondas de novas inovações tecnológicas Organizações, com recursos limitados, são tentadas a adotar novas tecnologias para aumentar a eficiência A pressão para não ficar para trás em relação às tendências tecnológicas mais recentes faz com que mudem de estratégia com frequência Problemas da adoção de tecnologias superestimadas É difícil separar, dentro do hype tecnológico, os elementos de inovação realmente essenciais Muitas vezes, a adoção tecnológica leva a expectativas excessivas e execução deficiente Ex.: Blockchain: apesar das expectativas elevadas, trouxe poucos benefícios concretos ao setor social Aplicativos móveis: mesmo quando não eram realmente necessários, a pressão de que eram “indispensáveis” gerou gastos ineficientes Importância de organizações técnicas especializadas Organizações compostas por especialistas em tecnologia, capazes de lidar de forma eficiente com o hype, tendem a apresentar os melhores resultados A DrivenData colabora com a DataKind, a DSSG Fellowship, a Delta Analytics e outras organizações, aproveitando sua especialização técnica No entanto, até esses grupos especializados têm dificuldade para acumular de forma sistemática as lições aprendidas com hypes tecnológicos do passado Mudança necessária: um “quebra-mar” contra o hype tecnológico É preciso ter capacidade para separar a inovação real das expectativas exageradas e identificar os avanços centrais É indispensável uma liderança técnica que combine entendimento de tecnologias de ponta com uma compreensão profunda do setor social Hoje, faltam essa liderança e esse ecossistema, e é necessário construí-los para estabelecer uma abordagem contínua e madura Abordagem estratégica para tecnologias recentes, como a IA O potencial da IA é enorme, mas exige estratégia cuidadosa e profunda especialização, não entusiasmo superficial Sem construir uma base sólida orientada por dados, há o risco de repetir ciclos ineficientes de hype tecnológico Sem investimento estrutural e planejamento, será difícil para a inovação tecnológica no setor social gerar resultados reais Ciência de dados e IA têm grandes implicações éticas, mas a adoção acelerada supera as ferramentas e práticas que as sustentam Expansão da ciência de dados e da IA e sua importância ética Ciência de dados e machine learning estão sendo integrados a diversas áreas, como saúde, resposta a desastres e sentenças criminais Os riscos decorrentes de uso inadequado se tornaram muito maiores do que antes A realidade da falta de consideração ética Cientistas de dados têm uma perspectiva singular para entender as implicações éticas de modelos e pipelines No entanto, essa perspectiva muitas vezes não é integrada ao ciclo de vida dos projetos de ciência de dados Desenvolvimento de um checklist open source para lidar com trade-offs éticos O checklist foi integrado ao fluxo de trabalho de ciência de dados para permitir a discussão de trade-offs éticos Princípios principais: Decisões éticas devem reconhecer os trade-offs mais importantes em cada contexto específico e buscar avançar com responsabilidade, minimizando danos Questões éticas surgem em todas as etapas do projeto, incluindo coleta, armazenamento, análise, modelagem e implantação de dados Discussões éticas muitas vezes perdem prioridade diante de prazos apertados e demandas urgentes Para evitar isso, é preciso integrar questões éticas a outros aspectos do fluxo de trabalho e reservar tempo de forma intencional Equidade algorítmica e mitigação de viés Modelos treinados com dados enviesados reproduzem desigualdades, por isso estão sendo desenvolvidas técnicas para identificar e mitigar esse problema Ex.: em colaboração com a Wellcome Trust, foi criado um caso de mitigação de viés com foco em equidade em um modelo de previsão de estresse psicológico Métricas quantificadas de equidade foram usadas para analisar vieses e oferecer formas de mitigação A importância das considerações éticas na era da IA Ao mesmo tempo em que a IA se espalha rapidamente, empresas estão desmantelando equipes de IA responsável para cortar custos No setor social, a responsabilidade com os beneficiários é maior, então o custo de falhas éticas também é mais alto Se as práticas éticas não forem fortalecidas, a adoção de IA pode gerar problemas ainda maiores Conclusão Construir ferramentas e práticas éticas para apoiar a adoção de IA é mais importante do que nunca É preciso garantir confiança e sustentabilidade no setor social por meio do uso responsável da tecnologia Perspectivas futuras Mudanças e oportunidades na ciência de dados Nos últimos 10 anos, a ciência de dados liderou mudanças importantes no setor social, vivenciando ao mesmo tempo sucessos e desafios A percepção sobre o potencial dos dados e da IA aumentou, mas ainda existem grandes questões a serem resolvidas: Como aplicar, de forma prática, o avanço contínuo da tecnologia aos maiores problemas sociais? Como garantir que os benefícios não fiquem concentrados apenas em algumas grandes empresas? Como viabilizar uma implementação responsável da tecnologia em benefício da natureza e da humanidade? A importância das lições aprendidas com a experiência Os esforços baseados nas lições obtidas com experiências passadas geram os maiores resultados A DrivenData tem orgulho de fazer parte de uma comunidade de parceiros, clientes e desenvolvedores que usam dados e IA para o bem social Se você tem interesse em temas semelhantes ou ideias adicionais, o compartilhamento é bem-vindo Expectativas para o futuro Se os últimos 10 anos foram brilhantes, espera-se que os próximos 10 tragam mudanças ainda maiores Há muito trabalho a ser feito, e também muito a aprender Há expectativa por um futuro que enfrente esses desafios, explore novas possibilidades e gere um impacto social melhor

(drivendata.co)

13 pontos por xguru 2025-01-23 | 1 comentários | Compartilhar no WhatsApp

Quando a DrivenData foi criada em 2014, o uso da ciência de dados para o bem social ainda estava em estágio inicial
Na época, as técnicas de ciência de dados eram usadas principalmente por empresas como Netflix e Amazon para marketing e recomendação de conteúdo, e quase não havia casos de uso para organizações sem fins lucrativos, ONGs, negócios de impacto social ou serviços governamentais
Objetivos iniciais e contexto
- Havia escassez severa de talentos em ciência de dados e o custo de contratação era alto; essa lacuna era ainda mais grave em organizações que lidam com problemas sociais
- A iniciativa começou no Harvard Innovation Lab com o objetivo de reduzir a lacuna de capacidades em ciência de dados voltadas para problemas sociais
- O objetivo era usar técnicas avançadas de ciência de dados e crowdsourcing para enfrentar grandes desafios sociais do mundo
Duas citações que refletem a visão da época
- "Tornar o big data útil para a tomada de decisões humanitárias é um dos principais desafios e oportunidades da era em rede" – UN OCHA
- "As melhores mentes da minha geração estão pensando em como fazer as pessoas clicarem em anúncios… isso é realmente deprimente." – Jeff Hammerbacher, ex-gerente de dados do Facebook
Mudanças nos últimos 10 anos
- Houve diversas tentativas de aplicar ciência de dados e IA ao impacto social
- Mais de 150 projetos, em colaboração com cerca de 80 parceiros (Banco Mundial, Fundação Bill & Melinda Gates, NASA etc.)
- Mais de 75 competições de ciência de dados realizadas, com mais de US$ 4,7 milhões em prêmios
Ao longo da última década, a DrivenData acumulou boas práticas e lições ao buscar o bem social por meio da ciência de dados
Este é um momento para refletir sobre o que funcionou, o que continua desafiador e quais direções podem levar a um futuro melhor

Prévia de 10 lições principais

Casos em que a ciência de dados funcionou bem

A ciência de dados gera impacto significativo em problemas sociais
Bons dados levam a boas soluções
Os esforços têm mais sucesso quando focam em problemas concretos e necessidades humanas
É mais eficaz quando combina os pontos fortes de máquinas e humanos
Perspectivas multidisciplinares e flexibilidade trazem vantagens às organizações

Pontos que ainda são desafiadores

Ciência de dados é uma atividade iterativa de P&D, e o setor social investe pouco nisso
É difícil contratar cientistas de dados e oferecer bom suporte a eles
O open source ainda carece de soluções para não desenvolvedores
O exagero tecnológico (hype wave) recebe atenção excessiva
Ciência de dados e IA têm grandes implicações éticas, mas as ferramentas e práticas para apoiar o uso ético ainda estão atrasadas

Os tempos estão mudando

Nos últimos 10 anos, a velocidade de avanço das tecnologias de dados e IA foi surpreendentemente rápida. Os principais fatores de inovação que tornaram isso possível incluem:

Computação e armazenamento
- A expansão da computação em nuvem e do armazenamento tornou os recursos necessários mais baratos e acessíveis
- Houve redução dos custos iniciais, desde experimentos baseados em GPU até a implantação de clusters escaláveis para execução de modelos em tempo real
Deep learning
- O deep learning trouxe mudanças transformadoras para a ciência de dados
- Houve uma explosão de arquiteturas eficazes, como redes adversariais generativas (GANs), transformers, variational autoencoders e graph neural networks
- O ecossistema em torno de PyTorch e TensorFlow evoluiu, e ferramentas, bibliotecas e modelos pré-treinados aceleraram ainda mais o ritmo de avanço
Democratização do acesso à tecnologia
- A ciência de dados passou a ser chamada de "a profissão mais sexy do século 21", e as oportunidades de aprendizado cresceram de forma explosiva
- MOOCs, bootcamps e competições de dados permitiram que mais pessoas adquirissem habilidades básicas de ciência de dados
IA generativa
- O surgimento dos grandes modelos de linguagem (LLMs) mudou a forma de trabalhar
- Eles reduziram o tempo necessário para tarefas complexas e abriram novas possibilidades
- Ainda se avalia se a IA generativa é uma moda passageira ou uma inovação substancial, mas é claro que a IA continuará sendo usada

Apesar dessas mudanças tecnológicas, vários padrões em comum vêm sendo observados para além de tecnologias específicas. Este texto discute o que funcionou bem nos últimos 10 anos e o que continua sendo um desafio.

Casos em que a ciência de dados funcionou bem

A ciência de dados gera impacto significativo em problemas sociais

Situação há 10 anos
- O potencial das ferramentas de ciência de dados já era claro, mas sua aplicação para impacto social era limitada
- Na época, as discussões se restringiam a alguns poucos exemplos e eram centradas em ideias sobre possibilidades futuras
Avanços atuais
- Modelos de machine learning influenciam decisões em áreas diversas, como saúde e gestão de recursos naturais
- A ciência de dados ajuda a lidar com problemas como florações nocivas de algas, pesca insustentável e desastres naturais causados pelas mudanças climáticas, além de contribuir para inclusão financeira e conservação da vida selvagem
- No setor público, a visualização de dados se consolidou como um meio central de cobertura jornalística e comunicação de mensagens
  - Ex.: campanhas para conter a disseminação da COVID-19, dashboard da OMS
Exemplo concreto com imagens de satélite
- No Iêmen, imagens de satélite foram usadas para analisar tipos de cultivo e riscos climáticos, fornecendo informações para programas de segurança alimentar do Banco Mundial
Contribuição da IA para o progresso científico
- AlphaFold: modelo de previsão de estruturas de proteínas que realiza em poucas horas tarefas que antes levavam anos, oferecendo gratuitamente aos cientistas estruturas de todas as proteínas
- Modelos transformer: aplicados à detecção de discurso de ódio em memes multimodais
- Tecnologias de identificação individual: melhoram o rastreamento de espécies ameaçadas de extinção (como baleias) e vêm sendo expandidas para várias espécies
Mudanças no setor social
- Em meados da década de 2010, a discussão sobre uso de dados estava concentrada principalmente em "medição de impacto"
- Agora, o foco está em como ferramentas de ciência de dados transformam a forma como as organizações operam e lhes dão novas capacidades
- Hoje, a discussão está voltada para o que a ciência de dados e a IA podem "fazer", indo além do que pode ser medido

Bons dados levam a boas soluções, e a acessibilidade aos dados melhorou muito

Maior papel cotidiano dos dados
- Toda atividade, como compras, uso de serviços de emergência e visitas ao hospital, gera dados
- Eletrodomésticos, wearables, veículos, celulares e aplicativos coletam dados de uso
- Com o avanço de sensores e câmeras, o uso de dados de imagem e vídeo aumentou
Duas etapas do uso de dados
1. Registrar os dados digitalmente e torná-los observáveis
2. Evoluir para uma etapa em que se aprende com os dados e se descobrem padrões
IA e machine learning baseados em dados
- Maior volume e melhor qualidade de dados apoiam a descoberta de novos padrões e o desenvolvimento de algoritmos
- Ex.: detecção de câncer, algoritmo de recomendação do Spotify, dados de treinamento do ChatGPT
Hierarquia da ciência de dados de Monica Rogati
- Recursos mais avançados de ciência de dados exigem uma base sólida de dados
- Investimentos inteligentes em infraestrutura de dados se tornam a base para implementar capacidades de nível superior
Uso de dados para valor social
- Governos e grandes instituições ampliaram a abertura de dados públicos
- Tipos de dados usados pela DrivenData:
  - Dados meteorológicos, de tráfego e do OpenStreetMap: planejamento de tráfego aéreo, apoio à resiliência a desastres
  - Imagens de satélite: mapeamento da extensão de enchentes, estimativa de biomassa florestal
  - Dados de transações móveis: análise de comportamento e atitudes financeiras
  - Dados de pesquisas: insights em larga escala sobre opiniões e comportamentos
  - Gravações de áudio: classificação do nível de alfabetização infantil
  - Imagens de alta resolução: previsão da probabilidade de recorrência de melanoma
  - Dados textuais: análise automática de conceitos clínicos em pareceres médicos
Importância da acessibilidade e usabilidade dos dados
- Não basta que os dados sejam simplesmente públicos
- Quando são oferecidos em formato legível por máquina, com documentação clara e casos de uso, a participação e o aproveitamento aumentam
- Muitas organizações investem na coleta de dados, mas negligenciam investimentos adicionais para usá-los de fato
- Documentação de dados e casos de aplicação têm papel tão importante quanto os prêmios das competições

Os esforços têm mais sucesso quando focam em problemas concretos e necessidades humanas

Armadilha da abordagem centrada na tecnologia
- Organizações de impacto social muitas vezes tentam acompanhar as tendências tecnológicas mais recentes
- "Big data" e ferramentas de IA podem parecer soluções universais, mas na prática são eficazes quando o foco está em resolver problemas concretos
Pontos centrais para o desenho de projetos bem-sucedidos
- Definir usuários e problemas específicos, e estabelecer metas mensuráveis que possam resolvê-los
- Usar ferramentas de design centrado no ser humano para entender o que as pessoas "querem" e desenvolver soluções que vão além do que é tecnicamente "possível"
Exemplos concretos
- Detecção de florações de algas (CyFi)
  - Em colaboração com a NASA, detecta florações nocivas de cianobactérias por meio de imagens de satélite
  - Ajuda gestores de recursos hídricos a avaliar com precisão o estado das florações e a alocar recursos com mais eficiência
- Identificação de vida selvagem (Zamba)
  - Em colaboração com o Instituto Max Planck, foi desenvolvida uma ferramenta de identificação automática de animais com uso de dados de camera traps
  - A usabilidade foi ampliada com o Zamba Cloud, cujo UI foi melhorado com base no feedback dos pesquisadores
Importância da perspectiva do usuário
- Definição do problema
  - Compreender claramente o problema e os requisitos por meio de entrevistas com usuários e coleta de opiniões
  - Refletir a perspectiva humana por trás dos pontos de dados
- Entrega da solução
  - São necessários testes de UI/UX e comunicação clara para que os usuários consigam usar a solução de forma eficaz e entender seus benefícios
  - Apoiar uma compreensão intuitiva dos pontos fortes e das limitações do modelo, explicando formas de uso com casos reais
Conclusão
- O papel do cientista de dados é conectar capacidade técnica e necessidades sociais
- Os projetos mais eficazes são os que não ficam presos à tecnologia mais recente, mas se concentram na resolução de problemas e em resultados práticos

As soluções são mais eficazes quando combinam os pontos fortes das máquinas e dos humanos

Riscos das expectativas exageradas com IA
- Modelos de ciência de dados e IA não são onipotentes, e todo modelo tem algum grau de limitação
- Simplesmente adotar IA não garante sucesso
- As melhores soluções surgem em sistemas que combinam os pontos fortes de máquinas e humanos
Caso da ferramenta Zamba
- O Zamba prevê probabilisticamente se há ou não animais em vídeos de camera traps de vida selvagem
- O modelo pode errar às vezes, mas as probabilidades fornecidas permitem criar estratégias de revisão eficientes
  - Ex.: revisar primeiro os vídeos com maior probabilidade de conter chimpanzés, ou definir um limite de probabilidade para considerar um vídeo vazio
  - Como resultado, é possível identificar 85% dos vídeos com chimpanzés revisando menos de 5% do total de vídeos
Resultados da colaboração entre máquina e humano
- Caso de triagem de câncer de mama com IA: quando radiologistas e IA colaboram, alcançam maior precisão do que cada um isoladamente
- Ênfase em interpretabilidade e explicabilidade da IA: fornecer informações para que pessoas possam avaliar os resultados da IA e integrá-los ao contexto
  - Ex.: em uma competição de identificação de baleias, foram fornecidas visualizações das características usadas pelo modelo para associar baleias individuais
Padrão semelhante na IA generativa
- O feedback humano é essencial para o desenvolvimento de ferramentas úteis como o ChatGPT
- Dados de feedback permitem melhorar o modelo para que ele aprenda casos cada vez mais difíceis
Avaliação do custo do erro e pontos de melhoria
- O desenho do sistema pode ser aprimorado com duas perguntas:
  1. "Se houvesse um modelo perfeito, como você o usaria?"
  2. "Se esse modelo errasse às vezes, como você lidaria com isso?"
- Isso ajuda a identificar o limite de tolerância a erros do sistema e os pontos em que a revisão humana é necessária
Lições para organizações
- Caso do governo dos Países Baixos em 2021: 26 mil famílias foram acusadas injustamente de fraude em benefícios sociais por causa de um algoritmo inadequado
- Depender de algoritmos sem revisão humana adequada gera custos sociais elevados
- Em contrapartida, combinar os pontos fortes de algoritmos e humanos pode maximizar eficiência e eficácia

Perspectivas multidisciplinares e flexibilidade ajudam as organizações

Experiência em projetos de diferentes áreas
- Ao atuar em áreas como inclusão financeira, ação climática e saúde, confirmou-se o benefício de uma perspectiva multidisciplinar
- Padrões de machine learning em um contexto específico podem ser estendidos e aplicados a outras áreas
  - Ex.: aplicação entre um modelo de visão computacional para conservação de florestas de kelp e um modelo para detecção de lesões em biópsias cervicais
Flexibilidade da abordagem
- Problemas diferentes, como detecção precoce de pragas em lavouras e extração de habilidades em currículos, também podem se basear em reconhecimento de entidades nomeadas (NER)
- É possível aproveitar lições e experiências de abordagens existentes para aplicá-las a outros problemas com menor custo
Exemplo concreto
- Uma abordagem de processamento de linguagem natural para reconhecer cultivos, pragas, doenças e substâncias químicas em mensagens do WhatsApp
- Isso ajuda pequenos agricultores a identificar novas tendências e melhorar orientações baseadas em ciência
Equilíbrio entre especialização e perspectiva do usuário
- A colaboração com especialistas do domínio garante o contexto adequado ao problema
- Incluir a perspectiva do usuário no processo de ciência de dados ajuda a desenhar soluções apropriadas
Identificar "trabalhos que valem a pena"
- Só a especialização técnica não basta; também são necessárias empatia, comunicação, curiosidade e flexibilidade
- É preciso fazer brainstorming sobre onde o machine learning pode agregar valor e entender profundamente para quem a abordagem é destinada e como será usada
Atender às diversas necessidades das organizações
- As necessidades variam entre organizações, desde pesquisa exploratória até prototipagem e estágio de produção
- Há colaboração com parceiros diversos, desde grandes organizações provedoras de dados (como Candid e NASA) até organizações que estão construindo seu sistema de dados pela primeira vez
- É importante manter a adequação tecnológica e, ao mesmo tempo, extrair flexibilidade de uma experiência rica

O que ainda continua sendo desafiador

Ciência de dados é iterativa, e o setor social investe pouco em P&D

Natureza e valor de P&D
- Pesquisa e desenvolvimento são um processo de aprendizado que exige investimento de capital, experimentação, reflexão e disposição para aceitar falhas
- Há limites em métodos certos de antemão e abordagens de curto prazo para resolver a variedade de problemas necessária no setor social
- Investimentos de longo prazo e inovação não linear geram os principais resultados
Baixo investimento em P&D no setor social
- Segundo uma pesquisa da NSF de 2022, 94% das grandes organizações sem fins lucrativos não realizam nenhuma atividade de P&D
- Embora a ciência de dados seja em grande parte uma atividade de P&D, faltam investimentos nessa área
Natureza iterativa da ciência de dados
- A ciência de dados usa aprendizado iterativo e ciclos de feedback para produzir resultados ótimos e melhorar a eficiência dos serviços
- São usados frameworks que enfatizam a iteração, como o curso de ciência de dados de Harvard e o CRISP-DM (processo padrão para mineração de dados)
Importância da ciência de dados centrada no ser humano
- O processo de aprendizado gira em torno do desenho de soluções eficazes e se combina com frameworks de inovação iteráveis
- O design centrado no ser humano fortalece a conexão entre necessidades reais e soluções
Casos de sucesso de P&D em empresas privadas
- Empresas privadas reconhecem claramente o valor do uso de dados por meio de processos de P&D
- Exemplos recentes de inovação em IA seriam impossíveis sem investimento contínuo em P&D
Conclusão
- Os resultados iniciais de projetos de P&D em dados podem ser incertos, mas o próprio processo de gerar valor a partir de dados é uma metodologia comprovada
- Investimento contínuo e de longo prazo em P&D é essencial para acelerar a inovação e enfrentar os desafios do setor social

É difícil contratar e dar suporte a cientistas de dados, e cientistas de dados que trabalham sozinhos têm baixa satisfação

Dificuldades do ponto de vista da organização
- Contratação
  - É difícil identificar e avaliar candidatos adequados quando não há cientistas de dados já atuando na organização
  - O termo “cientista de dados” tem definição ambígua, pois abrange diversas habilidades e experiências
- Atrair e reter talentos
  - A alta demanda por cientistas de dados cria um mercado de contratação competitivo
  - Além do fator motivacional de resolver problemas sociais, é preciso oferecer trabalho técnico interessante, salário competitivo e oportunidades de desenvolvimento profissional
  - Na fase inicial de contratação, é ainda mais difícil reunir esses elementos
- Gestão e suporte
  - Para que cientistas de dados mantenham a produtividade, é necessário definir claramente o escopo do problema e fornecer direcionamento, infraestrutura e dados
  - A falta de formação técnica facilita subestimar ou superestimar a dificuldade do trabalho
Dificuldades do ponto de vista do desenvolvedor
- Aprendizado e crescimento
  - A ciência de dados é uma área que evolui rapidamente, e oportunidades de aprender e crescer dentro da equipe são importantes
  - Em ambientes onde revisão de código, feedback sobre modelos e divisão da carga de trabalho são difíceis, as oportunidades de crescimento ficam limitadas
- Falta de direcionamento e suporte
  - Quando o trabalho não recebe suporte adequado, a satisfação e a produtividade dos cientistas de dados caem
- Prazer no trabalho
  - Discutir problemas e resolvê-los com colegas aumenta a satisfação no trabalho
  - Isso até pode ser resolvido em redes externas, mas a colaboração dentro da organização é mais eficiente
Sinais de mudança
- Recentemente, tem aumentado o número de organizações do setor social que montam suas próprias equipes de dados
- A DrivenData participa como parceira apoiando a contratação de cientistas de dados e engenheiros em início de carreira, o onboarding e a transição de trabalho
- Colaborar com equipes externas especializadas em ciência de dados para oferecer capacidade flexível beneficia tanto as organizações quanto os cientistas de dados
Perspectivas futuras
- Algumas organizações começaram a ter sucesso na construção de equipes de dados, mas a demanda por habilidades em ciência de dados continua alta
- Espera-se que o desafio de construir equipes de dados do zero continue

O open source não desenvolve soluções suficientes para não desenvolvedores

Limitações do open source
- Softwares de código aberto frequentemente evoluem bem porque a comunidade de desenvolvedores muitas vezes é a mesma dos usuários
- Os contribuidores se sentem motivados a melhorar ferramentas que eles próprios vão usar
- Porém, essa motivação não atua da mesma forma em ferramentas voltadas para não desenvolvedores ou não especialistas
Desafios de ferramentas para não especialistas
- Em projetos de ciência de dados, é comum desenvolver metodologias e ferramentas para não desenvolvedores
- Mesmo quando são disponibilizados como open source, se não houver investimento e desenvolvimento contínuos, os projetos estagnam ou são interrompidos
- Para de fato evoluir para uma solução bem-sucedida, é preciso desenvolvimento adicional após a fase de protótipo e testes-piloto realistas
Exemplo concreto: Concept to Clinic
- Em 2017-18, foi desenvolvido um aplicativo aberto que usa IA para ajudar radiologistas a processar tomografias computadorizadas
- Para incentivar contribuições, foi introduzido um sistema estruturado de incentivos que oferecia pontos e recompensas financeiras aos contribuidores
- Sem essa abordagem, é bem provável que o desenvolvimento do projeto não tivesse sido possível
Requisitos para um sucesso sustentável em open source
- Apenas publicar algo como open source não garante impacto de longo prazo
- Para evoluir de protótipo para solução voltada ao usuário final, são necessários um roadmap claro e financiamento contínuo
- Ao desenvolver aplicações importantes, open source é apenas parte da jornada, e não deve ser o objetivo final

O hype tecnológico recebe atenção excessiva

Setor social e inovação tecnológica
- O setor social esteve intimamente ligado, ao longo dos últimos 10 anos, às ondas de novas inovações tecnológicas
- Organizações, com recursos limitados, são tentadas a adotar novas tecnologias para aumentar a eficiência
- A pressão para não ficar para trás em relação às tendências tecnológicas mais recentes faz com que mudem de estratégia com frequência
Problemas da adoção de tecnologias superestimadas
- É difícil separar, dentro do hype tecnológico, os elementos de inovação realmente essenciais
- Muitas vezes, a adoção tecnológica leva a expectativas excessivas e execução deficiente
- Ex.:
  - Blockchain: apesar das expectativas elevadas, trouxe poucos benefícios concretos ao setor social
  - Aplicativos móveis: mesmo quando não eram realmente necessários, a pressão de que eram “indispensáveis” gerou gastos ineficientes
Importância de organizações técnicas especializadas
- Organizações compostas por especialistas em tecnologia, capazes de lidar de forma eficiente com o hype, tendem a apresentar os melhores resultados
- A DrivenData colabora com a DataKind, a DSSG Fellowship, a Delta Analytics e outras organizações, aproveitando sua especialização técnica
- No entanto, até esses grupos especializados têm dificuldade para acumular de forma sistemática as lições aprendidas com hypes tecnológicos do passado
Mudança necessária: um “quebra-mar” contra o hype tecnológico
- É preciso ter capacidade para separar a inovação real das expectativas exageradas e identificar os avanços centrais
- É indispensável uma liderança técnica que combine entendimento de tecnologias de ponta com uma compreensão profunda do setor social
- Hoje, faltam essa liderança e esse ecossistema, e é necessário construí-los para estabelecer uma abordagem contínua e madura
Abordagem estratégica para tecnologias recentes, como a IA
- O potencial da IA é enorme, mas exige estratégia cuidadosa e profunda especialização, não entusiasmo superficial
- Sem construir uma base sólida orientada por dados, há o risco de repetir ciclos ineficientes de hype tecnológico
- Sem investimento estrutural e planejamento, será difícil para a inovação tecnológica no setor social gerar resultados reais

Ciência de dados e IA têm grandes implicações éticas, mas a adoção acelerada supera as ferramentas e práticas que as sustentam

Expansão da ciência de dados e da IA e sua importância ética
- Ciência de dados e machine learning estão sendo integrados a diversas áreas, como saúde, resposta a desastres e sentenças criminais
- Os riscos decorrentes de uso inadequado se tornaram muito maiores do que antes
A realidade da falta de consideração ética
- Cientistas de dados têm uma perspectiva singular para entender as implicações éticas de modelos e pipelines
- No entanto, essa perspectiva muitas vezes não é integrada ao ciclo de vida dos projetos de ciência de dados
Desenvolvimento de um checklist open source para lidar com trade-offs éticos
- O checklist foi integrado ao fluxo de trabalho de ciência de dados para permitir a discussão de trade-offs éticos
- Princípios principais:
  - Decisões éticas devem reconhecer os trade-offs mais importantes em cada contexto específico e buscar avançar com responsabilidade, minimizando danos
  - Questões éticas surgem em todas as etapas do projeto, incluindo coleta, armazenamento, análise, modelagem e implantação de dados
  - Discussões éticas muitas vezes perdem prioridade diante de prazos apertados e demandas urgentes
  - Para evitar isso, é preciso integrar questões éticas a outros aspectos do fluxo de trabalho e reservar tempo de forma intencional
Equidade algorítmica e mitigação de viés
- Modelos treinados com dados enviesados reproduzem desigualdades, por isso estão sendo desenvolvidas técnicas para identificar e mitigar esse problema
- Ex.: em colaboração com a Wellcome Trust, foi criado um caso de mitigação de viés com foco em equidade em um modelo de previsão de estresse psicológico
  - Métricas quantificadas de equidade foram usadas para analisar vieses e oferecer formas de mitigação
A importância das considerações éticas na era da IA
- Ao mesmo tempo em que a IA se espalha rapidamente, empresas estão desmantelando equipes de IA responsável para cortar custos
- No setor social, a responsabilidade com os beneficiários é maior, então o custo de falhas éticas também é mais alto
- Se as práticas éticas não forem fortalecidas, a adoção de IA pode gerar problemas ainda maiores
Conclusão
- Construir ferramentas e práticas éticas para apoiar a adoção de IA é mais importante do que nunca
- É preciso garantir confiança e sustentabilidade no setor social por meio do uso responsável da tecnologia

Perspectivas futuras

Mudanças e oportunidades na ciência de dados
- Nos últimos 10 anos, a ciência de dados liderou mudanças importantes no setor social, vivenciando ao mesmo tempo sucessos e desafios
- A percepção sobre o potencial dos dados e da IA aumentou, mas ainda existem grandes questões a serem resolvidas:
  - Como aplicar, de forma prática, o avanço contínuo da tecnologia aos maiores problemas sociais?
  - Como garantir que os benefícios não fiquem concentrados apenas em algumas grandes empresas?
  - Como viabilizar uma implementação responsável da tecnologia em benefício da natureza e da humanidade?
A importância das lições aprendidas com a experiência
- Os esforços baseados nas lições obtidas com experiências passadas geram os maiores resultados
- A DrivenData tem orgulho de fazer parte de uma comunidade de parceiros, clientes e desenvolvedores que usam dados e IA para o bem social
- Se você tem interesse em temas semelhantes ou ideias adicionais, o compartilhamento é bem-vindo
Expectativas para o futuro
- Se os últimos 10 anos foram brilhantes, espera-se que os próximos 10 tragam mudanças ainda maiores
- Há muito trabalho a ser feito, e também muito a aprender
- Há expectativa por um futuro que enfrente esses desafios, explore novas possibilidades e gere um impacto social melhor

1 comentários

halfenif 2025-01-23

"Os maiores talentos da minha geração estão dedicando seu pensamento a fazer as pessoas clicarem em anúncios… Isso é realmente frustrante."

Pensando bem, faz sentido mesmo.

10 anos de lições em ciência de dados para o bem social

Prévia de 10 lições principais

Casos em que a ciência de dados funcionou bem

Pontos que ainda são desafiadores

Os tempos estão mudando

Casos em que a ciência de dados funcionou bem

A ciência de dados gera impacto significativo em problemas sociais

Bons dados levam a boas soluções, e a acessibilidade aos dados melhorou muito

Os esforços têm mais sucesso quando focam em problemas concretos e necessidades humanas

As soluções são mais eficazes quando combinam os pontos fortes das máquinas e dos humanos

Perspectivas multidisciplinares e flexibilidade ajudam as organizações

O que ainda continua sendo desafiador

Ciência de dados é iterativa, e o setor social investe pouco em P&D

É difícil contratar e dar suporte a cientistas de dados, e cientistas de dados que trabalham sozinhos têm baixa satisfação

O open source não desenvolve soluções suficientes para não desenvolvedores

O hype tecnológico recebe atenção excessiva

Ciência de dados e IA têm grandes implicações éticas, mas a adoção acelerada supera as ferramentas e práticas que as sustentam

Perspectivas futuras

Leituras relacionadas

1 comentários