Datasette Cloud: plataforma de hospedagem SaaS para Datasette

 (datasette.cloud)
2 pontos por GN⁺ 2023-08-22 | 1 comentários | Compartilhar no WhatsApp
  • Datasette Cloud hospeda o Datasette open source como um SaaS para equipes, permitindo compartilhar dados em espaços privados e publicar externamente apenas os dados necessários
  • O foco inicial são redações, ajudando jornalistas a distribuir dados para suas equipes e para o público sem precisar configurar e operar servidores por conta própria
  • Cada equipe cria um space privado em uma região próxima e recebe contêineres seguros baseados na Fly.io e um subdomínio space-name.datasette.cloud
  • É possível importar dados de CSV, URLs, open data governamentais baseados em Socrata, arquivos SQLite e pela Datasette Write JSON API, além de editá-los diretamente pela UI web
  • No futuro, serão adicionadas consultas assistidas por IA, publicação de tabelas e consultas selecionadas, anotações de dados e precificação; por enquanto, é possível começar agendando uma demonstração pelo Zoom ou solicitando acesso ao preview

Espaço privado de colaboração em dados para equipes

  • Datasette Cloud é uma plataforma de hospedagem SaaS para o projeto open source Datasette
  • Equipes podem criar um space privado para trabalhar com dados, compartilhá-los com segurança entre membros e depois publicar parte deles externamente
  • Os primeiros usuários são voltados a redações
    • O Datasette nasceu no jornalismo de dados
    • O objetivo é permitir que jornalistas compartilhem dados sem precisar configurar e operar o Datasette por conta própria em um provedor de hospedagem
  • Empresas e organizações fora do jornalismo também podem usar o Datasette Cloud
  • Usuários que estão conhecendo o Datasette pela primeira vez podem ver demonstrações em vídeo e tutoriais no site do projeto open source

Importação de dados e formas de acesso

  • Cada space é hospedado em uma região próxima ao usuário e roda em um contêiner seguro e isolado baseado na Fly.io
    • Cada space tem um subdomínio space-name.datasette.cloud
    • Administradores do space podem convidar membros adicionais
  • Membros da equipe podem importar dados por vários caminhos
    • Criar tabelas enviando arquivos CSV
    • Carregar arquivos CSV a partir de URLs
    • Importar de portais governamentais de open data baseados em Socrata
    • Criar um novo banco de dados enviando arquivos de banco SQLite
    • Importar dados usando a Datasette Write JSON API
  • Os dados importados podem ser editados inline na interface web do Datasette Cloud
  • Para exploração de dados e acesso por API, são usadas as ferramentas existentes do Datasette
    • Interface web do Datasette com suporte a filtros, facetas, execução de consultas SQL e bookmarks de resultados
    • O tutorial e a demonstração ao vivo estão disponíveis em Exploring a database with Datasette
    • Learn SQL with Datasette orienta como consultar dados com SQL
    • Acesso a tabelas e execução de consultas SQL por uma JSON API protegida por tokens de API granulares
    • Acesso a dados tabulares por uma GraphQL API baseada no plugin datasette-graphql
  • Todos os dados são armazenados com segurança em Fly volumes e também são copiados para o S3 usando Litestream

Recursos planejados e como começar

  • Os recursos que serão adicionados em breve são os seguintes
    • Consultas assistidas por IA: estão pesquisando maneiras de aplicar de forma responsável à exploração de dados por jornalistas os modelos de linguagem de grande escala que servem de base para OpenAI ChatGPT, Anthropic Claude e Google Bard; mais informações em llm.datasette.io
    • Recurso para publicar externamente tabelas e consultas selecionadas
    • Anotações de dados, permitindo que equipes adicionem comentários a colunas e linhas para colaborar na análise de dados e ajudar a encontrar histórias dentro dos dados
    • Precificação que permita pagar pelo produto
  • Usuários podem agendar uma sessão de demonstração pelo Zoom para se tornar um dos primeiros usuários, ou solicitar acesso ao preview sem uma demonstração

Leituras relacionadas

1 comentários

 
GN⁺ 2023-08-22
Opiniões no Hacker News

  • Tive sucesso ao implantar o Datasette internamente para hospedar muitos dados de pesquisa grandes demais (100 MB a 20 GB) para compartilhar com usuários comuns ou deixá-los consumir diretamente
    Antes, era preciso compartilhar apenas um resumo em nível bem alto e alguns pontos de dados, criar um app mínimo em Django ou usar uma solução muito mais pesada, como o Metabase
    Quando os dados chegam a um porte intermediário, não dá para mandar os resultados por e-mail; métodos com os quais os clientes estão acostumados, como compartilhamentos de rede ou SharePoint, também têm limites; e usuários comuns geralmente só sabem usar Excel, então travam imediatamente quando os dados ficam grandes
    Agora podemos fornecer praticamente qualquer dado que já tenha passado por algum processamento e entregar algumas visualizações e um tutorial de menos de 5 minutos (“isto é um Super Excel, e é assim que você filtra”), e os usuários exploram por conta própria
    Depois da primeira implantação, ao olhar os logs, vi que mesmo sendo uma pesquisa comum os usuários estavam batendo muito no sistema, o que me fez pensar em quantas perguntas detalhadas eles teriam deixado de fazer antes para não incomodar. Depois do Datasette, as perguntas ficaram muito mais sofisticadas, porque eles já resolveram sozinhos o básico

    • É realmente um excelente caso de sucesso, e me deu vontade de reunir esses estudos de caso
      Gosto especialmente da expressão “isto é um Super Excel, e é assim que você filtra”

  • Eu já tinha ouvido o nome Datasette algumas vezes, mas nunca tinha ido entender direito para que servia
    O vídeo da landing page explica muito bem, o que não é tão comum nesses casos
    Simon e todo o projeto merecem parabéns, e espero que o serviço em nuvem também dê certo

    • Não sei onde está o vídeo. Cliquei no post do blog e na página inicial, mas não o vi

  • Datasette é um projeto aberto do Simon Willison, bastante conhecido no HN, e isto parece um projeto de monetização. Espero que dê certo e que o Softbank o compre em breve :-)
    Parece mais uma ferramenta para encapsular arquivos SQLite e facilitar sua publicação; talvez algo como um Tableau para SQLite

    • Softbank não é o objetivo
      Datasette é o primeiro projeto em toda a minha carreira em que consigo me imaginar ainda trabalhando daqui a 15 anos sem ficar entediado. A variedade de aplicações interessantes que dá para criar a partir da ideia central é realmente ampla
      Por isso quero trabalhar nele por décadas, mas fazer isso sozinho é solitário; mesmo que a comunidade esteja crescendo e seja divertida, não é a mesma coisa que ter uma equipe em tempo integral
      O problema que estou tentando resolver agora é como tornar o projeto financeiramente sustentável no longo prazo. Preciso poder pagar salários não só a mim, mas também à equipe que trabalhar comigo
      Já há muitos exemplos de projetos open source, como WordPress ou GitLab, que criaram um modelo de negócios sustentável com hospedagem SaaS, e isso parece um caminho relativamente bem pavimentado
      Também quero que as pessoas consigam realmente usar meu software. Hoje, para uma pessoa usar o Datasette, ela precisa instalá-lo com pip ou brew, ou usar o app Electron para macOS https://datasette.io/desktop, mas eu quero que redações possam usá-lo para colaborar com dados. A maioria das redações não está acostumada a configurar servidores Linux
      A versão SaaS hospedada ajuda usuários que considero importantes a obter valor real e também oferece um caminho realista para a sustentabilidade financeira do projeto como um todo
      Claro, eu também gostaria de ganhar bastante dinheiro com isso
    • Seria bom se houvesse investimento para tornar o Datasette mais acessível e fácil de usar para pessoas comuns
      Hoje, a UX e a configuração parecem mais voltadas a hackers de dados interessados em reportagem, e ele não aparece muito como uma ferramenta padrão para reportagem orientada por dados ou jornalismo de dados
      Se os usuários pretendidos são jornalistas que talvez não tenham habilidade de hackear dados, a barreira de entrada precisa ser mais baixa
      O Datasette não é uma ferramenta de BI nem uma ferramenta de OSINT e, do jeito que está, ocupa um nicho muito estreito entre entusiastas de dados e repórteres investigativos, o que limita bastante seu potencial
      Simon deveria considerar a monetização, especialmente contratar alguém para tornar o Datasette Cloud mais acessível. Criar um app com GUI parece um passo na direção certa
    • Não é uma forma meio cínica de dizer isso?

  • Não quero estragar o clima, mas mesmo depois de assistir a todos os vídeos de introdução ao Datasette, sinto que estou deixando passar alguma coisa
    Isso não é, na prática, uma GUI de SQL? Parece quase igual a outros painéis de administração de SQL, só que sem recursos de escrita
    Fico curioso para saber qual é o diferencial, se é a extensibilidade

    • Está mais próximo do MS Access, mas acho uma forma mais sensata porque o backend é SQLite e Python
      Há inúmeros processos de negócios importantes montados à força com Excel e Access, e o Datasette pode ser uma opção muito melhor para esse tipo de uso. É uma ferramenta que tanto desenvolvedores quanto responsáveis pelas áreas de negócio podem usar
    • É uma pergunta muito justa, e venho pensando nisso há 5 anos, mas ainda não tenho uma resposta que caiba perfeitamente em uma única frase
      O problema que o Datasette resolve melhor é publicar dados estruturados online
      Por exemplo, se você quiser compartilhar online uma lista de usinas do mundo todo ou todo o histórico do Congresso dos EUA, pode colocar um CSV em um site/GitHub/S3, criar uma aplicação customizada em Django/Rails, ou usar Google Sheet. A forma como o Guardian resolveu isso no passado com Google Sheet está em https://simonwillison.net/2018/Aug/19/instantly-publish-data...
      O Datasette foi criado originalmente para resolver esse problema, e achei que o SQLite era perfeito para isso. É rápido e robusto e, se você está publicando dados somente leitura, pode implantá-lo em qualquer lugar capaz de hospedar um app web dinâmico, sem se preocupar com backup ou replicação
      O exemplo das usinas do mundo todo está em https://global-power-plants.datasettes.com/global-power-plan..., e os dados dos parlamentares do Congresso dos EUA estão em https://congress-legislators.datasettes.com/legislators. Este último também é usado no tutorial do Datasette https://datasette.io/tutorials/explore
      Se você está à vontade com a linha de comando, será difícil encontrar uma forma mais rápida do que colocar e limpar um CSV no SQLite com sqlite-utils e depois publicar com datasette publish vercel e o plugin datasette-cluster-map
      Este é um exemplo usando o plugin datasette-publish-vercel, mas o Datasette também pode publicar no Fly, Google Cloud Run, Heroku etc. com plugins adicionais: https://docs.datasette.io/en/stable/publish.html
      A parte de limpeza de dados com sqlite-utils está explicada com mais detalhes em https://datasette.io/tutorials/clean-data
      Ao longo dos últimos 5 anos, o Datasette passou de ferramenta de publicação a uma ferramenta que uso sempre que quero inspecionar e explorar dados. Do ponto de vista do jornalismo de dados, isso corresponde a “encontrar histórias nos dados”
      Mesmo no uso comercial, tenho uma forte intuição de que, se ele pode ajudar jornalistas a encontrar histórias nos dados, também pode ajudar todas as outras pessoas a encontrar histórias em seus próprios dados
      Outro ponto central são os plugins. Assim como o WordPress é um bom CMS e, ao mesmo tempo, com mais de 10 mil plugins, passou a lidar com quase todo problema de publicação de conteúdo e a representar uma porcentagem de dois dígitos da web, a visão mais ambiciosa do Datasette é parecida
      Quero criar uma ferramenta open source de análise exploratória de dados (EDA) e publicação, e permitir que milhares de plugins resolvam problemas de exploração, análise, visualização e publicação de dados
      Hoje são 127 plugins, então ainda há um longo caminho, mas é um bom começo: https://datasette.io/plugins
      Resumindo em uma frase, seria “Datasette é a forma mais rápida de publicar dados online como um banco de dados interativo e pesquisável”, ou “WordPress para dados: uma plataforma open source extensível para exploração, análise, visualização e publicação”

  • Simon, parece muito bom e espero que dê certo
    Nos últimos anos fiz muitas coisas legais com o Datasette e recomendo muito. Também pretendo testar o datasette.cloud com certeza

  • O Datasette é excelente
    No meu emprego anterior, criei uma forma meio forçada de implantar o Datasette na nuvem Azure interna para compartilhar rapidamente resultados de consultas SQL complexas, então fico feliz em ver que o próprio Simon lançou o .cloud

  • Depois de conhecer o Simon pelo podcast Latent Space, passei algumas semanas vendo o blog dele e vários vídeos no YouTube
    Como ex-jornalista, eu queria aprender jornalismo de dados, e talvez tente isso quando estiver disponível ao público

  • É interessante ver o jornalismo de dados evoluir agora para algo como colocar CSVs na nuvem
    Antigamente, nas convenções da I.R.E., o assunto mais quente era aprender a extrair e decodificar dados de fitas de 9 trilhas
    Nos primórdios da FOIA, o governo costumava despejar enormes quantidades de informações em gigantescos rolos de dados de 9 trilhas e dizer que “havia cumprido a solicitação”, atrapalhando a cobertura jornalística
    Quase nenhuma redação tinha esse tipo de equipamento ou capacidade técnica, então era preciso encontrar soluções por conta própria ou procurar empresas e instituições que pudessem ajudar
    I.R.E.: https://www.ire.org/

    • Costumo lembrar que o NICAR (National Institute for Computer-Assisted Reporting, ligado ao IRE) foi criado nos anos 1980 e lidava com mainframes
      Jornalismo de dados não é algo novo

  • Simon é um excelente tecnólogo
    Aprendi bastante com seus vídeos e textos, e espero que isso dê certo para ele

  • Achei que fosse uma referência ao drive de fita C2N Datasette do C64, e fiquei decepcionado ao ver que não era
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • Escrevi meu primeiro programa de “banco de dados” com um C64 e um Datasette
      Eu provavelmente tinha uns 7 anos e, na prática, ele não fazia muita coisa, mas o nome certamente é uma homenagem a isso
    • Eu esperava algo no espírito de “Floppy RAID” [1], só que algo ainda mais absurdo com tecnologia mais antiga
      1: https://youtu.be/1hc52_PWeU8
    • Eu também esperava a mesma coisa
      Ainda tenho um 1531 no sótão, ao lado de um C16