Nemo - a plataforma de descoberta de dados do Facebook

 (engineering.fb.com)
9 pontos por xguru 2020-10-14 | 1 comentários | Compartilhar no WhatsApp
  • Grandes organizações costumam construir separadamente mecanismos internos de busca de dados e metadados

→ Netflix (Metacat), Lyft (Amundsen), Linkedin (DataHub), Uber (Databook)

→ Uma plataforma que facilita a reutilização ao permitir buscar metadados, como quais dados foram criados, pesquisados e utilizados, por quem e quando

  • Integra Hive, Scuba, Cubrick, vários dashboards e conjuntos de dados de IA

  • Usa o Unicorn, utilizado para busca no grafo social

  • Permite consultas em linguagem natural com spaCy: "Quantos WAU (usuários ativos semanais) o Instagram tem?"

Leituras relacionadas

1 comentários

 
xguru 2020-10-14

O Nemo não foi disponibilizado como open source, e as ferramentas de outras empresas foram disponibilizadas como open source.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

Linkedin - DataHub https://github.com/linkedin/datahub