Lance - o mais recente formato de dados colunares otimizado para fluxos de trabalho de ML

• Converte a partir de Parquet com 2 linhas de código e oferece acesso aleatório 100x mais rápido, indexação/busca vetorial e versionamento de dados
• Compatível com pandas, duckdb, polars, pyarrow etc.
• Zero-copy, versionamento automático
• Casos de uso ideais
  • Criação de mecanismos de busca e feature stores
  • Treinamento de grandes modelos de ML que exigem IO e shuffle de alto desempenho
  • Armazenar/consultar/inspecionar dados aninhados complexos, como em robótica e grandes Blobs (imagens, point clouds, ..)