AI Infra：LanceDB，AI原生多模态数据湖仓
https://github.com/lancedb/lancedb
开源多模态向量数据库 + AI 湖仓**，基于列式格式 Lance，整合向量检索、全文检索、SQL、版本控制、对象存储支持，支持本地嵌入和云部署。
一、核心技术
LanceDB 的差异化在于"文件优先 + 版本控制 + 多模态一体化"，特别适合需要成本控制、可追溯、RAG 场景的企业级应用。
- Lance 格式：列式容器，针对向量随机访问优化，支持零拷贝、版本化、碎片管理
- 对象存储优先：支持本地 NVMe + S3/GCS/Azure 灵活部署
二、主要功能
- 向量检索（ANN、多向量）
- 全文检索（BM25）+ 混合检索 + 重排
- SQL 查询 + 版本控制（Time-travel）
- 多模态存储（向量/文本/图像/bytes）
- 零拷贝分片 + GPU 加速
三、典型场景
- RAG：版本化数据 + 混合检索
- Agent 记忆：时间旅行回溯
- 特征工程：训练数据仓库
- 大规模检索：Billion-scale，S3 + IVF-PQ
四、优势与挑战
优势：
- 文件/对象存储优先，成本友好
- 内建版本控制，合规实验友好
- 多模态 + SQL/FTS 集成，数据无搬运
劣势：
- 索引构建耗时内存大
- 需调参优化召回/延迟
- 与 Pinecone/Milvus 等竞品各有定位