数据Infra:基于 DuckDB 设计的分布式数据平台 - DuckNest
注:这是一次思想实验,是与 DuckLake 数据仓库相反的创新路径一、创新目标构建一个名为 DuckNest 的系统,它在 DuckDB 的基础上进一步进化,成为一个:自带查询语言的文件容器可运行在边缘端的轻量分析平台支持增量更新和版本控制的数据仓库雏形这个系统将不再只是一个数据库引擎,而是一个可以“即插即查”的数据立方体(Data Cube)。二、系统架构概览:DuckNest = DuckDB + 新元组件组件原有功能设计目标数据存储列式、内存优先支持嵌入式版本控制(类似 Git for Data)查询引擎内存向量化执行可扩展 SQL DSL,允许“声明式计算”文件格式Parque...