AI Infra:TernFS,面向大体积、不可变场景的高性能分布式文件系统
一、定位TernFS 是 XTXMarkets 开源设计 的分布式存储引擎,专为 超大规模、极少修改的大数据文件存取场景 而生。目标用户:机器学习训练、科学计算输出、日志归档等 数据密集型行业。其写入即终局、读多写少的行为模式与当前系统优化方向高度契合。二、核心架构TernFS 采用模块化分层设计,关键组件如下:Registry:全局配置中心,负责元信息协调与服务注册Metadata Shards:目录 / 文件结构映射关系的分区管理单元Block Services:实际存储文件块的数据节点,高可靠、强冗余CDC:跨 shard 操作协调器,处理重命名、移动等事务客户端接口:支持 Lin...