更新时间:2024-05-15
- 多活元数据服务:EDS将目录分片后,分发到各个节点处理,充分利用所有节点的CPU算力,相比于传统存储和开源CEPH等分布式存储架构,元数据处理能力提升10倍以上。
- 元数据压缩机制:EDS通过自研元数据压缩算法,实现最大8:1的高效压缩比,结合目录分段技术,提升存储内存缓存元数据的规模,可实现百亿规模小文件元数据热数据全量缓存到内存,元数据访问时延降低至0.01ms。
- 三级缓存机制
• 通过高性能专有客户端,将计算服务器内存转换成一级缓存,数据和元数据就近访问,实现us级访问时延,EDS专有客户端兼容windows和Liunx操作系统,覆盖场景全,如实景三维、医疗PACS、3D设计等;
• 将存储内存构建成第二级缓存,并结合基于时间和目录内存预加载技术,提升数据读取性能;
• 将大容量NVMe固态硬盘构建成三级缓存,并结合分层动态共享技术,根据业务读写IO比例动态调整读写缓存大小,保障最优的IO性能。
- 排序聚合追加写:文件每笔IO写入NVMe后,会先进行排序,尽量将同个文件的每笔IO排列在一起聚合成64MB大文件,以追加写的模式回刷到HDD,避免写放大造成空间浪费,并可消除机械盘随机IO和有效避免纠删码写惩罚性能影响,提升数据回刷速度,保障在持续大带宽写入场景,提供稳定的高吞吐能力。
- 基于RDMA的低延时网络:在业务网和存储私网,EDS通过Roce v2协议来代替TCP/IP协议,通过RDMA技术直接访问远端已注册的内存区域,数据I/O直接在应用和硬件网卡间传递,RoCE v2网络时延仅us级,是TCP/IP网络的十分之一。