全闪分布式块存储性能实测1000万IOPS!

Ceph性能数据来源:Redhat对Ceph 使用三星PM1725A进行的性能测试报告

(查看性能测试视频)

 

性能测试说明

测试数据(简表)

 

测试方法

本次测试采用四台服务器作为存储节点搭建FASS,创建16个100GB双副本存储卷进行测试

8客户端压力读写,每个客户端读写2个存储卷,使用Intel SPDK自带的perf工具进行性能测试

perf工具命令样例:

 

网络环境

前端和后端网采用100Gbps IB网交换机,管理网采用10Gbps以太网交换机。

前端网和后端网通过不同网段隔离,与管理网物理隔离。

 

 网络拓扑图

服务器环境

服务器配置(四台):

服务器本地硬盘性能测试结果:

测试时间为300s,未到稳态,性能相较于SPEC略有差异,仅供参考

 

客户端环境

客户端配置1(4台):

客户端配置2(4台):

 

性能说明

本次性能测试因为受限于硬件环境瓶颈,未能发挥出FASS完整的性能,主要包括以下几点:

1、PCI-E 3.0 X16接口仅能提供128Gbps的带宽,其上的双口IB网卡的极限性能受到影响,仅能提供16GB/s带宽,加上网络和协议损耗,四个节点网络性能极限带宽为60GB/s左右;

2、且因为PCI-E总线数量不足,5块NVMe硬盘本需20条PCI-E,却仅提供了16条,且5块硬盘无法均匀分布,实际本地硬盘测试中,单节点4K随机读取IOPS仅为300万,FASS已经发挥出了本地硬件90%的IOPS;

3、NVMe SSD本身的SPEC规格(随机读/写IOPS:830K/360K),写入性能相对较低;

4、为保证客户数据安全,FASS默认为双副本卷,本次测试同样采用双副本进行测试,还原实际性能,双副本卷会造成写入IOPS性能损失一倍左右;

5、客户端有一半仅有40Gbps网卡,单节点带宽上限为5GB/s左右,四台客户端仅能提供20GB/s的压力,另外四台100Gbps网卡的客户端可以提供28GB/s的压力,如果均为100Gbps网卡,FASS理应提供56GB/s的带宽,发挥出带宽极限的93%。

(TaoCloud团队原创)

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页