性能测试

CPU和内存性能测试

测试环境

操作系统: CentOS 7 云平台版本: >= v3.7.7 宿主机: Dell PowerEdge R730xd - CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz - 内存: DDR4 2133 MHz 256GB (16GB x 16) - 磁盘: 机械盘 20TB PERC H730P Mini (RAID 10) - 网卡: 10000Mb/s

安装测试软件

测试工具:

• UnixBench: 测试虚拟机CPU性能
• mbw: 测试内存性能

# 安装 UnixBench
$ yum install -y git gcc autoconf gcc-c++ time perl-Time-HiRes
$ git clone https://github.com/kdlucas/byte-unixbench.git

# 安装 mbw
$ git clone https://github.com/raas/mbw.git && cd mbw
$ make && ./mbw 512

CPU 测试

测试命令:

$ cd byte-unixbench/UnixBench
$ ./Run -c 1 whetstone-double dhry2reg fsdisk

结论:

内存测试

结论:

本地存储IO测试

测试方法

采用fio，分别用如下场景和命令测试：

• 4KB随机读

fio --name=random-read --ioengine=posixaio --rw=randread --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1

• 4KB随机写

fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1 --end_fsync=1

• 4K顺序读

fio --name=random-read --ioengine=posixaio --rw=read --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1

• 4K顺序写

fio --name=random-write --ioengine=posixaio --rw=write --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1 --end_fsync=1

• 1MB顺序读

fio --name=seq-read --ioengine=posixaio --rw=read --bs=1m --size=16g --numjobs=1 --iodepth=1 --runtime=60 --time_based --direct=1

• 1MB顺序写

fio --name=seq-write --ioengine=posixaio --rw=write --bs=1m --size=16g --numjobs=1 --iodepth=1 --runtime=60 --time_based --direct=1 --end_fsync=1

测试环境

• 物理机

  OS: CentOS Linux release 7.9.2009 (Core) 内核：3.10.0-1062.4.3.el7.yn20191203.x86_64 CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz 内存：256G RAID控制器：Broadcom / LSI MegaRAID SAS-3 3108 RAID Level: RAID10

• Linxu 虚拟机

  OS: CentOS Linux release 7.6.1810 (Core) 内核：3.10.0-957.12.1.el7.x86_64 配置：4核CPU4G内存30G系统盘100G数据盘

• Windows 虚拟机

  OS: Windows Server 2008 R2 Datacenter 6.1 配置：4核CPU4G内存40G系统盘100G数据盘

测试结果

测试结论

1. 和物理机相比，在4KB随机读写，1MB顺序读写方面，有10%左右的虚拟化开销。可以认为虚拟机性能和物理机相当。由于缓存的作用，虚拟机性能在某些场景甚至超过物理机。
2. 开启writeback和多队列之后，写性能有明显加速
3. 在4KB顺序读写性能方面，虚拟机仅有物理机的一半性能。这是因为磁盘采用thin provision方式，虚拟机内的顺序读写转换到物理机其实是随机读写。为了改善虚拟机4KB顺序读写性能，需要将虚拟磁盘文件进行预分配。这样虚拟机内的顺序读写在物理机也是顺序读写。

共享存储(ceph)IO性能测试

测试环境

1、宿主机配置：

OS: CentOS Linux release 7.9.2009 (Core)
内核：3.10.0-1062.4.3.el7.yn20191203.x86_64
CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz
内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.6.1810 (Core)
内核：3.10.0-957.12.1.el7.x86_64
配置：4核CPU4G内存30G系统盘100G数据盘

3、Ceph存储配置

网卡：2x10G双光口存储网 + 2x10G双光口接入网
磁盘：全闪SSD

测试数据

测试结论

1. 开启writeback和多队列能够明显提升写性能
2. 读性能比较难优化，可以调高虚拟机内的 read ahead 缓存（blockdev –setra /dev/sda）
3. Ceph并未把网络打满，也未能用满SSD的性能，性能瓶颈感觉还是在软件层面

网络测试

测试条件

1. 默认情况下虚拟机有流量限制，需要在前端或者用命令行工具 climc server-change-bandwidth 把带宽改为 0 ，表示取消限速。

2. 默认情况下，VPC虚拟机的EIP也有带宽限制（默认30Mbps），也需要在前端，或者用climc修改限制为0，表示取消限制。

测试方法:

# 找一台机器运行 iperf server 模式，假设 ip 是 10.127.100.3
$ iperf3 -s --bind 10.127.100.3

# 在另外一台机器作为 iperf client 模式连接 server
$ iperf3 -c 10.127.100.3 -t 30

以上重复执行三次，取最好的一次。

经典网络性能测试

环境

1、宿主机配置：

OS: CentOS Linux release 7.9.2009 (Core)
内核：3.10.0-1062.4.3.el7.yn20191203.x86_64
CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz
内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.6.1810 (Core)
内核：3.10.0-957.12.1.el7.x86_64
配置：2核CPU 2G内存 30G系统盘

结论

说明：饱和流量测试，网路虚拟化开销很低（1%量级）。

VPC网络性能测试

测试环境

1、宿主机配置：

OS: CentOS Linux release 7.7.1908 (Core)
内核：5.4.130-1.yn20210710.el7.x86_64
CPU: Intel(R) Xeon(R) Gold 5218R CPU @ 2.10GHz
内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.8.2003
内核：3.10.0-1127.el7.x86_64
配置：2核CPU 2G内存 30G系统盘

结论

说明：饱和流量情况下，网络虚拟化开销很低（3%量级）。由于转换路径较长，EIP的性能要差很多（36%损耗）。