Ceph性能优化总结(v0.94)(2)

swappiness, 主要控制系统对swap的使用,这个参数的调整最先见于UnitedStack公开的文档中,猜测调整的原因主要是使用swap会影响系统的性能。

echo "vm.swappiness = 0" | tee -a /etc/sysctl.conf

I/O Scheduler,关于I/O Scheculder的调整网上已经有很多资料,这里不再赘述,简单说SSD要用noop,SATA/SAS使用deadline。

echo "deadline" > /sys/block/sd[x]/queue/scheduler echo "noop" > /sys/block/sd[x]/queue/scheduler

cgroup

这方面的文章好像比较少,昨天在和Ceph社区交流过程中,Jan Schermer说准备把生产环境中的一些脚本贡献出来,但是暂时还没有,他同时也列举了一些使用cgroup进行隔离的原因

不在process和thread在不同的core上移动(更好的缓存利用)

减少NUMA的影响

网络和存储控制器影响 - 较小

通过限制cpuset来限制Linux调度域(不确定是不是重要但是是最佳实践)

如果开启了HT,可能会造成OSD在thread1上,KVM在thread2上,并且是同一个core。Core的延迟和性能取决于其他一个线程做什么。

这一点具体实现待补充!!!

2. Ceph Configurations [global] 参数名描述默认值建议值
public network   客户端访问网络       192.168.100.0/24  
cluster network   集群网络       192.168.1.0/24  
max open files   如果设置了该选项,Ceph会设置系统的max open fds   0   131072  

查看系统最大文件打开数可以使用命令

cat /proc/sys/fs/file-max [osd] - filestore 参数名描述默认值建议值
filestore xattr use omap   为XATTRS使用object map,EXT4文件系统时使用,XFS或者btrfs也可以使用   false   true  
filestore max sync interval   从日志到数据盘最大同步间隔(seconds)   5   15  
filestore min sync interval   从日志到数据盘最小同步间隔(seconds)   0.1   10  
filestore queue max ops   数据盘最大接受的操作数   500   25000  
filestore queue max bytes   数据盘一次操作最大字节数(bytes)   100 << 20   10485760  
filestore queue committing max ops   数据盘能够commit的操作数   500   5000  
filestore queue committing max bytes   数据盘能够commit的最大字节数(bytes)   100 << 20   10485760000  
filestore op threads   并发文件系统操作数   2   32  

调整omap的原因主要是EXT4文件系统默认仅有4K

filestore queue相关的参数对于性能影响很小,参数调整不会对性能优化有本质上提升

[osd] - journal 参数名描述默认值建议值
osd journal size   OSD日志大小(MB)   5120   20000  
journal max write bytes   journal一次性写入的最大字节数(bytes)   10 << 20   1073714824  
journal max write entries   journal一次性写入的最大记录数   100   10000  
journal queue max ops   journal一次性最大在队列中的操作数   500   50000  
journal queue max bytes   journal一次性最大在队列中的字节数(bytes)   10 << 20   10485760000  

Ceph OSD Daemon stops writes and synchronizes the journal with the filesystem, allowing Ceph OSD Daemons to trim operations from the journal and reuse the space.

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8b74df59ba43119a11c67ed8f8c892e3.html