zabbix告警,发现某台存放监控数据的数据库主机CPU的IOwait较高,一直持续较长时间。

登录服务器查看磁盘IO发现队列高达90%多,而且经常反复如此

通过iotop查看发现占用io较大的进程是mysql

登录mysql查看show processlist,发现基本上每次io队列较高时都是在insert时,以为是插入语句有问题,于是打开mysql慢查询日志,观察一段时间磁盘io仍然较高,但是发现并没有任何慢查询语句;  查找关于mysql IO问题优化资料,《【转载】sync_binlog和innodb_flush_log_at_trx_commit 浅析》说到 sync_binlog和innodb_flush_log_at_trx_commit 两个参数,这两个参数是控制MySQL 磁盘写入策略以及数据安全性的关键参数

 

mysql 占用大量写I/O

由于这台主机作为监控服务数据库,所以在部署之初没有做太多优化,配置基本保持默认,所以在每次事务提交都对应一次写操作,导致写操作太过频繁。  于是修改sync_binlog和innodb_flush_log_at_trx_commit参数    
set global sync_binlog=500; 
set global innodb_flush_log_at_trx_commit=2;
 

 修改完sync_binlog和innodb_flush_log_at_trx_commit两个参数后,观察一段时间发现CPU的IOwait明显降低

 查看参数设置

show variables like '%sync_binlog%';

show variables like '%innodb_flush_log_at_trx_commit';