简介:

  业务服务器有一台服务器出现意外down机,服务器ping 不通、无法登陆,本想通过公司KVM系统登陆系统重启解决,登陆KVM后发现系统屏幕打印大量的内核错误,KVM无法使用、无法发送重启服务器。果断联系 机房人员帮助手工重启,手动重启服务器后服务器运行状态回归正常。

  在服务器重启前通过KVM管理系统能看到系统屏幕上打印的内核错误,此时做了一个页面截屏,后根据屏幕打印的报错关键字,进行查找追踪发现原来我们的linux服务器内核bug问题导致。

  此内核BUG问题会直接导致服务器down机,查找相关资料发现这个内核BUG存在相关触发条件,下面对个人收集整理的一些资料进行归纳,给大家借鉴。

 

1.官方描述:  

 

sched_clock() overflow after 208.5 days in Linux Kernel

Linux Kernel 2.6.28 以上有BUG,系统运行第208.5天down机

Linux Kernel 2.6.28版本以上内核存在此问题。

 

服务器出现故障时系统在屏幕上打印错误大致如下:

Linux Kernel 2.6.28 以上有BUG,系统运行第208.5天down机

Jun  8 14:26:06 acme kernel: irq 19: nobody cared (try booting with the "irqpoll" option)

Jun  8 14:26:06 acme kernel: Pid: 0, comm: swapper Not tainted 2.6.32-220.7.1.el6.x86_64 #1

Jun  8 14:26:06 acme kernel: Call Trace:

Jun  8 14:26:06 acme kernel: <IRQ>  [<ffffffff810db42b>] ? __report_bad_irq+0x2b/0xa0

Jun  8 14:26:06 acme kernel: [<ffffffff810db62c>] ? note_interrupt+0x18c/0x1d0

Jun  8 14:26:06 acme kernel: [<ffffffff810dbd4d>] ? handle_fasteoi_irq+0xcd/0xf0

Jun  8 14:26:06 acme kernel: [<ffffffff8100df09>] ? handle_irq+0x49/0xa0

Jun  8 14:26:06 acme kernel: [<ffffffff814f4dbc>] ? do_IRQ+0x6c/0xf0

Jun  8 14:26:06 acme kernel: [<ffffffff8100ba53>] ? ret_from_intr+0x0/0x11

Jun  8 14:26:06 acme kernel: [<ffffffff8100ba53>] ? ret_from_intr+0x0/0x11

Jun  8 14:26:06 acme kernel: <EOI>  [<ffffffff812c4b0e>] ? intel_idle+0xde/0x170

Jun  8 14:26:06 acme kernel: [<ffffffff812c4af1>] ? intel_idle+0xc1/0x170

Jun  8 14:26:06 acme kernel: [<ffffffff813fa027>] ? cpuidle_idle_call+0xa7/0x140

Jun  8 14:26:06 acme kernel: [<ffffffff81009e06>] ? cpu_idle+0xb6/0x110

Jun  8 14:26:06 acme kernel: [<ffffffff814e5ffc>] ? start_secondary+0x202/0x245

Jun  8 14:26:06 acme kernel: handlers:

Jun  8 14:26:06 acme kernel: [<ffffffffa01e5020>] (rtl8169_interrupt+0x0/0x380 [r8169])

 

 

2.经查找资料分析此内核bug经查找资料有3个触发条件;

 

a:linux系统内核版本Linux Kernel 2.6.28版本以上(函2.8);

 

b.系统运行208天左右;

 

c.服务器使用Pentium 4 以上intel CPU(含CPU、32bit/64bit);

 

 

很悲催!我们的服务器上面条件全满足。

 

3.bug相关通报

 

 版本是2011年发布的  如果没有打过补丁 应该没有修复这个bug

kernel-2.6.32-220.4.2.el6 centos在这个内核版本修复了这个bug

 

此缺陷在 Linux Kernel 2.6.32.50 / 3.0.13 / 3.1.5 已被修正。

 

 

3. 内核升级

 

经过排查排查发现我们好多服务器都满足上面的内核BUG触发条件,果断安排服务器计划,避免服务器意外DOWN机事情再次发生,下面是对相关操作进行简单记录,以供大家参考:

 

 

3.1:确认系统版本和内核版本

 

[root@slave2 ~]# uname -a

Linux slave2 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/Linux

 

[root@slave2 ~]# more /etc/redhat-release

CentOS release 6.2 (Final)

 

[root@slave2 ~]# more /proc/version

Linux version 2.6.32-220.el6.x86_64 (mockbuild@c6b18n3.bsys.dev.centos.org) (gcc version 4.4.6 20110731 (Red Hat 4.4.6-3) (GCC) ) #1 SMP Tue Dec 6 19:48:22 GMT 2011

[root@slave2 ~]#

 

3.2:内核升级:

 

我使用的是覆盖处理方式,执行如下命令;

 

yum update -y

 

升级完成,重启服务器新的内核版本才能生效。

 

init 6

 

3.3:检查升级结果:

 

[root@slave2 ~]# uname -a

Linux master 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

 

[root@slave2 ~]# more /etc/redhat-release

CentOS release 6.4 (Final)

 

[root@slave2 ~]# more /proc/version

Linux version 2.6.32-358.11.1.el6.x86_64 (mockbuild@c6b7.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC) ) #1 SMP Wed Jun 12 03:34:52 UTC 2013

 

系统重启完成后,通过查看发现内核版本已经升级到2.6.32-358,系统升级为6.4目前最新版本。

 

redhat官方发布消息:

https://rhn.redhat.com/errata/RHBA-2012-0124.html

 

centos官方发布消息

https://www.centos.org/modules/newbb/viewtopic.php?topic_id=42031

 

 

相关信息:

https://www.centos.org/modules/newbb/viewtopic.php?topic_id=42031

http://bugs.centos.org/view.php?id=4586#c14466

http://www.ubuntu-tw.org/modules/newbb/viewtopic.php?topic_id=46348

 

http://bugs.centos.org/view.php?id=5397