系统运维巡检模板(业务巡检-系统巡检该怎么做)

这是学习笔记的第 1966 篇文章

系统巡检是对于服务巡检的第一站,所以在这里我们要做好第一班岗,如果系统巡检稀里糊涂,那么后续的数据库服务巡检效果也会大打折扣。

对于系统巡检整体上有如下的一些部分需要注意:

系统运维巡检模板(业务巡检-系统巡检该怎么做)(1)

可能整体看起来没有太深入的理解,但是和实践结合起来就有很多的注意事项,我们就以硬件信息-ILO状态检查为例来提供一种巡检思路,iLO(Integrated Lights-Out)服务基于惠普的远程控制卡服务,在Dell服务中叫做iDRAC(Integrated Dell Remote Access Controller),为了方便理解,在此我们暂且统称为iLO服务。

对于iLO服务,我们需要做如下的巡检:

(1) 检查ILO可用性和使用情况

(2) ILO模块是否开启

(3) iLO密码检查

(4) iLO超过最大用户连接数限制检查

(5) iLO在不同的硬件产品版本和浏览器的兼容性

(6) iLO页面和客户端JAVA的版本关系

我们逐个展开来解读一下:

(1) 检查iLO可用性和使用情况

如果拥有对服务器资源的管理权限,对于ILO还是要验证一下,大体有几种情况。

(2) iLO模块是否开启

这个可以联系系统组的同学帮你开启,也可以参考下面的步骤。

#modprobe ipmi_watchdog

#modprobe ipmi_poweroff

# modprobe ipmi_devintf

#chkconfig ipmi on

(3) iLO密码检查

可以使用下面的命令来重置密码

/usr/bin/ipmitool user set password 2 xunjian

(4) iLO超过最大用户连接数限制检查

如果用户名,密码正确,如果上一次登录没有正常退出,可能会有下面的报错。

RAC0218:已达到用户会话的最大数

这个时候可以重启iLO来达到目标。

ipmitool mc reset cold,这个过程会持续几分钟。

(5) iLO在不同的硬件产品版本和浏览器的兼容性

ILO在不同的硬件产品版本中浏览器也有一些使用差异,有些版本使用IE低版本可以,有些可以使用chrome,firefox,有些则不适用。

(6) iLO页面和JAVA的版本关系

这两点比较微妙,但是在实际中碰到问题的时候更多,特别是对于Java,如果查看新版本的硬件,过高的版本是不推荐的,因为安全策略太高,导致初始化失败,得用JAVA7及以下的版本了。

在其他层面,我也做一些阐述。

主机层面需要注意如下的两点:

(1) 操作系统版本

操作系统的版本也需要提前规划,如果有些服务的版本过旧,需要考虑升级到一个较新的稳定版本,比如RedHat 5是个相对较旧的版本,需要尽可能升级到6U8以上版本。

(2) 操作系统内核参数

操作系统内核参数可以作为一个重要的检查项,当然对于主库而言可能重启不现实,但是提前准备好,在下次重启的时候能够省事省力,对于备库而言,也可以提早准备。

安全检查方面,有如下的几点补充:

(1) 系统文件权限

对于部分文件,需要考虑文件的权限,保证不会恶意篡改。比如设定这些关键文件和配置文件的只读权限,比如/etc/passwd,/etc/shadow,/etc/group等等

(2) 备份保留情况,是否有异机备份

这个需要结合目前的系统使用情况,如果数据库是非归档,测试环境,可以考虑异机备份。对于一些关键业务,在有灾备的情况下,也可以额外增加部分的逻辑备份。

(3) 检查操作系统防火墙情况

对于操作系统中的防火墙设定最好能够提供完整的备份,到时候可以在灾备切换的时候用到。

如果存在特殊的网络设置情况,需要提前标注,要不帮你处理问题的同事会踩到一大坑。

系统配置方面,有以下的补充:

(1) swap使用情况

swap的监控还是比较重要,要不swap争用较高,如果剩余内存不足,很容易触发oom-killer

(2) 文件的分区和规划情况

对于文件的分区和使用情况也需要格外关注,对于一些过旧的历史文件可以压缩或者删除。是否还在使用很陈旧的文件系统。

在系统任务方面,有如下的几点补充:

(1) 查看crontab的执行情况

查看例行的执行任务是否正常,比较尴尬的是crontab运行了,但是什么都没有干,比如删除归档,发现一直在扫描一个空目录,而真正的归档目录已经快撑爆了。

(2) 时间同步设置NTP

使用根据公司统一配置的时间同步服务器进行时间的修正。

系统运维巡检模板(业务巡检-系统巡检该怎么做)(2)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。