物理机硬件故障排查指南

在服务器运维工作中，物理机硬件故障是不可避免的问题。及时准确地排查硬件故障，对保障业务连续性至关重要。本文将介绍常见的硬件故障类型及系统性的排查方法。

一、常见硬件故障类型

1. 内存故障

   • 症状：系统随机崩溃、内核报错（如"ECC error"）、应用程序异常退出
   • 典型日志特征：dmesg中出现"Memory failure"、"EDAC"相关错误

2. 硬盘故障

   • 症状：读写速度异常、IO错误、文件系统损坏
   • 检测指标：SMART状态、坏道数量、重分配扇区计数

3. CPU故障

   • 症状：系统不稳定、运算错误、温度异常
   • 排查要点：检查温度监控、运行压力测试（如stress-ng）

4. 电源故障

   • 症状：意外重启、电源模块告警、电压波动
   • 检查方法：查看BMC/IPMI日志、电源状态指示灯

5. 主板与外围设备

   • 网卡故障：网络连接中断、数据包错误
   • RAID卡故障：阵列降级、缓存异常

二、系统性排查流程

1. 初始诊断

# 检查系统日志
journalctl -xe
dmesg -T | grep -i error

# 查看硬件传感器
ipmitool sensor list
sensors  # 需要安装lm-sensors

2. 内存深度检测

# 使用memtester进行测试
memtester 1G 1

# 生产环境推荐使用memtest86+从启动盘测试

3. 存储系统检查

# 查看SMART信息
smartctl -a /dev/sda

# 检查RAID状态
megacli -LDInfo -LAll -aAll

# 文件系统检查
fsck -f /dev/sda1

4. CPU与温度监控

# 压力测试
stress-ng --cpu 4 --timeout 300s

# 监控温度变化
watch -n 1 'sensors | grep Core'

三、硬件日志分析要点

1. BMC/IPMI日志：关注不可纠正错误（UE）和可纠正错误（CE）
2. 内核日志：重点分析dmesg中的硬件相关错误
3. RAID日志：记录磁盘预测性故障和实际故障事件
4. 温度日志：检查是否存在过热保护导致的降频或关机

四、预防性维护建议

1. 建立定期硬件巡检制度（建议每月一次）
2. 配置监控告警（温度、SMART错误、内存ECC）
3. 保持固件和驱动更新
4. 维护备件库存，确保关键组件可快速更换

通过系统化的排查方法和预防性维护，可以显著降低硬件故障对业务的影响。建议运维团队建立标准化的故障处理流程，并定期进行故障演练，提升应急响应能力。