结论:名为 /col1 的 GPFS 文件系统出现问题。磁盘空间使用率为 6%,使用正常。
4. 在问题节点上查看系统日志文件 /var/log/message,发现如下错误:
node3:/ # vi /var/log/messages
Aug 9 21:13:21 node3 mmfs: Error=MMFS_FSSTRUCT, ID=0x94B1F045,
Tag=6319986: Invalid disk data structure.
Error code 107. Volume col3 . Sense Data
Aug 9 21:13:21 node3 mmfs: Error=MMFS_FSSTRUCT, ID=0x94B1F045,
Tag=6319986: 6B 00 10 00 00 00 01 00
... ...
Aug 9 21:13:21 node3 last message repeated 14 times
Aug 9 21:13:21 node3 mmfs: Error=MMFS_FSSTRUCT, ID=0x94B1F045,
Tag=6319986: 00 00 00 00
Aug 9 21:13:21 node3 mmfs: Error=MMFS_FSSTRUCT, ID=0x94B1F045, Tag=6319986:
Aug 9 21:13:21 node3 mmfs: mmfsd: Error=MMFS_GENERIC, ID=0x30D9195E, Tag=6319987
Aug 9 21:13:21 node3 mmfs: Generic error in
/build/ode/gpfs32/src/avs/fs/mmfs/ts/logger/Logger.C line 527
retCode 0, reasonCode 0
Aug 9 21:13:21 node3 mmfs: Tag=6319987 !"Assert on Structure Error"
结论:在 8 月 9 日 21 点 13 分左右,节点 3 上出现断言错误。
5. 根据系统日志中出错的时间,在最新的 GPFS 日志文件中查看对应时间点的情况,发现如下错误: