干我们这行的,最怕半夜电话响。今年六月份那个周六,5点47分,手机震了。值班小刘声音都变了:“王哥,核心交换机端口流量全掉零了,业务系统全挂。”我一边套裤子一边骂了一句——不是骂谁,就是条件反射。到机房6点03分,看了一眼日志,STP重新计算导致端口阻塞,但触发原因死活查不出来。机房空调凌晨刚补过冷媒,我让值班的去查空调历史记录,自己在那台交换机前排了40分钟临时路由。业务恢复后,我把当天所有操作日志导出来,一条一条对,发现凌晨3点17分温度传感器有个跳变,24度瞬间冲到31度又落回去。打电话给空调维保,对方支支吾吾说补冷媒时压力调高了点。我当时就火了——动环境不通知运维,这简直是在埋雷。后来制度上加了一条:任何机房变更,必须提前知会运维组,并且施工后现场值守30分钟。这条规矩到现在执行了半年,再没出过同类事故。
说这些不是诉苦,是想把今年几个硬骨头怎么啃下来的捋一捋。
设备巡检这块,上半年漏项不少。 二月份我自己跟了一周巡检,发现新人根本不知道该看什么。老员工凭感觉,摸一下设备外壳温度,听一下风扇声音,觉得没问题就走。结果三月份有两台存储设备风扇转速下降,巡检记录上写的却是“正常”。要不是例行检测时多了个心眼用转速仪测了一下,那两台设备撑不到夏天就得过热宕机。后来我把巡检清单彻底重做,从“看、听、摸”变成量化指标:风扇转速不能低于标称值的85%,硬盘温度超过48度就要预警,电源模块负载超过70%列入观察名单。清单发下去第一个月,巡检漏项从原来的平均每轮11处降到了4处,到第三个月稳定在2处以内。数字不大,但每一处漏项都可能变成一次故障。
故障处理,光快不够,得挖根。 今年前三个季度87张工单,紧急的17件。处理完每件都出复盘报告,不是走形式,是真被坑怕了。四月份有个视频监控验收,128个点位抽检30个,三个夜间图像有横纹。施工方说换个电源适配器就行,我坚持拆接头。拆开一看,两个点位的线缆接头里面全是绿锈,防水胶带根本没缠到位,雨水顺着线芯渗进去了。那天下午我让施工方把所有室外点位全拆了重做,对方项目经理脸都绿了,说“以前验收从没这么严”。我直接把测试数据拍他桌上——那三个点位的回波损耗已经接近标准下限,不重做,半年后至少还有十个点位会出问题。最后他认了,加班干了三天。验收签字那天下午,客户现场负责人打来电话,开头是“之前态度不好,别往心里去”,后面说“你们这样验收,我们以后省心”。挂了电话我就在想,为什么这种本该是常态的标准,反而成了让人感激的例外?
工艺标准修订,都是血泪教训堆出来的。 今年重新写了《综合布线施工验收细则》,改动最大的就三条:线缆绑扎间距不能超过40厘米,尾纤弯曲半径不能小于5厘米,标签必须用热转印打印机做、手写的直接不合格。这三条每一条背后都有故事——去年有个项目因为绑扎过紧,网线内部绞距变形,百兆网络跑不满,排查了三天才发现是施工问题。这次新规出来,七月份弱电改造项目上,施工方把六类线和电源线绑在一起走了30多米,当场要求返工。对方负责人说“以前都这么干”,我直接把新规翻出来,又给他看了那段线缆的串扰测试报告——已经接近标准下限,长期运行必丢包。他闭嘴了。拆了重做后到现在半年,那段线路零故障。
验收环节,我以前也走过场。 刚干这行的时候觉得差不多就行,后来被现实教育了。今年参与了四个外部项目的最终验收,每一个我都带着测试仪和验收清单去,不只看设备通不通,还要看余量够不够。有个项目光缆熔接损耗标称值-0.3dB,实际测出来-0.28dB,在合格范围内,但我要求重熔。施工方不理解,我说:“你现在是-0.28,过两年接头老化可能掉到-0.35,那时候再挖开重做成本翻十倍。现在重熔,做到-0.2以内,至少多用五年。”最后对方同意了。验收报告签完,我心里才踏实。
说实话,这一年的活干下来,最深的感受不是累,是很多问题本来可以避免。十二份复盘报告攒成了一本《常见故障处置手册》,里面没有废话,全是步骤。比如“核心交换机CPU突高怎么办”——第一步登录看哪个进程占用高,第二步抓包分析流量来源,第三步逐端口隔离排查,每一步配了命令示例。新人照着做,大部分问题能自己解决,不用半夜给我打电话。这算是今年最有成就感的一件事。
-
⬬好拿网热读榜:
- 秘书处年度工作总结 | 综合办职工年度工作总结 | 综合实践活动年度工作总结 | 综合管理年度工作总结 | 综合处工作总结 | 综合处工作总结
不足的地方,我自己心里清楚。备件库里有一批老型号存储设备已经停产,我上半年就该做备件库龄评估,拖到十月份才动手,结果发现有两款硬盘市面上已经很难买到正品。这不是技术问题,是管理惰性。明年一季度之前,必须把所有停产设备的备件清单列出来,提前采购储备。另外,自动化监控还停留在初级阶段,很多阈值告警还是靠人工设,误报率高。明年打算用开源的Prometheus搭一套告警系统,把日志分析也自动化一部分,减少人盯人的工作量。
以上是今年主要的工作。干运维的,别整虚的,设备不撒谎,日志不说假话,你糊弄它一次,它就在关键时刻让你下不来台。
-
我们精彩推荐工作总结专题,静候访问专题:工作总结