
暹罗十载,观二三四五沧海桑田,睹语音数据泽千万用户,所忆所感良多,十年饮冰,难凉热血,鲜衣怒马,不负韶华。
鲜衣怒马暹罗时,十载韶华行且知
毛剑
十年,去时仍青葱,归来已中年。过去的十年,我都是在泰国度过的。二十多岁去,三十多岁回,是人生目前为止,除了故乡待的最久的一个地方了。
这个坐落在湄南河畔的微笑国度,是一个开放、包容、zhai yan yan(慢慢来)的国度。这里四季如夏,有无数美味的水果,有闻名的海滩,有虔诚的微笑,有世界最频繁的政变……而我,一名云核工程师,在这里完成了磨砺与成长,从一个毛头小子成长为一名成熟的云核“老人”。
0 1
12:1的悬殊配置,硬是把我锻炼出来
2010年,我入职已有2年,去了很多个国家出差,做了几个云核小项目,但都是短期出差,并没有积累太多的交付经验。而这个时候数据业务开始逐渐兴起,泰国办事处当时还没有常驻的数据业务人员,于是机缘巧合之下我来到了泰国常驻。
刚到泰国,我就直接被安排到T系统部,负责云核数据业务。当年,T客户全网都还是2G设备,数据域只有一套CPCI的SGSN(通用分组无线系统业务支撑节点)。巧合的是,这套设备还是我媳妇开的局,怎么突然冒出一个媳妇,后续再表。总之,当时业务正值增长,但只有一套设备,处于严重过载状态,每天问题不断。于是,我开始了对这台设备的漫漫扩容之路。
现在忆当初,真的是很艰难、但是成长很快的一个时期。那时候,公司还没有iCare系统,跟机关联系用Notes,求助流程远没有现在成熟。而我,初来乍到就要主导现网大规模扩容,其实内心十分慌张。但是没有办法,既然来了,必须完成任务。所以,只能多管齐下,除了求助机关,找一起培训的小伙伴和同业务的前辈四处询问,还拿其他局点的方案和脚本参考,做出了GB over E1和GB over IP联合调整扩容方案,然后拉着研发,连续评审反复核实,才定稿提交给客户申请操作。
记得第一次对现网进行大规模扩容操作时,客户派出了12个工程师,而我们华为这边,只有我一个人。1:12的悬殊对比,我有点震惊,有点尴尬,但也有点兴奋,我认为,客户对这个操作如此重视,而我一个人独挑大梁完成,非常有成就感。不过,在很久的后来才知道,当时的客户对初来乍到又年轻的我非常不放心,因此才额外多安排了几个人员来协助监控。
说回这次扩容,我们的操作,一开始非常顺利,新增单板后,无线端的链路都正常建立,测试用户使用也正常,但是没一会儿,监控框就开始上报断链告警,同时测试用户也开始掉线,客户开始着急,不停询问原因。
第一次面对这种场景,还是现网设备,处理时间短,我的心情真的很慌张。但是没有办法,必须马上开始定位分析,但是现场只有我一个人,电脑正连着设备操作,还没有即时通讯软件可以使用,只能用手机去联系机关保障接口人,一点点收集信息,并且通过邮件回传,效率非常低,我就这样蹲在设备面前,焦急地打着电话求助,看着时间正一分一秒地流逝。
在一线待过的兄弟应该深有同感,现网问题定位,内心最煎熬。业务受损,客户很紧张,不停地催问进展,而我们跟机关沟通不便利,靠邮件传输信息很慢,眼看操作时间窗口要到了,而我们还没定位出原因。于是我和研发决定果断对单板进行复位,同时也重新添加和无线之间的配置,排除某些进程挂死导致链路闪断。如果问题依然存在,立即操作倒回。客户采纳了我们的建议,比较幸运,通过复位和重配置,问题真的解决了,在最后关头顺利完成了扩容,而且事后研发定位原因确实也是因为触发了个单板的bug导致进程异常,复位后缺陷相当于被规避了。
就这样,经过几次现网扩容操作之后,客户对我的态度慢慢有了改观,会主动找我来讨论问题,介绍一些当地游玩的信息给我,我第一次真正体会到了被客户信任的感觉。
现在再回想当年的情形,没有可以支撑自己的本地员工,没有成熟的合作方,甚至很多硬件安装的工作都需要自己去完成,经常在客户的机房地上,一坐坐一天。而核心网的业务,在全网至关重要,牵一发而动全身,必须慎之又慎,而当年的网络条件、现网操作评审、验证以及监控都还在发展中,并不成熟,对一线的我们是极大的挑战。但是也正因为这一次次需要独立完成的挑战,不停尝试和总结,我才得到了真正的锻炼和成长。
0 2
3G建网中的苦与乐
2011年是泰国3G业务的元年,是一个重要的节点。泰国的3G大面积集中投标,也是我首次参与大规模的投标,泰国作为东南亚第一大通信业务国家,各大友商都势在必得,投标惨烈程度不言而喻。我们售前售后几十人围坐在会议室里,不断研究客户的标书,一遍遍模拟,一次次假设,然后再来不断推翻重建预演和假设,多少个不眠之夜,我们不断争执着SOW(采购说明书),完善标书。
而为了配合3G投标,客户需要启动测试验证,但因为政府管控频点,所以不得不借助2G的网号、850M频点,搞MOCN(多运营商核心网络)测试。那是全球第一次MOCN规模验证,在如今看来,当年的一个小小的MOCN特性,代价很大,但是孵化的价值更大。
泰国集结了机关专家大佬龚松桥作为测试总负责,到现场支持我们。在现网前后验证1个多月,白天拨测发现问题,夜里修改配置或者加载补丁。我因为是第一次参与比拼验证,压力比较大,晚上操作改数据验证,白天休息几个小时继续测试定位。连续几天后我开始头疼,不断发烧,最后请假回国进行了体检,医生的结论就是休息不足,过度疲劳。
我回到泰国后,前辈老龚、老袁经常在没有操作的晚上带着我们吃吃饭,甚至偶尔小酌,放松一下我们紧绷的神经,以适应长时间高危紧张的操作,劳逸结合。在这一阶段的测试里,我们前后发现了100多个问题,逐步修复改进,最后成功完成了MOCN 3G的现网比拼和验证。经过售前售后团队的密切合作,我们最后如愿中标。
在3G中标后,我们开始进入了高速紧张的交付阶段,迅速组成了T核心网交付小分队,主要成员都来自地区部和泰国办事处。大家都是比较熟的同事,配合得高效、愉快,在这段时间里,我终于可以开始在紧张的工作之余,和同事放松旅游一下,感受风土人情。
工作日我们会挤在一辆丰田皮卡车里,去几十公里外的站点集体测试验证,中午和本地员工、客户一切吃泰国大排档。本地员工作为桥梁,使得我们和客户之间的信任日益深厚,合作更加顺畅。负责语音业务的老李,不仅业务好,车技也好,休息日作为核心网团队首席司机,开着皮卡车带我们在曼谷周边玩。我们一起去海边,在沙滩花50泰铢租个椅子,点个椰子,吃个海鲜大餐,放空放松,有时也会打球、踢球、玩游戏,工作紧张但生活充实有趣。
看,下面的图片中,就是我们当时核心网的4小男天鹅,恩,带不起来的胖子就是我们的队长老李。
在这个快乐的国度,我们和客户逐渐建立了密切的感情基础,后续的合作也就更顺利、更和谐了。
0 3
客户要把华为工程师名字写进合同
转眼来到2014年,4G时代来了。华为凭借现网的优势,顺利完成了验证,在各个项目指标的测试结果优异,4G的标书最后也顺利引导成了议标。在4G建网过程中,我也逐步成长并承担了项目TD(技术负责人)的角色,带领团队,一年内基本完成了全国的4G云核初步快速上线部署。
面对友商的虎视眈眈,我们最有力的武器就是快速建网扩容,把业务做成既定事实。最终的结果是让人激动和兴奋的,但其中的过程是艰苦异常的,凝聚了所有同事的心血,背后也有很多不为人知的付出。
记得4G DRA信令交付的时候,客户要求华为工程师把3GPP协议拿出来逐条讲解和对比跟踪信令,而这涉及上百页的协议和跟踪,非常占用时间,我们只能白天跟客户测试过进度,晚上分析,读协议、画流程。经过连续几个月服务和研发的协同奋战,最后我们给客户的输出件,比书本还厚,当然客户最后也很满意,后来甚至要求我们把现场的华为信令工程师名字写进了交付合同, 如xx合同必须由xx工程师现场交付,否则要给予xx赔偿。大家茶余饭还调侃我们,不止“卖艺”,还“卖人”。谁说不是呢?换一个角度看,这也是我们的付出换来客户的极大信任啊!
2014年10月,我大儿子在泰国出生,当时请了2周陪产假,但项目割接在即,我是负责人,自然不能因为个人假期影响到项目进度,所以在媳妇的待产房里,我还在不停和研发讨论方案,中途甚至临时跑去站点和客户开了场会,所幸我媳妇也是云核的同事,给了我最大的理解,笑着调侃我:“如果我不是华为的,不是做通信的,一定无法理解这个工作性质,绝对会把你踢出陪产房。”
就这样,在若干个泰国的夏去夏来中,我们的项目成功交付,而我也逐渐长成了一个云核老兵,一个可以独当一面的华为老兵。
0 4
曲折的泰国5G部署之路
时间来到2019-2020年,5G正式开启的时代。而这次除了中国区外,泰国的5G基本上算是走在了全球的前列。这时,恰逢海外新冠疫情肆虐,华为受到制裁和打压,遭受商业以及政治因素影响,华为、客户、标准、市场各方的意见交织在一起,5G的部署之路更是异常艰难。
2020年6月,我们5G的初期方案与演进方案最终与客户达成一致,启动新建SA预商用网元。记得当时面临一个很大的困难,那就是UPCC(统一策略与计费控制系统)的5G套餐转换。因为是新的解决方案和业务内容,工具尚未开发出来,而项目进度不能耽误,我们PS(分组核心网)的技术组长锐姐,带着本地员工,分析500多个套餐的逻辑,一个个手工地去转换。
套餐叠加,业务切换后的计费、限速,500多套餐的总体变化达近万种,这个工作量是非常庞大的,而交付时间又短,客户对我们如期完成业务的梳理和转换都非常没有信心。但是,我们都是千锤百炼的云核人啊!我们白天测试验证套餐,晚上大家聚集对逻辑,夜里回去后分工改套餐脚本,如此往复坚持了2个月。
有一天,一个相熟的客户偷偷拉着我问,华为的这几个小女生员工,会不会压力太大扛不住?但事实证明,我们的队员都扛下来了,并享受着业务部署得到客户认可后的成就感、满足感。
当然,我们有时也会陷入困境。5G核心网的验证在这首次海外测试应用中,前后共发现100多个缺陷与bug ,升级与补丁50余次。所有华为本地员工和顾问基本上都到了心理和身体上的极限。更糟心的是,事关5G SA(独立组网)的首发,客户要求非常严格,技术上抠细节,客户不同部门还经常会提不同的意见,我们有时成为了夹心饼干,压力巨大,工作落实异常困难。
我的小女儿也在这个时间段出生,因为疫情,媳妇一个人在泰国带两个孩子。各种事情交织在一起,让我压力巨大,再加上疫情的原因,我们跟客户、本地员工间的交流变得不那么通畅,一度我觉得自己都快坚持不下去了。
这个时候,我找了系统部的TD(技术总负责人)俊毅和代表处TMO(技术管理办公室)的大雷交流倾诉。没想到,他们彼时也被网管集中化的客户搞得很疲劳,横向比较我才知道,其实所有兄弟都一样辛苦,处境一样艰难。一起发泄后,我们再相互鼓励打气,胜利之路哪有捷径,在无路可走的时候,坚持再坚持,哪怕把自己燃烧了,也要给兄弟们指一条明路!
功夫不负有心人,到了2020年10月,泰国的5G核心网终于正式发布,看着曼谷各大地标都是大大的5G广告Logo,这都是我们汗水、泪水和精诚合作的结果。收到客户的感谢的时刻,真的觉得一切都是值得的。
0 5
来时两手空空,归时皆圆满
十年,我的人生中会有若干个十年,但是过去这十年,是我最重要的十年,我从青春走到中年,来时云核团队仅仅几人,现已数十人;来时云核设备寥寥几台,现已经成百上千套;来时这里还是2G业务为主智能机还没流行,现在已是5G的高速时代,泰国已经成为东南亚通信业务最活跃的市场之一。
别人戏称我“True man”——真男人,我很荣幸拥有这个称号,经历了泰国T运营商云核网元的不断壮大,参与了泰国网络2、3、4、5G的建立,也看到了自己亲手建立的网络覆盖千万终端用户。这是无比自豪的事,随着科技的发展,这可能也是我往后的人生里不再有的机会,所以这十年,于我而言,无比珍贵。
道阻且长,行则将至。作为一个云核人,每一步都走得很重,但是每一步也都收获满满,我们常说,核心网设备,在网络中肩负重任,没事则已,一出事必是大事,一条命令、一个错误可能会影响全网,影响无数人的通信。而我们作为核心设备的守护者,责任重大,任何一个操作,任何一次业务部署,都需要慎之又慎,也正是这种谨慎和责任,我们才得以伴随业务的成长完成自我的成长,这种成长,是一丝不苟,是反复检查核实的工作态度,是不畏艰难,是心态越来越好,是尽量把事情做漂亮。
十年里,我得到许多领导和前辈的指导,以及很多同事的鼎力相助,自己业务能力得到了最大的提升,在离开时也获得了象征海外最高荣誉的天道酬勤奖。
在生活上,这十年也收获满满,前面提到,我到了泰国接手的第一套设备,是我媳妇开的局,是的,她是和我一营就一起培训的工程师。我最早到泰国,也有一部分原因是因为她在东南亚常驻,我在全球出差,我们很长一段时间聚少离多,直到后来机缘巧合我常驻到泰国。但是因为她长期在东南亚各国出差支持,所以我们也很少聚到一起,后来由于岳母病重以及儿子的出生,我们才借此机会申请了一段时间的团聚。我们业务领域相同,一直相互帮助,相互打气,相互支撑,一起成长,后来我们在泰国结婚,生娃,直到后来她离职全职带娃,成为我的后盾。所以,泰国于我们和孩子而言,是可以算得上第二故乡。来时两手空空,归时生活工作都圆满。
感谢这十年的经历,有过痛苦和彷徨,但风雨后获得更多的是满满收获和感恩。回国一年多了,不是结束,而是新的开始,谨以此文,记录这段征程。我是万千云核老兵中的一员,我们一定都有很多痛并快乐着的经历,但也正是我们每个人的点滴和付出,我们的云核之路才会越走越宽。
前路依然遍地荆棘,挑战重重,仍需我辈披荆斩棘,迎难而上,我相信只要我们前进,那么无论何人何事,都无法阻止我们前进的脚步!
少年自有凌云志,不负黄河万古流!
作者 / 毛剑
来源 / 华为人
转载需注明作者及出处