打开网易新闻 查看更多图片

#杭州 夜幕降临

住在滨江畔64岁的李大妈

手机上正播放着一款“秒回青春”的保健品广告

正准备点击链接下单

一条防诈骗提醒的视频短信就弹了出来

险遭入坑的她不禁暗自庆幸

打开网易新闻 查看更多图片

#宁波 清晨时分

习惯早出晚归的周女士

正匆匆忙忙穿上鞋子准备出门上班

一条预防流感、注意雷暴雨的短信弹出

连忙捎上口罩和雨伞,

感慨“被人牵挂的生活果然更有滋味”

打开网易新闻 查看更多图片

#嘉兴 盛夏时分

恰逢毕业季的小孙

正开启一场轰轰烈烈的“自驾旅行”

烟雨朦胧的乌镇正是他的目的地

刚经过收费站,手机就弹出了“嘉兴欢迎您”

并展示出当地的美食攻略与景区资讯

温暖不止于当地,更在旅途中

打开网易新闻 查看更多图片

事实上,岁月静好的背后总有一种力量负重前行,来自浙江电信大数据中心的“综合位置服务平台”就扮演着这样的角色。

润物于无声,大数据其实无处不在

作为国内最大的数据持有商之一,浙江电信拥有最为丰富的数据资源。基于对各类数据的深度融合与加工,再与运营商传统的基础短信通话等服务相结合,就衍生出来了丰富的应用。

前面提到的各种应用场景,即是浙江电信大数据服务施展身手的舞台:

打开网易新闻 查看更多图片

风控反诈,守护一方百姓安宁: 大数据深入电信安全,已可以实现主动预警、来电保护、上网保护。譬如通过大数据智能分析,精准识别钓鱼网站和风险号卡,及时进行拦截。经过一系列努力,2023年,浙江电信已协助公安机关锁定涉诈嫌疑人超1000+人,挽回损失超1600万元;

精准定位,不遗漏任何角落: 升级5G网络后,更加精准的区域人流热力、人群来源、电子围栏等一系列能力就得以实现。如在杭州亚运会等大型活动中,完成人流稠密地段的监控预警与安保调控,保障秩序安全。目前,浙江电信位置服务的日均调用量高达30万次、已累计发送短信2.5亿次;

画像标签,“千人千面”独家定制: 基于用户偏好,凝聚成独特的人群洞察服务。譬如识别到忙碌的宝妈、音乐爱好者、电子发烧友等角色,个性化定制服务“投其所好”,让用户收获更细腻的体验。

显而易见,遍地开花的大数据应用,编织起了百姓生活的方方面面。但不容回避的是,大数据平台诞生于海量的数据,对于数据基础设施的发展也曾面临诸多挑战。

从这个意义上讲,浙江电信携手华为,推动大数据存储的底座升级,为运营商的探索路径觅得了一方新的天地。

直面不堪承受之“重”,突围势在必行

“多、杂、乱、慢”,这四个字是运营商大数据演进中遭遇的典型困境。

即数据集合的规模和产生速度持续提升,数据类型与格式变得更加繁冗,催生而来的数据共享与流动更加困难,数据管理的难度也越来越大。

打开网易新闻 查看更多图片

几年前,浙江电信最初沿用Hadoop体系中的HDFS、MPP数据库与Hadoop,在绍兴、金华等地区构建了两大集群。那时,浙江电信采用存算一体架构,存储部分由服务器本地盘组成——在早期数据规模不大的情况下,这种本地文件系统基本可以满足业务发展需求。

然而,5G的加速普及带来了日均高达100TB海量多样化数据的爆发增长。陈旧的大数据平台架构,正在谋求一场突围:

首先, 设备投资、机房租赁、维护等成本节节攀升,服务器本地盘传统的三副本数据冗余模式下,仅33%的资源利用率导致浪费严重,成本负担颇高。

其次, 由于计算与存储资源高度绑定,造成扩容成本居高不下,CPU算力平均利用率不足30%。同时难免存在性能瓶颈,尤其在大集群故障成为常态的今天,日均几百万作业量经常导致资源耗尽、任务挂死、I/O读写阻塞。

最后, 不同计算集群之间由于HDFS文件系统的存在,海量数据的流动和管理异常复杂,新旧业务的集群数据难以互通访问,只有被迫拷贝与搬迁,降低业务效率。

“用数”成为难题,下一个拉开帷幕的,会是谁?

什么架构,将领跑大数据的下半场?

浙江电信深知,既有的存算一体架构逐渐告一段落,存储资源走向池化、专业化,构建计算与存储解耦的“存算分离”架构,将成为运营商的不二之选。

打开网易新闻 查看更多图片

2021年开始,浙江电信率先选择华为OceanStor Pacific分布式存储,开启了大数据集群存算分离的改造及优化。

专业存储带来的空间节省,是最直观的效果体现。华为提供高密硬件设计与大比例EC能力,将数据利用率直接从33%提升至87.5%。同时,存算分离架构实现了资源弹性伸缩、按需分配——同等容量下,用180台专业存储替代了原先600台存算一体服务器的存储量,将10+PB数据存储的整体TCO降低35%。

尤值一提的是,随着位置服务等敏态业务的发展,浙江电信也将原先采用CDH中的Hive与Spark组件的大数据离线分析,改造为使用中国电信自研大数据组件翼MapReduce中的Flink进行流式处理分析。

在改造过程中,华为OceanStor Pacific集群提供了原生的HDFS标准协议接口,无需任何开发适配或插件,直接平滑地融入应用层,业务不曾中断。此外,浙江电信还与华为开展双方联合调优,将小文件性能提升2倍,流式计算吞吐量提升至20万条/秒,更加出色的性能也有效支撑了实时响应能力。

华为OceanStor Pacific分布式存储,正如定海神针般,支撑了浙江电信大数据业务日均处理10万条数据分析任务稳定运行,斐然成果已在眼前。

不管从性能、可靠性,还是综合成本等维度来看,专业存储下的存算一体架构,已证明足以彻底弥补过去的短板。

罗盘所向,全闪化数据底座成为下一跳

站在更开阔的视角下,在电信运营商“二次腾飞”的关键节点,以存力为代表的基础设施变革还将继续深化。尤其是在新一轮AI浪潮的驱动下,数据中台产生的海量非结构化数据之下,存储底座迈向全闪化时代势不可挡。

眺望未来,浙江电信后续计划将启用更加绿色、更加高效、更加简单的全闪分布式存储,引领下一代大数据平台的建设。SSD闪存介质的全面普惠,无疑是运营商面向未来的重要跳板。

在时代的浪花间,大数据下一个宏伟时代已被照亮。当我们享受感受润物细无声的大数据时,别忘了那些幕后英雄。

打开网易新闻 查看更多图片

—— 越看越精彩 ——

【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·短视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们。