(全球TMT2021年9月22日讯)浪潮云海针对OpenStack平台在日志存储、检索、分析等方面的需求而推出的日志管理项目,Venus以全数赞成票通过了OpenStack社区TC团队的审核,成为国内贡献OpenStack社区且在智能运维领域的首个正式项目。

贡献社区的Venus究竟是什么?

概括来说,Venus主要还是取决于大规模部署条件下,针对OpenStack平台在日志存储、检索、分析等方面的核心需求,可以做到一站式满足日志采集、清洗、索引、分析、告警、可视化、生成报告等,帮助运维人员快速检索问题,掌握平台的运行健康度,并在未来计划引用机器学习算法,快速定位IT故障及根因,提高运维效率以及平台管理的水平。

具体来说在检索工作上,Venus主要提供了简单易用的检索方式,可以做到检索一切日志数据,定位日志上下文;在分析上主要实现日志关联、字段数值统计,提供多场景、多维度的可视化分析报表;告警层面则将搜索转化为主动告警,实现海量日志中错误的“大海捞针”;定位是主要通过建立知识图谱和调用的链式关系,结合算法实现故障的快速定位。

以下是基于浪潮云海自研OpenStack Dashboard(浪潮云海自研的OpenStack Dashboard已贡献到木兰社区,感兴趣的小伙伴可以到社区下载集成,功能完善且操作简易。)集成Venus的两个典型示例,可参考:

示例1:在云平台上的虚拟机创建操作未成功,怎样迅速定位到问题呢?

a.找到创建操作的请求ID,并通过此跳转到虚拟机创建调用链页面。

打开网易新闻 查看更多图片

b. 系统可以展示整个调用过程,做到清楚定位到整体调用链错误日志的位置。

打开网易新闻 查看更多图片

示例2:当云平台出现错误日志时,如何将其转化为告警来提醒运维人员呢?

a. 运维人员收到的日志告警信息如下:

b. 运维人员可以进一步成功检索错误日志的详细信息和统计信息。

Venus整体的技术架构如何?

浪潮云海技术研发团队表示,Venus以Fluented+Elasticsearch为基础,深度挖掘日志数据、固化运维的场景并提供认证的通用接口,例如:

打开网易新闻 查看更多图片

采集层:开发了基于Fluented的采集任务,针对OpenStack、操作系统、平台服务等日志开发了读取、过滤、格式化、发送等插件,而且用户可以按需配置。

存储层:采集并格式化后日志索引至Elasticsearch集群中,ES提供副本机制。即使在某些服务器宕机后仍能正常工作,提高数据可用性,同时存储层也有Mysql作为分析结果的存储。

Venus_api:api服务主要进行简单的业务处理,提供更简洁更全面的认证接口。将上层调用转化为底层Elasticsearch查询,并对查询的多维度索引数据进行简单处理,同时将结果返回。

Venus_manager:内部定时任务模块,开发了可配置的定时任务,包括数据清理任务、日志分析任务、日志告警任务、调用链分析任务等核心业务处理任务。

展现层:Venus已开发Horizon插件并且提供统一接口对接第三方系统。

关于Venus的未来,期望可以如此

一直以来浪潮云海通过对开源开放技术的攻坚,突破开源版本在性能、大规模管理能力方面的瓶颈,秉承“源于开源、馈于开源”的理念,助力业界共同构建开放统一的智能基础设施。

Venus项目旨在打造一个开放的OpenStack日志管理平台,集合广大用户在日志领域的需求和实践,提供各场景日志分析并集成算法和知识图谱实现故障的快速定位,构建完备的日志运维场景,所以Venus模块会随OpenStack的Yoga版本发布第一个正式的Release,未来的重点工作将会涉及:

  • 开发典型错误日志告警任务,开发关键词告警任务
  • 开发Venus的Horizon展示插件,开发至少3个日志分析页面
  • 优化基于Kolla-ansible的部署方式和基于Devstack的部署方式
  • 错误场景模板化并且总结更多的典型错误日志模式