CCF OpenAIOps社区（https://open.aiops.cn）在线评测基准（AIOps Live Benchmark）工作已经在春节后正式启动。特别感谢来自清华大学、中国科学院计算机网络信息中心、南开大学、必示科技、乐维、蓝鲸、云杉网络、听云、纵目科技、阿里云、蚂蚁金服等单位的专家们提供的设备资源和技术支持。目前乐维、蓝鲸、DeepFlow、ChaosMeta等工具在社区各参与单位的帮助下，已完成系统上线。

 

首批在线评测基准工作组成员由来自发起单位及各高校、企业的社区报名志愿参与的专家团队组成，目前已组建可观测性、数据、混沌工程等各小组，工作陆续启动、井然有序、稳步推进。后续我们会持续同步工作组的工作进展，以及面向全社区组织交流和经验分享。
 

AIOps Live Benchmark 工作介绍     
 

在线评测基准（AIOps Live Benchmark）是在真实的IT系统上，通过混沌工程工具模拟真实的运维场景，通过可观测工具获取实时数据，在线评测AIOps应用，最终提供权威的评测基准和真实数据。下面Benchmark中一些常见组件举例：

 

 

图1: AIOps Live Benchmark 组成

 

在线评测基准系统将是在AIOps领域中的一个重要创新，其价值主要体现在以下几个方面：

 

 

在真实的IT系统上，利用流量模拟和混沌工程工具，模拟多种运维场景，测试AIOps解决方案有效性和鲁棒性。

 

集成了听云、乐维、蓝鲸、DeepFlow、SkyWalking等前沿的可观测技术工具，实现丰富的指标、日志、Trace数据收集。

 

为AIOps应用提供一套标准化的评估指标和排行榜。促进技术的发展和创新，同时也为用户选择合适的工具提供了参考。

 

为运维应用开发人员和科研人员提供真实的运维数据和场景，用于学术研究、产品测试和评测打榜。

 

 

 

 

 

 

 

图2: 在线评测基准业务架构

 

图2为目前在线评测基准的业务架构，主要分为四层：

 

1、基础设施层：目前IT系统部署在中科院的中国科技云上，基础设施包括虚拟机、Kubernetes、Ceph磁盘集群等，支撑IT系统部署。

 

2、IT系统层：

 

当前被运维的IT系统为Online Boutique等开源的微服务系统; 

后续如果有新的运维场景，可以部署其他类型IT系统。

 

3、平台工具层：

 

混沌工程工具：模拟真实运维问题，通过模拟服务流量并对IT系统注入真实的故障，驱动整个在线评测基准工作；

可观测工具：采集IT服务的指标、拓扑、日志等运维数据，同时配置监控产生告警，供AIOps应用和数据平台使用；

数据和计算平台：统一收集、存储告警、指标、日志等运维数据，供AIOps应用分析。此外提供Flink或者Spark计算集群，支撑AIOps应用的运行。

 

4、AIOps应用层：根据发布的评测基准，建设对应的AIOps应用，目前可以分为四部分：

 

异常检测：主要为故障发现的应用，包括业务指标异常检测、机器指标异常检测、调用链异常检测、日志异常检测等场景；

告警分析：包括智能告警收敛、告警风暴分析定界等场景；

故障处理：包括微服务故障分类、根因分析、处置推荐等场景；

成本效率：包括智能客户（基于大模型）、智能变更检测、容量预测等场景。

 

 

 

    近期任务    

近期计划完成微服务的异常检测根因分析的评测基准的制定，同时构建在线评测平台。欢迎各位专家参与贡献，具体包括但不限于以下这些任务：

 

1、搭建并维护微服务Google Online Boutique

 

任务说明：在中国科技云上搭建5台机器规模的微服务，并且持续维护，保证系统的可用性，用于后续监测和分析。

 

2、搭建并维护乐维监控工具

 

任务说明：在云上安装和配置乐维工具，以确保其在环境中顺利运行。预期该工具能够做指标、拓扑等数据采集，同时提供监控告警，支持后续业务指标、机器指标、告警分析等AIOps应用。

 

3、搭建并维护APM工具

 

任务说明：部署听云等APM工具并完成配置，以实现应用性能管理(APM)功能。该工具提供业务性能追踪，配置智能监控告警，采集拓扑、指标等运维数据，将相关的运维数据做对应的输出，支持后续异常检测、故障定位等AIOps应用。

 

4、搭建并维护蓝鲸可观测工具

 

任务说明：部署蓝鲸工具并完成配置。该工具提供业务性能追踪，配置智能监控告警，采集拓扑、指标等运维数据，将相关的运维数据做对应的输出，支持后续异常检测、故障定位等AIOps应用。

 

5、搭建并维护DeepFlow搭建

 

任务说明：部署DeepFlow并完成配置，实现基于eBPF的全套产品功能，能够输出相关的数据，支持后续异常检测、故障定位等AIOps应用。

 

6、搭建并维护Skywalking工具

 

任务说明：部署并配置SkyWalking，一个观测性分析平台和应用性能管理系统。通过这项任务，预期能够实现对应用程序的性能监控、追踪分析以及依赖关系的探索，支持后续调用链检测、故障定位等AIOps应用。

 

7、搭建并维护ChaosMeta

 

任务说明：部署ChaosMeta工具，以支持混沌工程流量模拟、故障注入等功能。故障具体涉及微服务POD、Node、Service中常见的CPU、内存、磁盘、网络等异常，尽可能模拟真实的各种故障情况。

 

8、搭建并维护ChaosBlade

 

任务说明：部署ChaosMeta工具，以支持混沌工程流量模拟、故障注入等功能。故障具体涉及微服务POD、Node、Service中常见的CPU、内存、磁盘、网络等异常，尽可能模拟真实的各种故障情况。

 

9、数据和计算平台搭建

 

任务说明：设计并部署运维数据平台。在数据存储方面，涉及指标、日志、告警、拓扑的存储方案，供AIOps应用评测使用，同时定期发布相应的评测数据集；在计算方面，按AIOps应用需求部署Flink 或者Spark计算集群。

 

10、制定微服务异常检测评测基准

 

任务说明:  根据真实的运维需求，设计异常检测的评测基准。具体可以先以业务指标、机器指标异常检测的评测基准为基础，参考历届AIOps挑战赛方案，给出具体的标注规则和评分机制。最终确保评测基准能够在现有搭建的平台上进行测试评估。

 

11、制定微服务根因定位评测基准

 

任务说明:  根据真实的运维需求，设计根因定位的评测基准。可参考历届AIOps挑战赛方案，并给出具体的标注规则和评分机制。最终确保评测基准能够在现有搭建的平台上进行测试评估。

 

 

历届挑战赛AIOps应用场景

http://aiops-challenge.com

 

欢迎感兴趣的社区成员加入在线评测工作组中，可扫码填写问卷并具体描述希望参与的工作内容和相关经验，感谢对社区工作的支持！

 

 

扫码填写问卷，加入在线评测工作组