2022 CCF国际AIOps挑战赛热身赛道介绍
发布时间：2022-03-30 19:10:39
本文由2022 CCF国际AIOps挑战赛线上宣讲会上，必示科技混沌工程技术负责人陈哲康与阿里云可观测平台AIOps负责人悟冥的演讲整理而成，详细介绍了热身赛背景、参与方式和阿里云SLS平台对热身赛的支持。
热身赛赛道介绍
背景
国际AIOps挑战赛举办以来，借助社区力量不断推动赛题的迭代，从最初离线评测定位故障，逐步演进到在线检测定位。在此过程中，参赛选手提供了宝贵的建议。
探索AIOps的过程中遇到多重挑战，总结如下：
- 实现AIOps算法缺乏大量故障案例的多模态数据；
- 如何让算法在工业实时流式数据中快速出效果；
- 工业界数据包含敏感信息无法开源，给算法预研带来挑战。
对此，2022 CCF国际AIOps挑战赛基于“正赛”，额外提供一条热身赛道，持续输出开放数据至初赛结束。热身赛成绩不计入正赛积分，且不影响正赛参赛。热身赛为选手提供熟悉竞赛、优化算法的数据通道，同时热身赛数据会全部开源给选手使用。
热身赛时间安排
热身赛开放时间自4月中旬至5月中旬正赛初赛结束。热身赛竞赛数据消费由阿里云SLS提供，评测环境由挑战赛平台（http://competition.aiops-challenge.com/）提供。选手可在本地通过互联网访问数据并提交答案。数据内容和评分方案将尽可能与正赛保持一致。
热身赛筹备时间线：
- 3月，携手阿里云打造向参与选手开放的数据源，在挑战赛平台构建在线评分系统。
- 4月12日，启动热身赛通道报名，选手认证且组队完成后即可通过阿里云SLS服务获取数据；选手通过挑战赛平台提交故障。
- 4月17日，公布热身赛排行榜，并定期更新排名信息，选手在赛事详情页查看排名。
- 5月中旬，挑战赛正赛结束后，热身赛道关闭，数据开放通道随之关闭。
*具体时间以官方通知为准。
参赛流程及提交方式
各位选手可通过智能运维前沿公众号、官方微信群、挑战赛平台等官方渠道，获悉热身赛开放时间。在完成报名后，选手可获得队伍数据权限和队伍提交权限。
队伍数据权限：在热身赛“数据”页签下查看权限，以此从阿里云SLS服务LogStore上获取数据。
队伍提交权限：在热身赛提交页面获取到帮助文档，选手在本地环境运行算法模型，把算法结果提交至挑战赛平台指定的位置，即可参与评分。挑战赛平台会定期公布排行榜，以便选手评估迭代算法模型。
数据获取
热身赛由阿里云提供数据存储服务，为选手分配阿里云子账号的用户名和密码，选手可以操作特定阿里云SLS资源的访问秘钥。选手账号具备的能力，包括登录阿里云SLS控制台，通过阿里云SLS的SDK对特定资源进行操作。
这里有三点注意说明：
- 参赛队伍子账号所有权归属于阿里云SLS；
- 参赛队伍子账号将在9月底回收，相关资源会清理；
- 参赛队伍子账号权限仅限于SLS特定的Project资源，不会对队伍本身产生额外的费用。
选手获取数据有三种方式：
- 方式一：SQL，使用SLS的SDK，通过GetLogs方法获取数据；
- 方式二：拉取数据，数据落在某个LogStore下面不同的shard中，选手使用SLS的SDK，通过PullData的方法去获取；
- 方式三：通过消费组（ConsumerGroup）消费数据，借助SLS实现不同消费者之间的负载均衡、FailOver等场景，选手只需要专注于算法逻辑。
热身赛数据介绍
热身赛数据介绍分为两部分展开：SLS平台介绍和热身赛赛题在SLS平台上的展现。
SLS概览
阿里云日志服务 SLS 是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升在开发、运维、运营、安全等场景的数字化能力。
如下图所示，左边是数据来源，更多来自于公有云、用户自建的IDC机房以及各类边缘节点数据。当数据接入SLS平台后，会提供多种手段对数据进行处理和可视化，以支撑上层更多应用场景。同时 SLS平台提供丰富的数据出口，对接开源生态，便于数据流转。
在SLS平台获取数据以及数据处理，通过数据加工完成数据规整、富化、流转、脱敏和过滤；同时通过查询分析得到处理后的结构化数据。
数据加工：提供强大的数据加工能力，内置200+丰富算法，让用户开箱即用。在大规模场景下，后端会提供完整的托管模式，用户不用担心数据量和并发吞吐。
查询分析：提供丰富的图表和下钻分析能力，10亿级数据秒级返回搜索查询结果；内置常用的自定义分析算法，支持持续巡检、异常检测；同时阿里云做了大量工作来兼容标准的SQL92语法，提供快速高效的分析能力。
数据可视化
在SLS平台，我们以Project为准来存数据，更多对应的是Database的一个形态。在Project下有LogStore能力，对应Database里的Table。对此，我们提供专有名词解析，便于更好理解平台中名词所对应的结构。
下图右侧展示了控制台的一个主页，包括Project、LogStore，以及MetricStore、Dashboard、ETL Job、Alert等。
下图是SLS控制台的主页，绿色图标包含满足所有过滤结果的一些统计值，有相关的Search、Query的输入框，支持索引和分词符配置，如 “Key:Value”就是是我们配置的索引值。时间选择器，以“_time_”为准，“_time_”是指目前可以看到的日志产生的时间。
本届CCF国际AIOps挑战赛还提供了丰富的trace数据，SLS视角下其实是Trace数据的服务拓扑情况。
最后，如果大家对热身赛数据获取有疑问，可以加入挑战赛官方微信群或钉钉群。
（注：钉钉群只用于做热身赛数据获取的答疑，关于挑战赛正赛的答疑将在官方微信群进行。）
