2024 CCF国际AIOps挑战赛报名开启！
发布时间：2024-05-13 17:35:00
本届挑战赛由中国计算机学会（CCF）主办，中国计算机学会互联网专委会、清华大学、中国科学院计算机网络信息中心承办，中兴通讯、北京智谱华章科技有限公司、中南大学计算机学院、清华大学计算机科学与技术系、北京必示科技有限公司协办。同时，本届AIOps挑战赛也是OpenAIOps社区成立之后第一届重要年度赛事。
赛题方向：「基于检索增强的运维知识问答挑战赛」
2024年第七届CCF国际AIOps挑战赛首次采用大模型检索增强（RAG）技术，基于5G领域运维技术文档，探索如何结合领域私有技术文档进行高效私域知识问答。揭示在通用大语言模型基座下，垂直领域知识问答面临的领域知识缺失，公私域知识冲突，多模态图表并存等一系列挑战。
参赛队伍需要通过私域文本处理、数据库构建、基座模型微调、Prompt工程等其中部分技术，搭建运维领域的检索增强问答系统，或基于大赛主办方搭建的基础RAG系统之上，修改部分模块，提升私域知识问答精度。大赛主办方会使用公开的私域文档相关的问题和专家标准答案对选手的答案进行评测，实时更新榜单。
本届大赛采用双赛道赛制。赛道一只能使用开源的Qwen1.5-14b模型，可以对模型微调之后再进行RAG问答。赛道二只能调用GLM4的API接口，模型不能微调，模拟在特定场景下没有自己微调模型能力的运维场景。每个选手可以自由选择赛道，也可以只参加一个赛道，最终成绩按照最好排名的赛道计算。
大赛分为初赛、复赛和决赛三个阶段。初赛每个赛道选择至少前10名，共20+比赛队伍进入复赛。复赛会根据每个赛道的排名，技术报告完整度和创新性等多个维度组织复赛专家评审会，两赛道合计筛选10支队伍进入决赛。决赛通过答辩评出最终获奖团队。
奖金设置
初赛只需要提交答案，不强制提交文档。最后从每个赛道排行榜选择至少10个（累计20+）比赛队伍进入复赛。
奖金设置
本届大赛奖金池总额¥140,000，两个赛道合并评分。
一等奖1名，奖金¥50,000；
二等奖2名，奖金¥30,000；
三等奖3名，奖金¥10,000。
（以上提及金额为税前金额）
大赛报名
报名时间：2024年5月12日-6月11日
报名流程：参赛选手在官网（https://aiops-challenge.com）进行注册，按照提示填写账户资料、绑定手机号、进行实名认证，实名认证经审核通过后，即可点击“参加比赛”报名。
创建队伍：选手报名后自动创建团队，可邀请其他成员加入，组队完成后由队长确认“确认组队完成”。
资源申请：选手需“确认组队完成”（单人参赛也需要确认）后，请以团队为单位，填写资源需求表（每支队伍提交一份即可，不超过5个账号；如果参加赛道一，仅填写魔搭资源需求表即可。如果赛道二，则还需填写智谱GLM-4资源需求表），组委会将根据需求表信息为参赛各队伍提社区资源。
魔搭资源：每个账号 100小时32GB显存GPU+比赛期间免费CPU计算资源
智谱GLM-4资源：每个账号 200万 GLM-4 API 免费 tokens
评分规则
初赛只需要提交答案，不强制提交文档。最后从每个赛道排行榜选择至少10个（累计20+）比赛队伍进入复赛。
如果两个赛道均参加，以最佳成绩所在赛道为主。
如果榜单成绩不佳，但方案设计有新意，可联系主办方提交设计文档。主办方会组织专家进行评审项目创新度（不多于10名，以提交顺序为准），项目创新度高的队伍可以直通复赛，原则上直通名额两个赛道累计不大于5名。
复赛20多支队伍除了会在隐藏赛题上评测，还需要提交设计文档。主办方会组织业内专家，开展复赛评审会，综合复赛榜单成绩和技术方案文档，选择打分前10名进入决赛。
前10名复赛胜出选手在决赛当天现场ppt答辩，决赛嘉宾现场投票决定排名和获奖名单。
本届挑战赛使用自动化评测方案，选手上传答案脚本，实时更新榜单。
