AI大赛-通义千问AI挑战赛-Code Qwen能力算法赛道

一、活动简介

代码是人类创造的高质量语言之一，通过高度的抽象来代替形式多样的自然语言，最终转换为具体程序来代替人类完成任务，其具有精确性、逻辑性和可执行性等优点。所以代码能力也成为大语言模型（LLMs）的核心能力，我们期待 LLMs 可以帮助人类进行辅助编程、漏洞修复、甚至是全自动代码生成等工作。

如何通过高质量的数据微调提升基础语言模型的代码能力仍然是一个开放且具有挑战的问题，Qwen AI挑战赛由阿里云和NVIDIA主办，天池平台和魔搭联合承办，是聚焦于通义千问大模型微调训练的竞赛，其主要目标是通过高质量的数据探索和拓展开源模型 Qwen 1.8B 及 Qwen 72B 的代码能力上限。

二、活动规则

【报名与组队】即日起—2023年12月17日18:00，UTC+8

1. 参赛者通过天池平台进行报名，确保报名信息准确有效，否则会被取消参赛资格及激励；
2. 参赛组织可以单人或者多人自由组队,每队限最多3人，每人只能参加1支队伍；如果是多人团队，则需指定1名队长，负责沟通事宜。
3. 本赛道所有选手需在2023年12月17日18:00前完成实名认证（实名认证入口：天池网站-个人中心-认证-支付宝实名认证），未按要求完成实名认证队伍，将被取消参赛资格。

特别提醒：

• 每个队伍中，队长与队员都需要进行实名验证才符合“队伍完成实名认证”的需求。
• 组队成功后，点击左侧「我的团队」即可查看本队伍实名情况。

【初赛阶段 - 小试牛刀 1.8B】2023年12月5日10:00-2023年12月18日18:00，UTC+8

高质量的数据是大模型提升效果的关键，初赛阶段主要聚焦在如何通过 SFT 提升基础模型的代码能力。需要选手基于最新开源的 Qwen 1.8 模型作为基础模型，在我们提供的训练框架上自行进行数据收集与微调，训练完成后将进行自动评估，返回最终结果进行排名；

1. 时间：2023年12月5日10:00-2023年12月18日18:00
2. 评测方式：系统每天提供3次实时评测，供选手进行提交测试，排行榜将展示排名情况，比赛期间每小时更新排行榜，按照评测指标从高到低排序。排行榜将选择参赛队伍在本阶段的历史最优成绩进行排名展示。一阶段评测数据集主要为公开的代码基准（见赛题说明）； 另外我们会做训练数据的泄露检测，防止训练集中混入测试集；组委会将取消存在相互抄袭、测试集泄露等行为队伍的比赛资格。
3. 评测时间：即日起至12月18日18:00，选手未在该时间前提交成功，系统将不予评测。排行榜最后一次刷新时间是12月18日18:00。
4. 代码审核：初赛最终排行榜前10名的参赛团队，需于2023年12月19日18:00前提交包含模型的完整代码及数据供组委会审核，通过审核且实名认证后即可晋级复赛，复赛晋级名额为10支，如有不合格队伍，晋级资格将依据排行榜顺延。

另外初赛我们还设置一些额外彩蛋 🎁：

• 友谊第一奖凡是初赛提交并成功出分且高于 baseline 的选手队伍，每人均可获得大赛官方纪念帽衫一件。
• 持之以恒奖每日坚持提交评测选手，将获得组委会提供的通义周边奖品一份。
• 名列前茅奖初赛最终榜单排名前20%选手团队，将获得组委会提供天猫精灵-方糖两台。

【复赛阶段 - 八仙过海 72B】2023年12月20日18:00-2023年12月28日12:00，UTC+8

复赛阶段我们将提供 GPU 算力（在线 API 的方式），参赛队伍将基于 Qwen-72B 模型进行 PEFT （lora）进行训练；

1. 复赛评测采用混合评测方式，评测时间为2023年12月20日18:00-2023年12月28日12:00，复赛的评测集为初赛公开数据集分数 * 0.5 + 隐藏的代码 QA 数据集 * 0.5；评测对选手完成训练的模型进行在线盲测，选手将看不到隐藏代码 QA 数据集的具体题目（包括 prompt）公平公正地验证模型效果。
2. 本赛段需要选手在截止日期前上传训练模型的所有参数、数据、部署训练好的 Qwen-72B 模型。最终获胜方案需要按组委会要求进行线上答辩，具体情况留意组委会通知。

三、活动时间

【初赛阶段 - 小试牛刀 1.8B】2023年12月5日10:00-2023年12月18日18:00，UTC+8

【复赛阶段 - 八仙过海 72B】2023年12月20日18:00-2023年12月28日12:00，UTC+8

四、活动奖项

本次竞赛奖金池共计9.5万元人民币现金奖励（税前），具体奖励如下：

• 冠军（1名）：
  ◦ 30000元人民币奖金，颁发获奖证书
• 亚军（1名）：
  ◦ 20000元人民币奖金，颁发获奖证书
• 季军（1名）：
  ◦ 10000元人民币奖金，颁发获奖证书
• 优胜奖（7名）：
  ◦ 5000元人民币奖金，颁发获奖证书

五、参赛要求

1.参赛队伍：

• 可由1-5个人组成，任何参赛选手只能同时参与一支队伍。
• 允许阿里巴巴集团和NVIDIA 员工参加比赛，但是包含阿里巴巴员工和NVIDIA 员工为队员的队伍将不会被授予奖项和奖金。

2.结果复现：

• 初赛排名前10名队伍将在代码审核合格后进入复赛，参赛队伍需注意保存对应的数据文件，需要固定并保存好随机种子及超参数，使得复现结果可与提交数据完全一致。

六、注意事项

参与者参加本次比赛，即表示同意并接受以下条款：

• 参与者需自行负责比赛过程中的私有数据安全，不得侵犯任何第三方的合法权益。
• 比赛组织者对参与者提交的模型和代码有权进行全面的审查和评定。
• 比赛的所有相关事项，包括但不限于比赛规则，评估标准，奖项设置，以及比赛最终结果的确定，均由主办方和联合承办方共同决定。
• 主办方保留对所有比赛相关内容的最终解释权。
• 任何未尽事宜，主办方将根据实际情况进行解释和处理，并保留随时修改比赛规则、调整比赛流程或取消比赛的权利。
• 请所有参与者关注比赛官方网站或其他公告，以获取最新的比赛信息。

活动地址：  https://tianchi.aliyun.com/competition/entrance/532169?spm=a2c22.12281949.0.0.4c883b74qPDKm8

【了解更多AI相关的AI活动，AI赛事可访问】

aitop100活动专栏： https://www.aitop100.cn/activity/index.html

AI活动专属社区

地址： https://www.aitop100.cn/circle/index.html

AI活动专属社群：

加入社群参与了解更多AI活动及大赛

原文地址：  https://www.aitop100.cn/infomation/details.html?id=11257