ModelScope魔搭社区

ModelScope 魔搭社区简介：

ModelScope社区是一个由阿里巴巴达摩院联合CCF开源发展委员会共同推出的中文AI模型开源社区。该社区成立于2022年6月，旨在汇集当前业界各类模态上工业级领先的模型和丰富的数据集，吸引了众多科研机构和科技公司共同分享和建设这一社区。ModelScope的推出，旨在降低AI应用门槛，推动技术创新和原创性模型研究的发展。

社区的特点包括模型丰富，首批上架模型超过300个，覆盖视觉、语音、自然语言处理、多模态等AI主要领域，覆盖任务超过60个，其中中文模型超过100个，占比超过三分之一。社区鼓励中文模型的开发和使用，实现中文模型的丰富供给，并更好地满足本土需求。社区提供的模型包括150+SOTA（业界领先）模型和十多个大模型，均已开源代码或开放使用。

ModelScope社区提供模型的索引和发现功能，每个模型都配套详细的模型卡片来描述模型背后的机理及相关文献，提供在线体验能力，以及丰富的数据集和模型开发代码。社区与阿里云等云产品结合，提供算力支持，促进社区的快速发展。

ModelScope社区的推出，有望成为国内AI领域的一个重要交流和合作平台，促进AI技术的普及和应用。社区还提供了一系列的工具和框架，如ModelScopeEval、ScopeSwift和ModelScope-Agent，以协助模型开发和AI应用的构建。

ModelScope平台特点：

1. 模型丰富：社区首批上架模型超过300个，覆盖视觉、语音、自然语言处理、多模态等AI主要领域，覆盖任务超过60个，其中中文模型超过100个，占比超过三分之一。
2. 开源开放：社区鼓励中文模型的开发和使用，实现中文模型的丰富供给，并更好地满足本土需求。
3. 技术领先：社区提供的模型包括150+SOTA（业界领先）模型和十多个大模型，均已开源代码或开放使用。
4. 易用性：ModelScope提供模型的索引和发现功能，每个模型都配套详细的模型卡片来描述模型背后的机理及相关文献，提供在线体验能力，以及丰富的数据集和模型开发代码。
5. 云生态集成：ModelScope与阿里云等云产品结合，提供算力支持，促进社区的快速发展。

ModelScope主要服务和工具：

1. ModelScopeEval：一个用于简化大模型评估和性能基准测试的高效、可定制框架。
2. ScopeSwift：魔搭大模型训练推理工具箱，支持多种模型及训练方式。
3. ModelScope-Agent：连接ModelScope模型能力与万物的桥梁，一个智能体框架。

ModelScope社区推荐了多个高质量的数据集，以下是一些精选的数据集：

1. MINT-1T-HTML：这是一个开源多模态INT交叉数据集，包含1万亿个文本标记和34亿张图像，是现有开源数据集的10倍。它旨在促进多模态预训练研究。
2. SafeMTData：由上海人工智能实验室推出，专注于大型语言模型在多轮交互中的安全对齐，包含1680个安全的多轮对话。该数据集基于断路器训练数据集策划而成，已经过过滤以避免与Harmbench的数据污染。
3. Data-Juicer的T2V-Evolution数据池：Data-Juicer提出了一个专为集成数据模型共同开发而量身定制的新型沙盒套件。该沙盒提供了一个全面的实验平台，可实现数据和模型的快速迭代和洞察力驱动的细化。Data-Juicer提出的“探测-分析-细化”工作流程已通过T2V-Turbo上的应用程序验证，并在VBench排行榜上取得了新的最高水平。
4. Infinity-Instruct：智源千万级指令微调数据集，Llama 3.1仅微调即可接近GPT-4的性能。
5. Omni-MATH：这是一个专注于数学问题解答的数据集，适用于训练和评估AI模型在数学推理和问题解决方面的能力。
6. CCI3-Data：这个数据集可能包含了多种类型的数据，用于支持不同的AI应用和研究。
7. chinese-cosmopedia：可能是一个专注于中文宇宙知识的数据集，用于增强AI模型在中文语境下的知识理解和应用。
8. Chinese Fineweb Edu Dataset：这是一个中文教育领域的数据集，可能包含了丰富的教育资源和信息，适用于教育技术领域的AI模型训练。

这些数据集覆盖了多模态学习、安全对齐、数学问题解答、多语言处理等多个领域，为AI研究和应用提供了丰富的资源。通过ModelScope社区，研究人员和开发者可以方便地获取和使用这些数据集，以推动AI技术的发展和创新。

ModelScope社区动态：

ModelScope社区不断更新，提供最新的AI模型和应用。例如，社区提供了Llama-3系列最佳实践、七天入门LLM大模型学习课程等教育资源，以及AIGC专题课程，旨在培养学习者的创新能力和专业技能。

ModelScope魔搭社区是一个充满活力的AI模型开源社区，它通过提供丰富的模型资源、易用的工具和平台、以及强大的云生态支持，为AI开发者和研究人员提供了一个优秀的合作和创新平台。随着社区的不断发展和壮大，ModelScope有望成为国内AI领域的一个重要交流和合作平台，促进AI技术的普及和应用。