2024年4月17日,昆仑万维集团在“天工”大模型发布一周年之际,宣布其最新研发成果——“天工3.0”基座大模型与“天工SkyMusic”音乐大模型正式进入公测阶段。这一消息不仅标志着昆仑万维在人工智能领域的持续创新,也预示着AI技术将进入一个全新的发展纪元。
“天工3.0”大模型以其4000亿参数的规模,超越了3140亿参数的Grok-1,成为全球最大的开源MoE(混合专家模型)模型。这一模型在语义理解、逻辑推理、通用性、泛化性、不确定性知识处理以及学习能力等方面均取得了突破性进展,特别是在数学、推理、代码创作和文创能力上,提升幅度超过了30%。
天工3.0模型参数超越Grok-1,成全球最大开源MoE专家混合大模型
在多模态性能方面,“天工3.0”超越了业界领先的GPT-4V,成为全球领先的大模型。这一成就不仅展示了昆仑万维在AI技术领域的强大实力,也为全球AI技术的发展树立了新的标杆。
天工3.0多模态性能超越GPT-4V,全球领先
与此同时,“天工SkyMusic”音乐大模型作为中国首个音乐SOTA(State of the Art)模型,标志着中国在AIGC(人工智能生成内容)领域的技术实力首次领跑全球。与行业主流的符号音乐生成技术不同,“天工SkyMusic”采用了自研的大模型音乐音频生成技术路线,实现了乐器、人声、旋律、音量、音符的一体化端到端音乐生成,技术难度极高。
天工3.0模型参数超越Grok-1,成全球最大开源MoE专家混合大模型
“天工SkyMusic”在与国际顶尖AI音乐大模型Suno V3的横向测评中,以其在人声&BGM音质、人声自然度、发音可懂度等方面的显著优势,以6.65分的综合得分超越对手,成为全球AI音乐SOTA模型。此外,该模型还具备独创的参考音乐生成与方言歌曲生成能力,进一步降低了音乐大模型的使用门槛,让音乐创作变得更加便捷。
昆仑万维集团在过去一年中,围绕“天工”系列大模型构建了包括AI搜索、AI音乐、AI视频、AI社交、AI游戏等在内的AI业务矩阵,成为国内模型技术与工程能力最强、布局最全面的人工智能科技企业之一。昆仑万维的这一系列创新举措,不仅为用户提供了更加丰富和高效的AI体验,也为国产大模型产业的发展贡献了重要力量。
随着“天工3.0”和“天工SkyMusic”的公测启动,昆仑万维将继续在AI技术与产品的创新开拓上不懈努力,与用户、研究人员、开发者们携手共创国产大模型的未来,共同见证AI技术带来的无限可能。
如何使用天工AI生成音乐
1.找到「天工SkyMusic」
在使用「天工SkyMusic」之前,首先需要通过App Store 官方应用商店或者“昆仑万维集团”公众号获取下载链接,安装“天工”APP。
安装完成之后,在APP界面的上方找到“音乐”入口,点击即可进入「天工SkyMusic」进行音乐创作。此外,在首页中还可以发现其他人生成的好歌,也可以在“灵感指南”板块找到更多的音乐灵感。
需要注意的是,目前「天工SkyMusic」仅支持内测,4月17正式上线后,「天工SkyMusic」将面向全社会免费开放。届时,无论是专业的音乐创作者,还是热爱音乐的普通用户,都可以通过下载「天工AI」APP,亲身体验音乐制作人的快乐。
2.写歌的第一步,从写歌词开始
经过以上简单的“工具”准备之后,接下来便可以开始用「天工SkyMusic」写歌了。
点击界面中的最醒目的“开始写歌”按钮,跳转页面后可以看到歌名和歌词的输入框。
此时如果你已经有写好的歌名和歌词,可以直接复制粘贴到里面,在写歌词的时候一定要记得对仗工整且押韵!
但如果你没有歌词,只有一个简单的“灵感”怎么办呢?不用担心!你完全可以把自己的想法填进去,点击右下角的“AI写词”,剩下的交给AI就好了。
比如此刻你正在人民广场吃炸鸡,心里却有些难过,我们看看天工AI会如何帮你用歌词表达:
当然,我们也可以在歌词中添加结构名称,告诉AI这首歌曲我们想完成的结构,当前支持【前奏】、【尾奏】、【主歌】、【副歌】、【间奏】、【桥段】。在填入这些信息的时候一定要用括号囊括在内!
3.选择参考歌曲,确定风格
创作一首完整的歌离不开“词曲混编”四大步,写好歌词之后,接下来便可以让AI帮助我们完成后三步。
在「天工SkyMusic」正式开始工作之前,我们需要为创作的歌曲选择一首参考曲目,确定歌曲的基调。
例如我们刚才写好歌词的《我在人民广场难过的吃炸鸡》,我们点击创作歌曲界面最下方的“选择一首歌曲作为生成参考”,我们这首歌可以选用南拳妈妈的《下雨天》作为参考歌曲,最后点击“生成歌曲”会生成三首原创歌曲,可以选择最好听的一首进行下载分享。
在选择参考歌曲时,还可以根据自己不同的心情、感受、喜好,选择不同的歌曲,在参考歌曲选择页面中,点击“全部”旁边的筛选图标,便可以筛选不同情感的歌曲用于创作。
到这里,一首专属于你的歌曲就创作完成了。
4.下载分享与二次编辑
在创作完成之后,在“我的作品”中能够看到创作的歌曲。歌曲卡片可以直接试听,并且能够一键下载和分享。
在每一个歌名的右上角有一个编辑按钮,点击之后即可进入最初的歌词填写与“参考音乐选择”页面,对该歌曲进行二次编辑。
One More Thing:灵感制造机
除了上述的写歌能力之外,「天工SkyMusic」更大的意义或许在于对音乐灵感的发现和寻找。在添加参考歌曲时,除了可以添加现有的歌曲,还能够自己上传。
此时,如果你手边有一把吉他或者钢琴,甚至是清唱录制一段超过十秒的音频之后,「天工SkyMusic」会迅速在你刚才的风格之上生成新的三种旋律,更神奇的是几乎可以完美还原你刚才录制的声音。
虽然「天工SkyMusic」目前尚处于内测初期阶段,但切实地激活众多音乐爱好者对音乐创作的热情,也让更多用户在音乐创作的过程中探索乐趣。
未来还将进一步融合音乐生态并不断打磨完善,为用户带来更多创新且专业的功能,让「天工SkyMusic」持续为每一位用户降低音乐创作门槛,也辅助专业音乐人拓宽音乐创作边界,共同促进音乐风格的融合创新,助力每一个人更好地创作音乐,尽情表达个性与情感。
关于「天工SkyMusic」
「天工SkyMusic」基于昆仑万维「天工3.0」打造,采用自主研发的音乐音频领域类Sora模型架构,Large-scale Transformer 负责谱曲,来学习 Music Patches 的上下文依赖关系,同时完成音乐可控性;Diffusion Transformer 负责演唱,通过LDM让Music Patches被还原成高质量音频,使得「天工SkyMusic」能够支持生成80秒44100Hz 采样率双声道立体声歌曲。这套模型架构在处理视频、音频和音乐领域效果极佳。昆仑万维团队也将在后续逐步迭代和添加新的能力,让模型具备多模态的情感理解与表达能力。