MusicLM
7417
325
0
MusicLM是Google Research于2023年发布的文本-到-音乐(Text-to-Music)生成模型。它能把“一段平静的小提琴旋律,伴以失真吉他音轨”这样的自然语言描述,直接变成 24 kHz、持续数分钟且结构连贯的高保真音乐。
工具标签:
直达网站

一、MusicLM是什么?
MusicLM是Google Research于2023年发布的文本-到-音乐(Text-to-Music)生成模型。它能把“一段平静的小提琴旋律,伴以失真吉他音轨”这样的自然语言描述,直接变成 24 kHz、持续数分钟且结构连贯的高保真音乐。与只能生成30秒左右的早期模型不同,MusicLM支持“故事模式”,可按时间轴切换提示词,生成5分钟以上的完整作品。官方同时开源了评估数据集 MusicCaps(5.5 k 人工精标音乐-文本对),以推动社区研究。
二、核心功能
- 纯文本生成:仅输入一句话,生成音乐。例如输入“柏林 90 年代 Techno,低沉贝斯与强劲底鼓”,即可生成对应音乐。
- 文本+旋律:给定口哨/哼唱/音频,模型按文本风格重编配。比如把《欢乐颂》哼唱变成爵士萨克斯版。
- 故事模式:按时间轴依次给出提示词,生成长音乐。如 0 - 15 s 提示“冥想”,15 - 30 s 提示“醒来”,30 - 45 s 提示“跑步”,模型会据此生成连贯的长音乐。
- 绘画条件:以名画标题/描述为灵感生成配乐。例如输入《呐喊》,可生成紧张、扭曲的弦乐氛围音乐。
- 细粒度控制:指定乐器、水平、年代、地点等。如“初学者钢琴,在加勒比海滩弹奏”。
- 多样性采样:同一提示多次生成,结果各不相同。比如输入“运动激励音乐”,可生成 5 首风格迥异的音乐。
三、技术原理
分层序列 - 到 - 序列框架
- 语义阶段:采用 30 s 语义 token 自回归建模(Transformer Decoder,430 M 参数)。
- 声学阶段:用残差向量量化(RVQ)把语义 token 转成 24 kHz 音频。
- 长序列策略:运用 15 s 滑动窗口 + 自回归前缀,实现数分钟音乐的一致性。
条件机制
- 文本侧:借助 MuLan 文本 - 音乐联合嵌入,解决成对数据稀缺问题。
- 旋律侧:将旋律嵌入与文本嵌入相加,作为额外条件控制风格。
音频 Tokenizer
采用 SoundStream + RVQ,6 kbps 即可高保真重建 24 kHz 立体声。
四、技术优势
- 采样率:MusicLM 为 24 kHz,Jukebox(OpenAI)为 44.1 kHz,Bark(Suno)为 24 kHz。
- 最长时长:MusicLM 可生成超过 5 分钟连贯音乐,Jukebox 约 1 分钟且有断层,Bark 约 1 分钟。
- 文本贴合度:MusicLM 较高(得益于 MuLan 嵌入),Jukebox 中等,Bark 中高。
- 旋律控制:MusicLM 支持,Jukebox 和 Bark 不支持。
- 商用授权:MusicLM 和 Jukebox 仅限研究/非商用,Bark 已商用。
五、需求人群
- 音乐创作者:可用于快速制作 Demo 原型、获取灵感草稿。
- 独立游戏 / 影视配乐师:能低成本生成循环 BGM。
- 广告/短视频 MCN:可批量生成无版权风险配乐。
- 音乐教育:能展示不同风格、年代、乐器的即时范例。
- AI 研究者:可借助 MusicCaps 评估新算法。
六、应用场景
场景 1:游戏动态音乐
玩家进入“森林夜晚”区域,系统给出实时文本提示“神秘、虫鸣、轻打击乐”,MusicLM 生成 30 s 循环音乐,且能随区域切换平滑过渡。
场景 2:短视频配乐工厂
MCN 运营上传脚本“赛博朋克 + 古筝 + 女高音吟唱”,MusicLM 批量产出 10 条差异化音频,经热度测试后择优投放。
场景 3:音乐课堂互动
老师哼唱《小星星》,输入文本“巴洛克弦乐四重奏”,学生可现场听到改编版,加深对风格的理解。
场景 4:沉浸式展览
观众面对达利《记忆的永恒》,系统读取画作描述,生成扭曲、融化感的电子音色,强化视觉体验。
七、MusicLM使用教程
- 访问演示站:google-research.github.io/seanet/musiclm/examples
- 输入文本(英文效果最佳):例如“melodic techno, 120 bpm, ethereal female vocal pad, uplifting”
- 可选上传旋律条件:上传 10 - 30 s 口哨/钢琴 midi 作为旋律条件
- 选择时长:有 10 s / 30 s / 60 s / Story Mode 可选
- 点击 Generate:约 20 - 60 s 可试听、下载 WAV
想了解AITOP100平台其它版块的内容,请点击下方超链接查看
AI创作大赛 | AI活动 | AI工具集 | AI资讯专区
AITOP100平台官方交流社群二维码:

评论
全部评论

暂无评论
热门推荐
相关推荐

LibTV
LibTV是一款面向视频创作者和AI Agent的专业创作平台,提供无限画布、剧本与分镜管理、图像视频生成、AI导演Skill及Agent调用能力。查看LibTV官网入口、主要功能、使用方法、收费说明和常见问题。
苏诺之音
苏诺之音是Suno AI音乐创作平台的中国官网,它打破了传统音乐创作的高门槛,让毫无音乐基础的普通用户也能轻松创作出属于自己的音乐作品。平台借助先进的AI算法,能够根据用户输入的简单指令,如歌词、风格、情感等,快速生成旋律、和声、节奏等音乐元素,将用户的创意灵感转化为完整的音乐作品。
万兴剧厂
万兴剧厂是万兴科技推出的AI驱动的一站式精品漫剧创作平台,也是国内首个“精品漫剧全链路工具+漫剧大模型深度共创”的标杆性产品。其定位为“专属AI电影工作室”,旨在通过整合行业顶流模型与全链路智能工具,重构漫剧创作流程,实现从剧本到成片的工业化创作,让小工作室利用低成本、高效产出影视级漫剧内容。
vibeknow
VibeKnow是2026年上线的垂直知识类AI视频SaaS平台,支持文档、网页一键生成专业讲解视频,依托AI制片人智能体自动完成全流程制作,大幅降低知识内容视频化成本,适配科普、课程、企业培训等场景,是AIGC知识视频赛道的差异化工具。
塔猴
塔猴Tahou是重庆塔猴科技打造的商业对接一体化综合服务平台,打通“系统学习→作品展示→商业接单”全链路,聚焦AI视频、漫剧、绘画等赛道。平台提供分层实战课程、真实商单撮合、资金托管保障及创作者社区,解决创作者变现难与甲方找人难的双向痛点。
麦斯创意
麦斯国际(Max World)是TikTok官方一级广告代理商,提供集广告代理、SaaS系统、AI创意工具、达人营销于一体的出海一站式解决方案。旗下自研AI工具“麦斯创意MaxCreative”,专为跨境商家解决素材产能瓶颈,支持AI视频生成、智能混剪、多语种翻配等功能,直连TikTok发布。
Kling
可灵AI国外版(KLing AI)是由快手公司推出的一款面向全球用户的AI视频创意生产制作平台。它利用快手公司自研的先进的可图文生图大模型和可灵AI视频大模型等先进算法和技术,为用户提供高效、便捷的AI视频和图片创作服务。
Splitter
使用机器学习从歌曲中分离乐器。
0
325






