字节博士搞的AI火了,一键完美分离人声和伴奏
写歌填词、改换风格、续写音乐的AI,今天又来做编曲人了! 上传一段《Stay》,一键按下: 伴奏和人声就轻松分离: https://mp.weixin.qq.com/s?__biz=M字节zIzNjc1NzUzMw==&mid=2247594465&idx=3&sn=83a18be3019dbecd6040031618d112dc&chksm=e8d1c博士693dfa64f85e7db0f5157d533361da6c8b71a9ceacdfc29a28399bd6d0bade7a046014f&token=497180065&搞的lang=zh_CN#rd 人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了! 这样惊人的效果也引发了Reddit热议: 这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GiaAIntMIDI-Piano,也是由他在去年牵头发布的。 那么今天,他又带来了怎样的一个AI音乐家呢? 一起来看看。 基于深度残差网络的音源分离 这是一个包含了相位估计的音乐源分离(MSS)系统。 首先,火了将幅值(Magnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。 其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。 最后,为MSS系统引入一个143层,一的深度残差网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度: 残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达能键完力。 其中每个残差编码块由4个残差卷积块(RCB)组成,残差卷积块又由两个核大小为3×3的卷积层组成。 每个残差解码块由8个卷积层和1个反卷积层组成。 实验结果 接下来,将这一系统在MUSDB18数据美分集上进行实验。 MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。 在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同离人一来源的两个3秒片段,然后作为一个新的3秒片段进行训练。 以信号失真率(SDR)作为评判标准,可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法: 在消融实验中声和,143层残差网络的表现也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。 作者介绍 这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信伴奏息工程专业。 他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组,主要负责音频信号处理和声音事件检测等领域的研究。 论文: 试玩: 开源地址: 参考链接:
https://arxiv字节.org/abs/2109.05418
https://huggingface.co/spaces/akhaliq/Music_Source_Separation
https://git博士hub.com/bytedance/music_source_separation
https://www.reddit.com/r/MachineLearning/comments/p搞的qpl7m/r_decoupling_magnitude_and_phase_estimation_with/
- 最近发表
-
- 标签: 美光 HBM DRAM NAND
- 标签: 高通 RISC-V Ventana Oryon
- 比9种SOTA GNN更强!谷歌大脑提出全新图神经网络GKATs
- 云计算核心技术Docker教程:Docker使用journald日志驱动程序
- Tahoe Bio重磅发布Tahoe-x1模型,AI“解码”生命语言,癌症研究迎来计算效率革命
- 标签: 以岭药业 以岭万洲 Gerbera Therapeutics FDA
- OpenAI终止Codex独立产品线并将其全面并入GPT-5.5
- 云计算核心技术Docker教程:Docker配置网络概述
- Reddit 测试新功能:用户可在应用内阅读文章并查看评论
- 苹果公司引领的时代黯淡了
- 随机阅读
-
- 视觉中国与多家AI公司合作开发可商用视觉大模型:已获阿里、微软等订单
- 基于慎重评估 阿里云将关停澳大利亚、印度两个地域数据中心服务
- OpenAI 收购开发数据分析平台 Statsig, 每天可处理 1 万亿次事件
- 标签: 腾讯音乐 在线音乐 TME 2025Q3财报
- 标签: Apple Intelligence Siri Gemini Music
- 人工智能改变金融的五种方式
- OpenAI将与甲骨文联手打造数据中心 部署6.4万块英伟达GB200
- 标签: 大疆 陈良深 扫地机BU 智能出行
- 标签: 动力电池
- 标签: 魏牌 V9X 魏建军 路虎揽胜运动版
- 英国前首相苏纳克获两大科技巨头聘任:将任微软与 Anthropic 高级顾问
- 标签: 拼多多 赵佳臻 Temu 陈磊
- 阿里云将新增巴西、法国和荷兰数据中心
- 360发布全球首款L2-L4全栈智能体平台!政企AI转型迎来“开箱即用”时代
- 标签: 华为PuraXMax 奇瑞风云T9L 网络直播打赏 阔折叠手机
- 免费试玩!Hailuo 2.3发布!文字直出电影级视频 动作表情保真!
- 阿里云推出大规模视觉语言模型Qwen-VL 已在ModeScope开源
- 标签: 联想控股 李蓬 于浩
- 标签: 钠电池 动力电池
- 云安全日报210121:IBM企业云技术全面集成平台发现执行任意代码漏洞,需要尽快升级
- 搜索
-
- 友情链接