广告询价设为首页收藏本站

中国先进制造技术论坛官方网站

  • TA的每日心情
    开心
    2018-3-29 09:29
  • 626

    主题

    645

    帖子

    1263

    积分

    超级版主

    Rank: 8Rank: 8

    积分
    1263
    QQ
    发表于 2018-7-9 17:12:39 | 显示全部楼层 |阅读模式

    一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

    将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

    今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

    PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

    这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

    PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

    研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。(编译:杨卟咚)


    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    主题 253 | 回复: 257

    QQ|申请友链|关于我们|联系我们|法律声明|用户协议|商务合作|平台入驻流程和好处|会员入驻|积分充值|积分商城|积分奖励规则| 世界先进制造技术论坛 ( 沪ICP备12020441号 )     

    GMT+8, 2018-7-20 05:12 , Processed in 0.319112 second(s), 55 queries .

    论坛声明:《世界先进制造技术论坛》属纯技术性非赢利性论坛,请勿发布非法言论、非法广告等信息,多谢合作。
    本论坛言论纯属发表者个人意见且会员单独承担发表内容的法律责任,与本论坛立场无关;会员参与本论坛讨论必须遵守中华人民共和国法律法规,凡涉及政治言论、色情、毒品、违法枪支销售等信息一律删除,并将积极配合和协助有关执法机关的调查,请所有会员注意!
    本论坛资源由会员在本论坛发布,版权属于原作者;论坛所有资源为会员个人学习使用,请勿涉及商业用途并请在下载后24小时删除;如有侵犯原作者的版权和知识产权,请来信告知,我们将立即做出处理和回复,谢谢合作!
    电话:021-37709287 邮箱:info@amtbbs.org 微信公众号:AMTBBS 微信服务公众号:AMTservice QQ客服一:3500763653 QQ客服二:3419347041 QQ客服三:2969954637

     

    快速回复 返回顶部 返回列表