NEXT + 音乐 | 用音乐创造新视界

文章 Oct 22, 2020

WHAT 我们做什么 用音乐创造新视界

       MUSIC-AI(智能音乐组)由3名博士研究生,15名硕士研究生和4名本科生组成,成员分别来自计算机科学与技术、数字媒体、软件工程和设计学等多个专业。

       我们致力于利用智能技术实现音乐领域相关应用,构建一个包含音乐导向、音乐分析和音乐生成的多维技术生态,以逐步解决智能化的音乐赋能与生产问题。

WHY 我们的愿景

       从古至今,音乐因其抽象化的听觉表述方式、牵动人心的情绪调动能力,引得无数音乐家、学者孜孜不倦,以求能够解锁其中奥秘。

       随着跨媒体逐渐成为市场热点,以音乐为载体的情感表达需求日益强烈,视听融合的有效模式急需探索,音乐创作的产能效率也面临巨大挑战。我们立志利用人工智能技术、情感计算和交互设计方法,以机器智能助力艺术灵感,从而明晰音乐情感刺激本质,探索视听融合的音乐适应方案,实现高质高量的音乐创作,让曲乐的华美不再局限于殿堂之中。

HOW 我们如何做

       智能音乐组正展开面向音乐智能领域的相关研究,着力于打造视听智能交互生态,打通视听融合运行机制,以音乐智能生成、音乐结构分析、跨媒体图音推荐以及音乐导向下的用户研究为基础,重点研究视听数据库构建、智能作曲算法、短视频生成模型等内容;同时,正在研发相应的网站、App应用。生态发展现状如下图所示。

PROGRESS 成果与进展

       智能音乐组得到了多项国家自然科学基金、浙江省重点自然科学基金以及浙江大学-阿里巴巴前沿技术研究中心资助,在人工智能作曲、跨媒体音乐推荐、音乐结构分析、音乐导向研究和视听数据库建设等方面已取得多项成果。

学术成果

       我们围绕着音乐智能交互、处理、生成三个方向进行拓展研究,目前已在音乐趣味交互、情感计算、音乐驱动的短视频自动生成等方面取得喜人成就,并将研究工作细化延伸至音乐电商服务、音乐助眠、民族文化三个领域,完成多项音乐方面的学术研究,获得多项应用落地经验。

       由此,产出多项学术成果,包括:

(1)在ACM MM、ACM ICMR、Neurocomputing、计算机学报等国际期刊或会议上发表论文近三十多篇;

(2)申请相关发明专利、软件著作权十多项;

创新项目

(1)视听融合短音频生成

       短音频生成方案得到了来自阿里巴巴达摩院AZFT的IDEA Lab(智能、设计、体验与审美实验室)的合作与支持,该方案将音乐生成技术精准落地于电商场景,以商品信息、图文情感、市场环境驱动机器智能作曲,优化电商营销链路,赋能短视频广告生产,实现高效、高量、高质的电商短音频生成。

       方案成果得到阿里巴巴集团认可,被应用于AlibabaWood商品微电影创作机器人项目中,以实现商品短视频广告的自动配乐、自动踩点。AlibabaWood项目获2019阿里巴巴优秀项目奖。

       此外,以该方案为技术核心,本项目组孵化出一系列创新创业成果,获第三届、第五届中国“互联网+”大学生创新创业大赛国家金银奖、中国高校计算机大赛移动应用创新赛一等奖等优异成绩。其中包括:

  • StepBeats,运动创作音乐的 AI平台,以“经验+数据+规则”驱动音乐创作,帮助用户通过跑步节奏创作音乐;
  • Mubik,乐感唤醒驱动的音乐重塑平台,打破传统乐感训练方案,聚焦于听觉反馈为主导的乐感培养机制,提供轻量化的乐感培训方案。

       本项目组以短音频生成为切入点,结合用户审美设计体验需求,创新音乐与人的交互模式,达到音乐与人和谐共生。


(2)跨媒体融合生成

       5G时代即将带来,流量加速、带宽提升,跨媒体素材(如短视频、直播视频等)即将成为炙手可热的新生代传播媒介,其营销市场也将不断扩张。然而,跨媒体热潮下日益激增的广阔需求和广泛应用的背后,却是对创作人员在技术和审美上的高要求,是激增体量下不断增加的工作量。

       本项目组希望打破目前的跨媒体制作瓶颈,以实现视听融合环境下的全维度的自动创作,在视觉、听觉维度实现和谐化、艺术化、智能化。

       目前,已孵化出了多项创新创业成果,实现以图作曲、情感化短视频自动创作等创新功能。

       其中包括:

  • 随心而动的AI创作平台MindBand
  • 视听融合的短视频创作平台VideoX
  • AliababWood项目地址:

https://alibabawood.aliyun.com/

  • StepBeats官网:

https://enjoymusic.ai/

  • StepBeats智能作曲平台 - MadDelta:

https://maddelta.com/


人才培养与学科竞赛

       智能音乐组在人才培养上取得诸多进展,多名本科生、研究生获得竺可桢奖学金、唐立新奖学金、国家奖学金与省级优秀毕业生等荣誉称号。项目中多位成员作为创新创业项目成员获得中国“互联网+”大学生创新创业大赛国赛金银奖:

  • Stepbeats、Mindband等项目获中国“互联网+”大学生创新创业大赛国赛金奖;
  • 入画、Mubik等获中国“互联网+”大学生创新创业大赛国赛银奖。

JOIN 加入我们

如果你:

  • 痴迷音乐,是一名发烧爱好者;  
    
  • 热爱拍摄短视频,有独到的心得;
    
  • 曾参与过视频(图像)、文本和音乐相关项目或具有相关研究经验;
    
  • 擅长Web或App开发;
    
  • 对深度学习算法充满兴趣或在音频分析领域有所实践;

       欢迎你成为我们未来的伙伴,我们提供暑期夏令营、SRTP、毕业设计等学习机会,也欢迎同学们来攻读计算机科学与技术、人工智能及设计学相关的博士、硕士。如果你对我们的工作充满好奇,想一展才华,或是了解更多,欢迎联系我们。

  • 吴同学  11921149@zju.edu.cn
  • 张老师  zhangkejun@zju.edu.cn

标签

NextLab

浙江大学科技设计创新创业实验室

Great! You've successfully subscribed.
Great! Next, complete checkout for full access.
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.