NEXT + 音乐 ｜ 用音乐创造新视界

NEXT -

WHAT 我们做什么 用音乐创造新视界

MUSIC-AI（智能音乐组）由3名博士研究生，15名硕士研究生和4名本科生组成，成员分别来自计算机科学与技术、数字媒体、软件工程和设计学等多个专业。

我们致力于以音乐知识为导向，人工智能技术为计算引擎，赋能音乐艺术设计创新，构建一个面向音乐生成、音乐人机交互、音乐（情感）计算分析和多模态音乐推荐的创作与应用的生态，以逐步解决智能化的音乐赋能与生产问题。

WHY 我们的愿景

从古至今，音乐因其抽象化的听觉表述方式、牵动人心的情绪调动能力，引得无数音乐家、学者孜孜不倦，以求能够解锁其中奥秘。

随着跨媒体逐渐成为市场热点，以音乐为载体的情感表达需求日益强烈，视听融合的有效模式急需探索，音乐创作的产能效率也面临巨大挑战。我们立志利用人工智能技术、情感计算和交互设计方法，以机器智能助力艺术灵感，从而明晰音乐情感刺激本质，探索视听融合的音乐适应方案，实现高质高量的音乐创作，让曲乐的华美不再局限于殿堂之中。

HOW 我们如何做

智能音乐组正展开面向音乐智能领域的相关研究，着力于打造视听智能交互生态，打通视听融合运行机制，以音乐智能生成、音乐结构分析、跨媒体图音推荐以及音乐导向下的用户研究为基础，重点研究视听数据库构建、智能作曲算法、短视频生成模型等内容；同时，正在研发相应的网站、App应用。生态发展现状如下图所示。

PROGRESS 成果与进展

智能音乐组得到了多项国家自然科学基金、浙江省重点自然科学基金、浙江省“尖兵”/“领雁”研发攻关计划项目、以及浙江大学-阿里巴巴前沿技术研究中心、华为2012实验室中央媒体研究院资助，在人工智能作曲、跨媒体音乐推荐、音乐结构分析、音乐导向研究和视听数据库建设等方面已取得多项成果。

学术成果

我们围绕着音乐智能交互、处理、生成三个方向进行拓展研究，目前已在音乐趣味交互、情感计算、音乐驱动的短视频自动生成等方面取得喜人成就，并将研究工作细化延伸至音乐电商服务、音乐助眠、民族文化三个领域，完成多项音乐方面的学术研究，获得多项应用落地经验。

由此，产出多项学术成果，包括：

（1）在 IEEE Trans. on Affective Computing、ACM MM、AAAI、ICASSP、ACM ICMR、Neurocomputing、计算机学报等国际期刊或会议上发表论文近三十多篇；

（2）申请相关发明专利、软件著作权十多项；

创新项目

（1）视听融合短音频生成

短音频生成方案得到了来自阿里巴巴达摩院 AZFT 的 IDEA Lab（智能、设计、体验与审美实验室）的合作与支持，该方案将音乐生成技术精准落地于电商场景，以商品信息、图文情感、市场环境驱动机器智能作曲，优化电商营销链路，赋能短视频广告生产，实现高效、高量、高质的电商短音频生成。

方案成果得到阿里巴巴集团认可，被应用于AlibabaWood商品微电影创作机器人项目中，以实现商品短视频广告的自动配乐、自动踩点。AlibabaWood项目获2019阿里巴巴优秀项目奖。

此外，以该方案为技术核心，本项目组孵化出一系列创新创业成果，获第三届、第五届中国“互联网+”大学生创新创业大赛国家金银奖、中国高校计算机大赛移动应用创新赛一等奖等优异成绩。其中包括：

  • StepBeats，运动创作音乐的 AI平台，以“经验+数据+规则”驱动音乐创作，帮助用户通过跑步节奏创作音乐；
  • Mubik，乐感唤醒驱动的音乐重塑平台，打破传统乐感训练方案，聚焦于听觉反馈为主导的乐感培养机制，提供轻量化的乐感培训方案。

本项目组以短音频生成为切入点，结合用户审美设计体验需求，创新音乐与人的交互模式，达到音乐与人和谐共生。

（2）跨媒体融合生成

5G时代即将带来，流量加速、带宽提升，跨媒体素材（如短视频、直播视频等）即将成为炙手可热的新生代传播媒介，其营销市场也将不断扩张。然而，跨媒体热潮下日益激增的广阔需求和广泛应用的背后，却是对创作人员在技术和审美上的高要求，是激增体量下不断增加的工作量。

本项目组希望打破目前的跨媒体制作瓶颈，以实现视听融合环境下的全维度的自动创作，在视觉、听觉维度实现和谐化、艺术化、智能化。

目前，已孵化出了多项创新创业成果，实现以图作曲、情感化短视频自动创作等创新功能。

其中包括：

  • 随心而动的AI创作平台MindBand
  • 视听融合的短视频创作平台VideoX
  • AliababWood项目地址：

https://alibabawood.aliyun.com/

  • StepBeats官网：

https://enjoymusic.ai/

  • StepBeats智能作曲平台 - MadDelta：

https://maddelta.com/

人才培养与学科竞赛

智能音乐组在人才培养上取得诸多进展，多名本科生、研究生获得竺可桢奖学金、唐立新奖学金、国家奖学金与省级优秀毕业生等荣誉称号。项目中多位成员作为创新创业项目成员获得中国“互联网+”大学生创新创业大赛国赛金银奖：

  • 杭州2022年第19届亚运会音乐作品征集抖音分区入围作品（AI创作）。
  • UCAN2021，为“指绘音画”项目提供AI音乐技术服务，触及行业领域精英。
  • “华为杯”第二届中国研究生人工智能创新大赛一等奖，“AIProducer：视听融合的短视频生成平台”。
  • AI 音乐技术成果参加了多个展会，包括中国国际工业博览会、第二届中国国际智能产品博览会、2020全国人工智能大会、第十四届杭州文化创意产业博览会等，获多家国家级、省市级媒体报道

创新项目

（1）大数据智能音乐生成 （优秀合作项目案例）

广告营销和内容制作等音乐内容分发渠道对音乐的需求存在巨大的增长空间。人工智能介入艺术创作，是赋能企业素材生产的重要关键技术。但是广告短视频对配乐素材内容多样、视听情感融合效果期待高、智能推荐剪辑交互一体化效率快等提出了难度挑战。通过研发大数据智能音乐生成，应用智能技术促进创新与数字赋能刻不容缓,主要包括以下三方面研究内容：

  • （1）情感增强的长结构音乐生成算法研究
  • （2）面向电商场景下的多模态音乐推荐算法研究
  • （3）短视频智能AI作曲配乐交互系统研究

（2）图：阿里巴巴内部音乐素材库

“智能音乐项目”获得2021年 AZFT 优秀合作项目、优秀实习生。“智能音乐”项目2021年度构建多个视听数据库，研发多项智能音乐生成与推荐计算技术，有效提升了电商短视频视听融合应用效果。团队共发表了学术著作2项、发表学术论文4篇、专利1项，并获得多项校企荣誉奖项、竞赛和多家媒体报道。截止2021年，AI音乐合作伙伴包括支付宝-周边推、支付宝-会生活、考拉头图、Aliwood、云剪、支付宝-支小宝、支详后台、钉钉-智能打卡、1688、Aliexpress、CTO-OC、阿里云、盒马、新康众、咸鱼等，已节约大量音乐版权费用。

JOIN 加入我们

如果你：

  • 喜爱音乐，有音乐训练（乐理）、表演、或创作基础，对人工智能作曲感兴趣；  

  • 擅长产品设计，熟练掌握相关设计软件，对面向下一代的以用户体验为中心的音乐人机交互设计感兴趣（作曲、推荐等音乐相关产品）；

  • 具有较强的编程能力，精通主流编程语言，如Python，具有项目开发主导经历（Web、System、APP）或个人作品，对深度学习算法充满兴趣；

NEXT 音乐组，欢迎具有创新和音乐艺术创作精神、探索精神、有实力、有激情、有梦想的同学们加入，欢迎联系我们！我们提供日常学术实习锻炼（6个月以上）、暑期夏令营（保研）、SRTP、本科毕业设计辅导等学习机会，也欢迎同学们来攻读计算机科学与技术、人工智能及设计学相关的博士、硕士。