IT时报记者 潘少颖

当民族乐曲和AI发生摩擦,会碰撞出怎么样的火花?

“本来以为AI写出来会比较天马行空,但拿到谱子排练感觉很符合中阮的气质。我们演奏起来还挺顺手的,也很容易二度创作,给我们更多的施展空间。”上海民族乐团阮演奏家唐一雯说。

而在上海民族乐团笙声部首席赵臻看来,AI不受传统作曲手法等固有框架的影响,TA的创作可能更自由,所以能在乐曲中感受到一些不太常规的表达,比如以前没有触碰过的节奏型或者旋律,也给音乐表达带来很多启发。

作为第39届上海之春国际音乐节的重磅演出之一,4月13日,由上海民族乐团、腾讯音乐娱乐集团(TME)、1862时尚艺术中心联合主办的全国首个AI作曲的民乐音乐会《零•壹|中国色》举行,此次音乐会中全部参演曲目均由TME和腾讯AI Lab联合研发的AI音乐大模型“琴乐大模型“创作,并经过乐团演奏家们的二度创作最终打磨成曲。

打开网易新闻 查看更多图片

在AI作曲技术的辅助下,艺术家们如何与科技共同探索音乐的表达?以AI作曲为基础进行二度创作,需要艺术家们与AI互动不断打磨作品,优化完善音乐结构和层次、乐曲的情感和温度,使作品对音乐会主题“中国色”的意境诠释得更加丰富。

“用唐宋元诗词,结合中国民族乐器的特色,让AI生成音韵,艺术家赋予了数据人类的情感和生命力。”一位观众向《IT时报》记者表示。

AI生成国风雅乐 “中国色”惊鸿人间

东方既白、松花、娇红、菡萏、轻紫……这些诗意曼妙的中国色,通过国乐与AI的跨界合作,以音乐的方式让观众听见。

“相与枕籍乎舟中,不知东方之既白。”这是出自宋代诗人苏轼《赤壁赋》的诗句,也是音乐会的第一首曲子,赵臻携手李春旭、王阳等演奏家,在笙曲中与观众展开一场逾越文化、时空的绵绵对话,一曲奏毕,余音袅袅,观众心生“日升破晓,东方风来满眼春”的悠远意境。

随后新笛与箜篌合奏的《松花》、古筝曲《娇红》、阮曲《菡萏》、二胡曲《轻紫》、琵琶曲《揉蓝》先后登场,大自然色彩的起承转合千变万化,让观众从乐曲中感受到不同色彩演绎的纷呈国韵。

唢呐曲《茶色》、中国鼓《玄天》的演奏更是让整场演出的气氛达到高潮,唢呐嘹亮的音色,能在现代乐器衬托下演奏出细腻委婉的曲调,让观众如痴如醉;中国鼓时而激昂时而肃穆,激起了全场观众的热情。

值得一提的是,演出突破传统镜框式舞台,乐团根据场地特点,展示出舞台背后的玻璃幕墙,夜色下玻璃镜面反射出演奏家和观众们共享国乐的身影。

据了解,此次音乐会的合作源自上海民族乐团对传统民乐求新求变的探索。2024年2月,上海民族乐团与TME达成战略合作。

“AI就是一个满足我们好奇心、表达艺术家想象力的新载体。”而主题《零·壹|中国色》则是上海民族乐团团长罗小慈妙手偶得的灵感,“用音乐来表达色彩背后的情绪特别适合,古人赋予色彩如此美好的名字,启发我们对美的认知,背后有着对蓬勃生命力的直观表达,也有中国人对自然、对宇宙的认知和理解。”

“国乐是流动的密码,国色是凝固的文化。”在音乐考古学专家刘国梁看来,AI对传统文化学习很快,对文化传统也无“分别心”,用国色、国乐、AI这三种跨越文化界限的语言,打破世界上最遥远的距离,与艺术家一起创造‘闻弹一夜中,会尽天地情’的国色之乐。”

琴乐大模型突破创作边界

“从QQ音乐的听歌识曲、哼唱识别到全民K歌的智能修音、AI歌声,再到‘琴乐大模型’的作曲、编曲及混音等全栈能力,这些成功的经验和技术都帮助我们更好地完成这次合作。”QQ音乐技术副总裁、腾讯音乐天琴实验室负责人周文江表示。

基于文本输入中英文关键词、描述性语句或音频,“琴乐大模型”可实现为普通大众提供“直接生成音频”的能力——文本生成式音乐,也可为有后期编辑需求音乐人提供“同时生成音频与乐谱”能力——曲谱生成。经大规模双盲听测结果表明,在纯音乐生成任务中,“琴乐大模型”的多维度主观评分均稳定超越业内musicgen 3.3B stereo。

打开网易新闻 查看更多图片

但《零•壹|中国色》这张“试卷”还是给天琴实验室带来了不少挑战。“核心挑战主要是在于如何理解并且创造出丰富多变的音乐流派的作品。针对这个挑战,团队主要分担了类型标注、音乐理解以及定制化生成三个方面。在一段音乐中标注它所对应的风格、情绪、流派以及配器等来确保模型准确性;从海量的音乐数据中去学习构成音乐的基本元素包括节拍、音色、和弦等,音乐理解能力则是模型的一个重要基本能力;在此基础上模型逐渐理解并学习到不同流派音乐所对应的特点以及规律,最后输入一些定制化的参数或要求,从而让模型可以输出符合用户期望的音乐作品。”天琴实验室和腾讯AI Lab联合团队相关人士表示。

训练、精调,最终得到一个民乐属性的大模型,在此基础上完成了9首民乐的创作生成。上海民族乐团的演奏家随即开始了紧锣密鼓的创排,在二度创作中不断迸发灵感、拓宽想象,结合以往的演出经验,研究乐器不同的表现手法,最终在现场演出中展现了“中国色”更加丰沛的音乐情感和艺术感染力。

以唢呐为例,在模型训练阶段,上海民族乐团提供了唢呐演奏爵士乐、摇滚乐等素材,希望通过AI延展这件乐器的可能性,上海民族乐团唢呐声部演奏家、创作策划部主任胡晨韵表示:“我们不给民族乐器设限,同样也不想给AI的创作设限,而用一种开放的态度去探索。”最终呈现的唢呐曲《茶色》正是古典和现代、民族和世界完美融合。

AI成为音乐人想象力载体

事实上,AI在音乐领域的应用也正呈现颠覆性地发展。目前,AI已经逐渐从技术辅助走向音乐创作的阶段。一方面,AI将提高音乐创作人的创作效率,用技术获取创作灵感;另一方面AI 也将成为人类想象力实现的重要载体,帮助更多人通过AI来完成音乐创作,实现他们对音乐的追求和情感表达,通过更加融合、创新的形式,进行呈现。

TME的自有版权歌曲,加上海量专业的歌曲标签,联合实现大模型基座部分,同时经过民乐算法精调,内外部评测,将最终上线TME面向全行业音乐创作者开放的音乐制作服务平台“启明星平台”。

QQ音乐技术副总裁、腾讯音乐天琴实验室负责人周文江表示:“《零•壹|中国色》呈现前沿技术与传统民乐的碰撞融合,标志着民族音乐+AI大模型从0到1的里程碑式突破。2024年将成为民乐与AIGC的共创元年,AI技术与民乐碰撞将为行业和大众带来更加专业、更加高质量的音乐内容。”

据悉, 4月27日《零·壹|中国色》将在QQ音乐及QQ音乐视频号线上播出,上海民族乐团专区也将同步上线。

在腾讯音乐娱乐集团副总裁刘宪凯看来,AI不仅能提高音乐创作人的创作效率,用技术获取创作灵感,也将成为人类想象力实现的重要载体,帮助更多人通过AI来完成音乐创作,实现他们对音乐的追求和情感表达,通过更加融合、创新的形式,进行呈现。此次与上海民族乐团合作的《零·壹|中国色》,代表着在科技赋能下,传统民乐可以突破原有的创作边界,呈现出属于这个时代的创造力和生命力。

接下去,“琴乐大模型”将不断精深“文本成曲”的实用性、高效率创意通道,精细化拟合丰富多元的曲式风格及演出场景,创作更多中国民乐新作。