最近AI圈的重磅更新有点多,Luma的AI视频Dream Machine也上了,不过我觉得它的亮点没那么大,正好跟SD3撞了,所以我就一直都没写。

不过昨天,我在X上看到一个用Luma的Dream Machine做的很震撼的视频,直接让我感动到热泪盈眶。

这个视频它是这样的。

打开网易新闻 查看更多视频
他用Luma和Suno复活了逝去11年的爱人,给我看破防了。

视频的评论也非常的让人破防:

打开网易新闻 查看更多图片

这个视频来自Koya Matsuo(松尾公也)是为了纪念他逝去了11年的妻子Tori-chan(小鸟酱)而做。

松尾,是一名AI艺术家,也是IT编辑,还是音乐人。

同时,也是一个65岁的老人。

打开网易新闻 查看更多图片

嗯,他已经65岁了。

打开网易新闻 查看更多图片

松尾公也的妻子小鸟酱,在2013年6月25日,因为乳腺癌,在坚持了很久以后,不幸逝世。

打开网易新闻 查看更多图片

小鸟酱是一个歌手,她和他的这一生,两人最爱的,就是音乐。

在小鸟酱逝世前的几个月,松尾开启了一个全新的计划,他找了几个朋友一起,想把小鸟酱的过去的歌曲,进行重新编曲和录制,然后发布到iTunes Store。

以此,来做永远的纪念。

但是那个时候,小鸟酱的病情已经相当严重了,尽管她尽了最大努力,但歌声依然非常的不稳定。

在尝试了几次之后,小鸟酱的身体实在无法吃得消,为了不增加她的负担,松尾决定,使用妻子过去的歌声,以此为基础来制作UTAU音源,然后合成新的歌曲,再把小鸟酱实际唱的不稳定的歌声和用UTAU合成的新歌声合并在一起,以此来达到一个完整的效果。

UTAU,著名的开源声音合成软件,国内B站上一堆的鬼畜视频,就是用这个做的。

而松尾,也终于在2023年9月1号,完成了第一首用小鸟酱的UTAU声源做的歌。

打开网易新闻 查看更多图片

这首下面有一句评论,让我非常的破防:

“今早我在NHK的广播节目中第一次得知这件事。当我在开车时,听到这首歌的瞬间,心中感到无比的痛楚,眼泪止不住地流下来。以这样的方式,真实地感受到你对你妻子的爱,真的觉得你们是幸福的,但同时也感到无尽的寂寞……”

只可惜,这首歌,小鸟酱,她再也听不到了。

这一晃,十年过去了,松尾为小鸟酱制作的歌,达到了几百首之多,他就这样默默的做着,默默的用这种方式,纪念的小鸟酱。

松尾说:

“我和妻子的故事还会继续。只要我还活着,只要大家还记得。每当回忆起来,就像重新活着一样。 ”

是啊,只要不忘记,那她就永远还活着。

然后,AI时代,来了。

松尾的思念,从无形,化成了有形

他疯狂的学习,疯狂的尝试所有的AI。

用pixel和remini来修复他和小鸟酱在1987年拍下的老照片。

用修复好的照片给SD来训练小鸟酱的角色LoRA,每天都在ComfyUI上拖着各种各样的工作流,终于让她终于有了新的写真。

打开网易新闻 查看更多图片

用DID制作小鸟酱的视频,在婚礼纪念日上,满足自己十年前想和小鸟酱合唱的愿望。

打开网易新闻 查看更多图片

还疯狂的尝试AI音乐,把Stable Audio、Udio、Suno啥的全部用了个遍。

直到,6月12日,Luma的Dream Machine上线了。

网址在此:https://lumalabs.ai/dream-machine

松尾非常惊喜,他说:

“我使用它的目的不是为了电影等影像制作,而是静止图像,而且是为了让人物动起来,请注意。更具体地说,是为了看到 11 年前去世的妻子动起来的样子。”

松尾和小鸟酱的的照片最多的那些年代,是从1978 年到 1987 年间用胶片相机拍摄的。直到 1987 年孩子出生后才买了录像机,所以在那之前,几乎没有动态影像。

如果能从残留的照片中看到那个人动态化的话,这就是哈利波特的魔法。

松尾几乎是一瞬间就疯狂了。

打开网易新闻 查看更多图片

(这是使用 Remini 将 1978 年拍摄的照片提高清晰度后的图)

打开网易新闻 查看更多图片

(Luma Dream Machine上做的视频转换)

还有1985年他们在筑波博览会拍摄的照片。

打开网易新闻 查看更多图片

松尾给的Prompt是:"一个女孩正在看着我",然后,生成了让他每看一次都会心动的视频。

打开网易新闻 查看更多图片

在他的记录中,可以看到他尝试了很多次,不断去调整人物生成时的神态、背景和动作,我想,他一定是满怀着期待,一次又一次地去构建记忆中,最美丽的她。

然后,他决定做一首歌和MV,就像十年前一样。

他用 Dream Machine生成了N多小鸟酱的片段,用Suno写了一首歌,再用Logic Pro 11的STEM Splitter功能将人声分离,并用Vocoflex将Suno的人声换成了小鸟酱的声音。

于是,就有了文章开头,那一个感人至深的视频。

在他的内容里, 我看到的不仅仅是他在字里行间对妻子的珍惜,还有他用尽全力,希望让遗忘变得更慢一些,希望能够陪伴妻子久一些的努力。

最终,让记忆里的她坐着这辆旧巴士,跨越时光,来到他的现在。

2013年11月18日的时候,在小鸟酱去世将近5个月后,松尾收到了一封她亲笔写给他的信。那封信的日期是1984年2月24日,那时他们还没有结婚,但已经很恩爱。松尾是在家里寻找回忆时发现了这封信。当年小鸟酱给松尾投递了这封信,但由于地址或其他问题被退回,她就一直把它保管起来了。如此,就是30年。

打开网易新闻 查看更多图片

我用AI给这封信提取并翻译了一下:

"2月24日(星期六)晚10:30

亲爱的老公!现在我在奶奶家。天气像东京寒冷的日子。今天恰好有点温暖。谢谢你来送行!但不知为何,心里很难过,在飞机上差点哭了。起飞时看到的东京街景,真美。啊,每天生活在那光芒中,真的很感动。在那起起落落的城市一角中,想到我们一起经历的那些光辉岁月。我也常做梦,梦到我们在那光芒略微黯淡的夜晚中,一起回家。虽然心里难过害怕,但也深深感动了。奶奶很健康,完全没有老糊涂,我很高兴。其他的,这个家中有父亲看不见的存在。过去,看电视时,看到那些模型人偶在跳舞,真的很美。主题是相爱的人们。确实,老公也会想起那些。然后,村上春树和尾崎丰的事,Nagasakin Face的人偶偶然出现,也让我很高兴。这封信能马上到,但不能马上回信,心里很难受。你知道吗?老公你从来没有给我写过信。但我觉得,比起从远方写信,还是近距离多见面更让我开心。当然,这封信当做日记,明天继续写,应该会在周二左右到你手中。好吧,就当写日记了,每天写吧。(可能)我们还能电话联系。

亲爱的老公,一个人的星期天,真是有些寂寞。我是因为在不同的环境中,所以还能稍微分散注意力。那么,你是怎么度过这一天的呢?我也想趁此机会,享受一下独处的时光。在老公的温柔中变得有些任性了。在北北海道的寒气中,我也会稍微振作一下然后回去。那么,即使我们分开了,心却依然在一起。

可能我们会一起看John的视频吧。

我非常爱你,老公。

那么,再见。"

真的泪崩。

而这个视频,是松尾,在每一个技术细节里,在2024年,给妻子写下的回信。他在用这种方式,向她说:

我想你,我爱你。

这是一个普通人,用技术造梦的故事,他用自己的方式,在有限的旧照片与声音片段里,编织了一个属于自己和妻子的,萦绕了温柔与爱的梦。

无论时间走到多远的地方去,这是一个会永远和妻子一起唱歌的人。

他说:

“人生は終わっても、物語は続く(即使人生结束,故事也仍将继续)”

最后,用2013年松尾为小鸟酱写的的歌做结尾吧,这首歌,记录了他们从相识,到最后的故事。只可惜小鸟酱没有坚持住,原本的对唱,变成了松尾最后的独唱。

他用Luma和Suno复活了逝去11年的爱人,给我看破防了。

银汉难通,稳耐风波愿始从。

这是曾经纳兰性德孤眠思人的遗憾。

但是今天,AI让他们依然拥有对方,在这数字的长河里。

爱会超越生死,在AI时代,带着最美的记忆,降临在我们的梦与视线里。

我一如既往的。

如此坚信着。