谷歌最新发布的 Genie 2 模型,不仅能够一键生成长达1分钟的3D游戏,还支持通过单张图片和文字塑造描述想象的可玩3D世界。这一创新使得用户能够在短时间内体验到高质量的互动游戏,表现出接近3A级别的画质。精灵2在物体交互、动画效果和物理现象模拟方面的优异表现,进一步推动了AI在虚拟世界生成中的应用。随着这项技术的不断完善,未来的游戏开发将更加高效和多样化,为玩家带来全新的体验。

打开网易新闻 查看更多图片

Genie 2模型的技术突破与创新

与早期的Genie模型相比,Genie 2在多个方面进行了显着改进,尤其是在生成能力和交互性方面。

首先,Genie 2在空间记忆能力上有了显着提升。它能够记住视野中不再存在的世界部分,并在这些部分重新可见时准确呈现。这种能力使得生成的场景更加连贯和真实,用户在探索时能够普遍更强的沉浸感。此外,精灵2还具备从不同视角(如第一人称视角与等距视角)生成连贯世界的能力,这为用户提供了更多的交互体验。

打开网易新闻 查看更多图片

在物理模拟方面,精灵2的表现也大幅提升。它能够精准模拟物体交互的、动画效果、照明、物理现象、反射效果以及非玩家角色(NPC)的行为,生成的场景画质接近3A级别的电子游戏。例如,用户可以输入“森林中的可爱人形机器人”,模型将会构建一个包含机器人角色和可探索环境的动态场景,用户可以通过键盘或鼠标操作角色在世界中进行跳跃、游泳等互动。

打开网易新闻 查看更多图片

Genie 2还引入了自回归潜在扩散模型的技术,经过大型视频数据集的训练,能够以自回归方式进行采样,逐帧获取单个动作和过去的潜在趋势。这种技术的应用使得生成的内容更多丰富和多样化,能够快速创建各种交互体验的原型训练,为装备智能提供出色的场。

另外,Genie 2在生成长视频方面也表现出色,能够在长达一分钟的时段维持一致的世界,支持用户与AI代理的互动。这种互动不仅限于简单的操作,AI代理也能在生成的环境中执行复杂的任务,进一步推动了AI在虚拟世界中的应用。

总的来说,精灵2模型在虚拟世界生成领域的技术突破与创新,不仅提升了生成内容的质量和多样性,还为用户和AI代理提供了丰富的交互体验,标志着人工智能在这个领域的再次飞跃。

3D游戏生成用户的交互体验

Genie 2的设计顺序能够理解物理世界的差异,将概念图转化为可交互的环境。这种能力不仅为游戏设计师提供了快速原型制作的工具,也为用户提供了丰富的交互体验。用户在与生成的3D世界交互时,模型能够智能地响应键盘操作,识别用户的意图并对应地移动角色。例如,用户按下方向键时,模型能够准确判断应移动的是角色哪个,而不是场景中的其他物体。

打开网易新闻 查看更多图片

打开网易新闻 查看更多图片

在游戏设计的影响方面,精灵2为开发者提供了一个强大的工具,能够快速创建各种快速交互体验的原型。这种原型制作的能力使得设计师能够在短时间内测试不同的游戏机制和环境设计,从而加速游戏开发的过程。同时,Genie 2的AI代理也能够在这些生成的环境中进行训练,进一步推动了工具身智能的研究和应用 。

Genie 2模型在姿态交互、动作效果和物理现象模拟表演方面具有显着的技术能力。该模型能够通过输入的图像和文本描述,生成虚拟的3D环境,并在这些环境中实现复杂的姿态交互。例如,用户可以通过键盘和控制鼠标角色在生成的世界中进行跳跃、游泳等动作,模型能够智能地响应这些操作,确保角色与环境的交互自然流畅。

打开网易新闻 查看更多图片

物理现象模拟与动画效果

在动画效果方面,Genie 2学习了如何为不同类型的角色制作动画,以执行各种活动。这种能力使得生成的场景不仅具有视觉吸引力,还能提供真实的角色行为表现。精灵2还能够生成非玩家角色(NPC),并由此进行复杂的交互,进一步增强了游戏的沉浸感和互动性。

在物理现象的模拟方面,精灵2表现出色,能够精准模拟水流、重力、烟雾等自然现象。模型通过自回归潜在扩散技术,能够在生成的场景中实现真实的物理效果,例如模拟风中摇曳的物理效果草或河中流动的水。这种对物理规律的理解和应用,使得生成的环境更加真实,提升了用户的体验。

未来的虚拟世界生成技术发展

Genie 2模型的未来发展方向主要集中在通用性和一致性方面的改进潜力。首先,通用性是指模型在生成多样化3D环境时的能力。Genie 2已经展示了其能够从不同视角生成连贯世界的能力,但在实际应用中,如何进一步扩展其生成的场景类型和复杂度仍然是一个重要的研究方向。例如,模型可以通过输入不同的提示词生成各种风格和主题的环境,这将有助于满足不同用户的需求和偏好。

打开网易新闻 查看更多图片

其次,一致性是指在生成的场景中保持视觉和物理特性的连贯性。虽然精灵2在行为动作、动画效果和物理现象的模拟方面表现出色,但仍然存在一些挑战,例如生成的场景可能会出现伪影或不一致的效果训练。为了解决这些问题,Google DeepMind 计划在模型的过程中引入更多的真实世界数据,以提高生成内容的质量和一致性。

另外,Genie 2的研究还属于早期阶段,未来的改进可能会涉及更复杂的AI智能体交互能力。通过增强模型对环境变化的认知,Genie 2可以为AI智能体提供更丰富的训练场景,从而提升其在真实世界中的应用能力。例如,模型可以生成动态变化的环境,允许AI智能体在不同的场景下进行学习和适应,这将为身体智能的研究提供新的视角和方法。

总的来说,Genie 2在通用性和一致性方面的改进潜力巨大,未来的研究将致力于提升其在虚拟环境生成和视觉一致性方面的能力,以推动虚拟世界生成技术的进一步发展。