新智元报道
编辑：LRST
【新智元导读】SceneX是一个创新的3D场景生成框架，能根据简单的文字描述快速创建高质量、逼真的虚拟场景，大幅提高构建虚拟世界的效率和灵活性。
「空间智能」和「世界模型」是最近学术界和产业界非常火热的研究方向，走向虚实结合、模拟世界机理的关键一步，就是创造出一个生动的虚拟世界。
然而，想要打造丰富多样、充满细节，同时具备高度可编辑性和物理真实性的3D虚拟世界，仍然困难重重。
为了解决这些难题，来自中国科学院自动化研究所和北京科技大学的联合团队，首次提出了一种全新的3D场景生成框架SceneX，只需简单的文字描述，就能快速生成高质量的3D虚拟场景。
不论是辽阔的自然风景，还是充满活力的城市街道，模型都能轻松应对。
网站：https://zhouzq1.github.io/SceneX/
论文：https://arxiv.org/abs/2403.15698
更重要的是，SceneX还能根据需求灵活调整，让场景更贴合用户设想。
有了SceneX，虚拟世界的构建也会更轻松，简单且高效。
SceneX开启高效、逼真场景生成新时代
SceneX以创新的方式打破传统局限，全面提升效率与真实感，主要包括两个核心模块：
PCGHub：通过集成多种程序化生成模块并封装为标准化API，PCGHub提供了一个灵活的平台，解决单一生成模块因固有算法和规则受限而导致的局限性，大幅扩展了资源生成的多样性和灵活性。
PCGPlanner：作为智能规划器，PCGPlanner高效协调PCGHub的资源完成场景生成。其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段。通过模块化设计，确保生成结果的连贯性与几何一致性。
相比传统方法需要数周完成的大规模场景建模，SceneX将时间压缩至数小时，同时支持通过简单的文字指令精确控制场景的细节。SceneX的跨模态协同能力，赋予场景生成前所未有的灵活性与可控性。
图1：SceneX可根据文本指令自动生成大规模3D自然场景或城市。生成的模型具备精细的几何结构、真实的材质纹理和自然的光照效果，可无缝应用于工业流程
PCGHub：多样化程序化资产与布局生成平台
场景的多样性离不开资产的多样性。
为此，PCGHub提供了一个集成丰富程序化生成模块和3D资产的平台，旨在解决传统方法的局限性并提升内容真实感。
PCGHub提供了172个涵盖自然环境、建筑等多领域的程序化资产，并配备了散射、网格、线性等多种灵活的布局生成器，使开发者能够轻松创建丰富多样的3D场景。
表1：PCGHub中各元素功能概览
这些资产可通过调整几何和材质参数实现多样化变化。
从2,362个原始参数中提取了263个核心参数，并封装为标准化API，每个API配有详尽文档，包括功能描述和参数规格，方便用户调用和扩展。
此外，PCGHub还包含11,284个高质量3D静态资产，极大地丰富了资源库的多样性。
PCGHub的推出，为生成多样化且真实感强的场景提供了高效而灵活的解决方案。
图2：某个树木程序化生成模块的API文档、API功能及生成结果示例
PCGPlanner：智能场景生成与布局规划
PCGPlanner利用PCGHub提供的资源，实现高效的自动化场景生成。整个生成过程包括四个关键阶段：
（1）场景分解：根据用户需求分析场景并列出所需资产；
（2）地形生成： 构建基础地形并应用适当的材质；
（3）物体生成与检索：根据需求生成或导入场景所需的资产；
（4）资产放置：根据不同的布局类型和程序化生成器，在场景中安排资产。
图3：SceneX框架通过四个阶段将用户文本输入转换为不同的3D场景：场景分解阶段、地形生成阶段、物体生成和检索阶段以及资产放置阶段
一系列实验验证了SceneX在质量、效率和场景编辑上的全方位优势。主要成果如下：
用户与专家一致好评
在对场景质量进行评分时，邀请了用户和专业设计师参与测试。
结果表明，SceneX生成的场景获得了用户和专家的一致认可，评分结果几乎持平。
这意味着，无论是普通用户还是行业专家，都对SceneX生成的场景赞不绝口。
表2：美学平均得分（AS）和美学专家平均得分（AES）的比较分析
图4：不同场景下个性化编辑结果的可视化
图5：SceneX场景生成效果对比
所见即所得的精准还原
通过提示词与场景匹配度评估，SceneX展现了卓越的语义理解和生成能力。
无论是静谧的河边风光，还是繁华的城市景象，SceneX都能完美复现用户想象，实现「所见即所得」。
图6：大规模场景和城市生成结果
效率无与伦比
时间就是一切，而SceneX让场景生成变得又快又准。
实验结果显示，生成一片壮丽的自然景观只需要短短几分钟，打造一座大型城市也快得令人惊讶。
结语
SceneX框架展示了程序化内容生成与多Agent工作流结合的巨大潜力，为大规模场景生成提供了全新的解决方案。
通过其强大的可控性和高质量的生成能力，SceneX为虚拟世界构建、游戏开发、影视制作等领域开辟了新的可能性。
未来，SceneX将进一步优化生成过程，为用户提供更加高效便捷的场景生成体验。
参考资料：
https://arxiv.org/abs/2403.15698