“AGI时代，智能座舱必须‘叛逆’进化。真正的智能汽车，必须要有记忆，才能与你心有灵犀”。近日在上海举行的2024“绝影实力AI DAY”活动上，商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚这样宣布。
在充满赛博科幻气息的活动会场，商汤绝影全面展示了“驾-舱-云”三位一体的通用人工智能（AGI）产品体系与战略布局。
无论是“绝影量产端到端智驾方案”“行业标杆级别的世界模型”，还是“赋予智能汽车有趣灵魂的创新座舱大模型产品”，绝影为大众所描绘的，都是一个充满想象力、且有人文关怀的未来，就如英国科幻剧《黑镜》中的情节提前降临：
你接完孩子上车时，车子扫描到孩子挂着的奖牌，会热情地祝贺她拿了表演奖；你开车时想拿手机发个文件，车机会提醒你谨慎驾驶，最好别分心；发现家人在后排睡着，它无需吩咐就会默默调整空调、音响、底板驾驶模式；如果监测到其心率过快、体温增高，车机会提醒你检查家人健康状态，甚至帮你导航到最合适的医院，并提前挂号……
这就是商汤绝影发布的智能座舱大模型创新产品“A New Member For U”（你的家庭新成员），宣称要让汽车拥有“有趣的灵魂”。
在王晓刚看来，尽管如今大模型上车后，已经出现了具备逻辑思考和通用任务处理能力的AI Agent，能够根据用户的指令，完成复杂的连续性任务，成为能干的助理，但这类车机始终只是听话和服从的“被动智能”，而商汤要重新定义智能座舱，让其成为会察言观色、无时不在、且与你心有灵犀的“家庭新成员”。
让智能座舱有记忆，人车相依
但数据隐私如何保障？
从机械的助理进化为“家庭成员”，多模态大模型是关键。商汤绝影的“New Member新成员”能够将语音、文字、图像还有视频等各种模态的信息进行深度融合，提供更加自然的人机交互体验，因此它也能主动关怀用户，精准识别用户需求，记录其喜好和习惯。
记忆是人类认知的核心，也是情感联结的基础。因此，商汤绝影也打造了国内首个“车载类人记忆框架”，让系统实现类人的记忆能力。
它拥有的临时记忆，可以识别车内物品、人的搭配、乘客有没有系安全带等；它也有长期记忆，在“档案库”中存储用户的基本信息、行为模式和偏好等，它还可以自我迭代，能从用户长期使用中总结规律并不断优化，并借助能够持续推理的Always-on运行框架，主动为用户提供有温度的服务。
对于“温度”的重要性，商汤绝影CTO肖枫是这样解释的：“比如我们和蔚来合作的车型上，通过FaceID实现识人只是第一步，加入大模型以后，积累越来越多的记忆，你和汽车互相之间就有了理解，最终形成相依的关系。对车厂来说，这一点是非常珍贵的，因为他的品牌得到车主真正的认可，车主想换车的时候，可能会想到，在这个车里已经有了这么多记忆了，换下一个车时，这些记忆是不是能够迁移过去？”
左：蔚来汽车数字座舱人工智能研发负责人高杰；右：商汤绝影CTO肖枫。
而这一记忆，又涉及到了用户隐私的问题。肖枫谈到了商汤对于这个问题的处理思路：“为了数据的隐私，我们对于车端数据和云上数据已经有了很好的加密技术方案。涉及用户隐私的使用场景，数据会保存在车端，而一些需要更多资源和巨大算力的场景，会在云端为你处理，比如规划一个旅程，为你处理一些更为复杂的事情。而对于用户来说，它就是一个强大的端云结合大模型在服务，两者的区别对它来说是无感的。”
端到端量产在即
“开悟”全新升级
今年成为业内关注热点的“城区无图NOA”“端到端智驾”领域，商汤绝影同样没有缺席。
本届“绝影实力AI DAY”上，商汤绝影展示了基于J6E、J6M、Orin等不同算力平台打造的全场景高阶智驾、端到端智驾等绝影量产智驾产品体系，并宣布基于J6平台的智驾方案预计2025年第二季度将量产交付，而量产端到端智驾方案则预计会在明年年底量产落地。
高质量的驾驶数据获取难度大、效率低、成本高，是目前大多数车企和智驾公司都面临的问题。对此，商汤探索了一条新的道路，即通过实车采集和仿真生成“双轮驱动”的数据闭环，构建量产智驾产品体系和世界模型深度融合的「车云一体」智驾新范式。
因此，商汤绝影在这次AI DAY发布的世界模型——开悟，也成了最大看点之一。
世界模型最核心的能力，是生成高质量的、足以媲美真实世界的视频数据，用来训练智驾系统。基于多模态大模型打造的绝影世界模型，能够理解真实世界的物理规则、交通规则，生成的视频数据也更加逼真。
现场展示的“开悟”生成视频案例中，晴朗天气下，汽车、路灯都是有影子的，右转车辆会主动让行优先级更高的直行车辆。通过多模态大模型，“开悟”可以支持多样化的自动驾驶场景及Corner case的可控生成。目前商汤绝影基于1024类场景，已经能够泛化出更多的平行世界，打造千万级的生成场景库，预计2025年对行业开放。
手握数据和算力“护城河”
认准生态位
当前，在各大赛道玩家都争相投注“百模大战”、疯狂进行大模型军备竞赛的背景下，手握数据和算力储备的商汤，显得更为冷静沉着。
对于商汤这家计算机视觉出身的公司来说，数据储备显然是最大的护城河，而在发展多模态Agent之后，公司在视觉数据上的积累也是其他公司不能相比的。
值得一提的是，商汤绝影作为大模型平台能力的合作支持方，与车企伙伴之间还建立了数据闭环的合作机制。
通过车企的数据回流，商汤绝影能够利用量产车辆的真实数据来驱动基础模型的训练和迭代，不断优化模型性能，打造出更具针对性、性能更强大的垂类基础大模型。这种深度合作的良性循环模式，不仅提升了模型的精准度和可靠性，也促进了双方技术的共同进步，实现了真正的互利共赢。
“对于绝影来说，它的定位就是To B，专门为车企量身定制，进行智能化赋能。很多AI公司To C（消费者向）和To B（企业向）的业务都做，有些纯粹是做To C的同时兼看B端上有什么机会。”商汤绝影CTO肖枫这样评价，“我们在最好的时间进场，又提前有了储备，所以往后的价值会越来越高。”
肖枫所说的储备，还包括算力。“我们在临港有一个巨大的算力平台，现在算力加起来差不多达到2万Petaflops，许多自动驾驶公司都没有储备这么大的算力。”
据悉，商汤绝影的智能汽车业务已经与超30家车企合作，广汽、合众、一汽、本田、比亚迪、长城、红旗、极氪、奇瑞、蔚来等知名品牌均有覆盖，合作车型超过100款，预计到2024年底，量产交付累计会超过350万辆。这些量产交付的智能汽车不仅搭载了商汤绝影先进的智能驾驶辅助系统，还融入了智能座舱等技术，能让用户体验到全方位的智能出行体验。
跟随AI技术发展、大模型风潮所袭来的，是众多企业都可以蹭上的风口，机会不仅仅属于车企、智舱和智驾供应商，也属于手机厂商、互联网巨头。因此，如何把握好自己的生态位，建立起牢固的朋友圈，与它们一起构建新体验，是商汤绝影正在做的事情。它的未来将往何处发展，新产品落地后会有哪些反馈，南都·湾财社将持续关注。
采写：南都·湾财社记者 胡雯雯