苹果于 2015 年收购了总部位于苏黎世的创企Faceshift，其技术最终被用来创造 Animoji和 Memoji。美国商标专利局于 2019 年授予苹果公司一项源于 Faceshift 的专利，于 2023 年 1 月 26 日公布了苹果公司获得的一项关键的 Faceshift 专利，该专利可以追溯到 2013 年。
这项专利归功于苹果高级软件工程师Mark Pauley和最初的 Faceshift 工程师之一 Sofien Bouaziz。他的简介中写道，他“设计、开发并生产了 iPhone X Animoji 的实时面部追踪算法，也可以通过 ARKit 提供给第三方开发者”。2018 年离开苹果后，Bouaziz加入谷歌，现在是 Meta 的 XR Presence 总监。
从技术上讲，该专利涉及一种实时面部动画的制作方法和处理装置。该方法包括提供动态表情模型、接收用户面部表情对应的追踪数据，根据动态表情模型和追踪数据估计追踪参数，并根据追踪数据和估计的追踪参数细化动态表情模型。所述方法还可以包括生成基于所述追踪参数生成与用户的面部表情相对应的图形表示。实施例涉及实时面部动画系统。
打开网易新闻 查看更多图片
苹果专利图 1 显示了根据该专利一个实施例的动态表达模型示意图；图 3 显示了优化管道的流程图。
苹果专利图 4显示了使用所公开主题的实施例生成的虚拟化身的图形表示；图 5 是根据一个实施例的方法流程图。
苹果专利图 7 展示了不同的混合形状权重集，用于近似用户的面部表情；图 8 描述了根据一个实施例使用不同动态表情模型的中性面部表情进行初始估计的结果。