在Meta Reality Labs的研发实验室里，科学家们正忙碌地完善一款革命性的虚拟现实（VR）头戴设备原型机。这个令人瞩目的项目旨在实现"如照片般逼真的"虚拟化身体验，并且配备了专为AI处理设计的定制加速器芯片。这项技术利用先进的人脸识别和传感器追踪用户的面部表情，使其能够精确投射到虚拟世界中。
早期版本的Codec Avatars研究得到了NVIDIA Titan X GPU强大的支持，但是在Meta最新的Quest 2一体机等设备上，这些功能并未能完全发挥其潜力。为了解决这一问题，Meta正在致力于将Codec Avatars项目带入低功耗一体机。
最近，一篇发表在IEEE CICC会议上的论文揭示了Meta正在开发一个采用7nm工艺制造的小巧芯片，该芯片将作为 Codec Avatars 的加速器。在2018年4月，Facebook聘请了Google前员工Shahriar Rabii担任副总裁兼芯片负责人，他参与过Pixel手机Visual Core等重要芯片设计。
尽管该项目已经取得了一定的进展，但研究人员表示还有很长的一段路要走。在设计此类芯片时，他们必须考虑到生成Codec Avatars模型所需的大量数据。此外，还进行了针对硬件架构重新构建卷积神经网络眼部注视模型，以减少能耗和延迟。
这款定制加速器通过优化特定工作负载来提高性能，不仅提升了运行速度，而且降低了功率消耗和热量产生。由于其独特优势，在功率与体积控制方面，该自定义芯片相比通用CPU更具优势。
据报道，该特殊设计的加速器已能以每秒30帧高效率运行Codec Avatars模型，同时保持低功耗和紧凑尺寸。随着专用硬件技术的不断发展，我们有理由相信未来可能会有一系列XR应用程序能够通过这种专门设计的加速卡来实现，如空间音频、位置跟踪以及手势跟踪，这些都将极大地增强沉浸式经验。但同时也存在成本增加及续航时间缩短的问题需要进一步探讨。
