在Meta Reality Labs的研究人员已经成功制造了一款支持Codec Avatars项目渲染的VR头戴设备原型机，该设备搭载了专为AI处理而设计的定制加速器芯片。该项目旨在通过结合AI技术和眼动追踪、嘴巴追踪等传感器，实现虚拟化身以“如照片般逼真的”方式投射到虚拟世界中。
早期版本的Codec Avatars研究得到了NVIDIA Titan X GPU强大算力的支持，但在Meta最新一体机Quest 2上，这些功能无法完全发挥其潜力。这促使Meta开始探索如何在低功率设备上实现这些功能，并且最近，在IEEE CICC会议上，Meta宣布正在设计一个采用7nm工艺的定制芯片作为 Codec Avatars 的加速器。
这项造芯计划始于2018年，当时Facebook招募了Google前员工Shahriar Rabii担任副总裁兼芯片负责人。Rabii参与了Pixel手机Visual Core等重要芯片开发工作。他说：“测试芯片采用7nm制程，拥有神经网络加速器，由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”
为了配合这个特定的架构，设计团队还重新构建了一部分基于卷积神经网络的眼睛注视模型，并针对硬件进行定制，使模型更加适合于这个特殊的硬件环境。这有助于降低能耗和延迟，加快模型运行速度，同时保持较低功率和体积控制。
据报道，该芯片已能够在每秒30帧的情况下运行Codec Avatars模型，同时保持低功耗和外形小巧。此外，这种专用硬件可以进一步优化XR特有的功能，如空间音频跟踪，以及位置跟踪和手势跟踪，以提高用户沉浸感并提升性能。但同时，也需要考虑成本效益与续航问题。
