在Meta Reality Labs的研发实验室里，工程师们正忙碌地完善一款全新的虚拟现实（VR）头戴设备原型机。这个令人瞩目的项目旨在实现"如照片般逼真的"虚拟化身，这项技术结合了先进的人工智能处理能力和精准的传感器系统，如眼动追踪和嘴巴追踪，以确保用户的脸部表现尽可能真实地投射到虚拟世界中。
早在Facebook更名为Meta之前，该公司就已经开始推进名为Codec Avatars项目。这项研究利用强大的NVIDIA Titan X GPU来支持其AI处理功能。但是，由于性能限制，Meta最新的一体机Quest 2并不能充分发挥该功能，因此公司决定探索如何将这一技术应用到低功率设备上。
为了克服这一挑战，Meta正在设计一个采用7nm工艺制程的定制芯片作为Codec Avatars加速器。在2018年4月，Facebook招募了Google前高级工程师Shahriar Rabii担任副总裁兼芯片负责人，他参与过Pixel手机Visual Core等芯片开发。此后不久，即2018年5月，Rabii领导的一个团队启动了一项重大计划——自主研发专用芯片。
经过漫长而艰苦的设计与测试过程，最终这款测试芯片以1024乘法累加阵列、2MB内存以及32位RISC-V CPU著称，并且采用了神经网络加速器。通过重新构建卷积神经网络眼睛注视模型并针对硬件进行定制优化，使得模型更加适应特定的架构，从而降低能耗和延迟。
此外，加速芯片还能够显著提高 Codec Avatars 模型运行速度，同时减少功率消耗和散热问题。据报告，该定制芯片已成功实现每秒30帧以上运行 Codec Avatars 模型，并保持较小体积、高效能使用。此举有望使 Meta 的 Codec Avatars 能够在一体机上获得更好的表现，但至今仍未揭示其渲染效果如何在实际操作中的表现力。
未来，这种专用的加速芯片可能会开启更多XR特有的功能，如空间音频等，它可以增强沉浸式体验。不过，对于声音模拟这样的复杂需求，其成本增加及对续航影响也是需要考虑的问题。而对于位置跟踪和手势跟踪等关键部分，将硬件与算法相结合也将大幅提升XR设备的速度与功率效率，为用户带来更加流畅、可靠的虚拟现实体验。
