在Meta Reality Labs的研发实验室里，工程师们正忙碌地完善一款全新的虚拟现实（VR）头戴设备原型机。这个原型机不仅能够支持Codec Avatars项目的高质量渲染，还配备了专为AI处理设计的定制加速器芯片。这项技术是Meta自从更名为Meta后一直致力于开发的一部分，其目标是让用户在虚拟世界中拥有“如同照片般真实”的虚拟化身。
早期版本的Codec Avatars研究依赖强大的NVIDIA Titan X GPU进行计算，但是在最新一代Quest 2等低功率设备上，这种强大的计算能力并未得到充分利用。为了解决这一问题，Meta正在探索如何将Codec Avatars功能移植到这些小巧但性能较弱的设备上。
就在不久前，一篇由元帅团队成员撰写并在IEEE CICC会议上发布的论文披露了他们正在开发一个采用7nm工艺制造、专为 Codec Avatars 加速工作负载设计的定制芯片。此前的2018年4月，Facebook就已经开始着手自主研发芯片，并且招募了Google Pixel Visual Core项目中的核心人物Shahriar Rabii担任副总裁兼芯片负责人。
虽然这款测试芯片目前还处于发展阶段，但其结构已经非常先进。它包含1024乘法累加阵列、2MB内置SRAM和32位RISC-V CPU，从而确保了数据处理效率。此外，该芯片还重新构建了一部分基于卷积神经网络（CNN）的眼睛注视模型，以最大限度地降低能耗和延迟。
通过这种方式，加速芯片能够显著提高codec avatars模型运行速度，同时也减少了功率消耗和热量产生。在保持高性能的情况下，该定制硬件相比传统CPU具有更好的功耗控制和体积压缩能力。据报道，该Chip已能实现每秒30帧以上的运行速度，即使是在如此高效的情况下，它仍然能够提供出色的用户体验。
如果一切顺利，这款专用加速器可能会使得 Codec Avatars 在任何类型的手持式或可穿戴式设备上都能流畅运行。这对于提升XR（扩展现实）体验至关重要，因为它可以带来更加沉浸式的地理位置音频效果，以及精准的手势跟踪，使整个体验更加自然与生动。但是，我们需要看到实际产品才能全面评估其潜力所在。而且，对于追求极致沉浸感的人来说，无论多么逼真的声音模拟，都可能牺牲掉续航时间，因此找到平衡点将是一个挑战。
