在Meta Reality Labs的研发实验室里，工程师们正忙碌地完善一款革命性的虚拟现实（VR）头戴设备原型机。这台设备不仅能够支持Codec Avatars项目的高保真渲染，而且还配备了专为处理人工智能任务而设计的定制加速器芯片。这种芯片是为了实现“如照片般逼真的”虚拟化身而量身打造，它结合了先进的人脸识别技术和眼动追踪、嘴巴运动检测等传感器，以确保用户在虚拟世界中的外观与真实生活中的自己几乎无异。
虽然早期版本的Codec Avatars研究得到了NVIDIA Titan X GPU强大的计算支持，但在Meta最新发布的Quest 2一体机中，这种功能仍然无法完全展现其潜力。因此，Meta正在致力于将这一功能迁移到低功耗但性能更强劲的一体机上。
就在不久前，一篇发表在IEEE CICC会议上的论文披露了Meta正在开发一个采用7nm工艺生产的定制芯片，用以作为 Codec Avatars项目的加速器。这项工作其实早已开始，自2018年4月以来，Facebook就聘请了一位经验丰富的科技专家Shahriar Rabii担任副总裁兼芯片负责人，他曾参与Google Pixel手机Visual Core等项目。
根据论文描述，该测试芯片采用7nm制程，其核心组成部分包括1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU。研究人员表示，他们重新构建了一些基于卷积神经网络模型，并对其进行优化，以适应该特殊硬件架构，从而降低能耗和延迟。此外，加速芯片通过优化工作负载较重部分，不仅提升了模型运行速度，还减少了功率消耗和温度升高。
据报道，该专用芯片已经能够以每秒30帧稳定的速度运行Codec Avatars模型，同时保持着低功耗和小巧外形。随着这项技术不断进步，我们或许能够期待未来一体机上的虚拟化身可以达到令人惊叹的地步。不过，对于这些复杂图像是否能在实际应用中得到完整呈现，以及如何平衡视觉效果与续航能力仍是一个未知之数。此外，这样的技术创新也可能推动XR领域其他方面，如空间音频、位置跟踪以及手势跟踪，使得XR设备更加接近理想状态——既有卓越性能又能长时间使用。
