无需VR头显的免费面部追踪

0 点赞
VRCFaceTracking
转载

我想有些没有VR头显的玩家,或者因为某些原因不想/不能使用VR头显,但仍然希望通过某种摄像头实现面部追踪功能,那么本指南就是为你准备的。 简介 本文作者是FoxyFace应用的开发者,本文旨在介绍如何开始使用FoxyFace。因此,可以将本文视为一个新兴项目的宣传。 历史回顾 过去,无需VR头显的免费面部追踪应用并不多,本文作者只知道MeowFace、Live Link Face或FaceMotion3D,而且这些应用都仅适用于手机。使用带有面部追踪软件的手机有一个显著优势,即不会给运行游戏的电脑带来负载。但安卓手机的面部追踪质量还有很大提升空间(本文作者未使用过iOS应用)。 面部追踪质量 如果你正在寻找优质的面部追踪方案,那么FoxyFace绝对值得关注。尽管它使用电脑摄像头,但有教程介绍如何将手机或其他电脑用作摄像头。 通过使用来自MediaPipe和Project Babble的神经网络,FoxyFace实现了良好的追踪精度,能够追踪VRCFT中81%的可用参数。得益于Project Babble的神经网络,甚至还包括舌头动作的追踪。以下是面部追踪的示例(面部素材来自FreePik,Yeenie虚拟形象由SMU制作)

安装 如果你没有被本文的文字量吓到,并且想尝试FoxyFace,本段将介绍FoxyFace的安装方法。 抱歉,文中会有许多指向FoxyFace Wiki的链接,这样做是为了涵盖尽可能多的情况。 步骤0:确保你已安装VRCFaceTracking。

请确保你找到一个支持面部追踪或头部移动的虚拟形象。如果没有启用此功能/第三方应用/模块,你将无法检查它是否正常工作。 最重要的步骤是确保你已在虚拟形象设置中启用OSC,并且启用了面部/头部各个部位的追踪;默认情况下,这些都是关闭的。

你的电脑没有连接网络摄像头吗?有时电脑没有摄像头,但其他设备可能有。这种情况下,你可能希望将该设备用作摄像头。 摄像头在其他设备上: 安卓或iOS:请参考相关说明 电脑:请参考相关说明 所需模块和应用程序的安装 请按以下顺序进行安装: 安装并启动FoxyFace应用,请参考相关说明。

安装FoxyFaceVRCFTInterface模块,安装说明请参考相关指引。

[可选步骤]检查FoxyFace与FoxyFaceVRCFTInterface之间的连接。 Project Babble神经网络更新:若你希望获得良好的面部追踪效果,建议执行此步骤。 Project Babble神经网络的更新说明可参考相关指引。

你的电脑连接了很多摄像头吗? 要选择其他摄像头,你需要更改摄像头ID。你需要将摄像头ID每次增加1,直到找到想要的摄像头。 提高面部追踪质量: 调整从摄像头接收的图像分辨率。 执行自动校准。 可以追踪头部旋转吗? 可以,但需要使用Selfie Expression或修改你的 avatar。使用FoxyFace遇到问题? 首先在FoxyFace Wiki上查找你关注的问题,若未找到相关内容,可以创建Github Issue/GitHub Discussion或在Discord的#Jeka8833频道给开发者发消息。 想为这个年轻的项目提供帮助? 当有人询问面部追踪相关内容时,告诉他们FoxyFace的存在即可。