文章 # 用于手部和手指运动分析的无标记与基于标记的运动捕捉方法的优化与比较 Valentin Maggioni ${}^{*}$ $^{ID}$、Christine Azevedo-Coste ${}^{ID}$、Sam Durand以及François Bailly ${}^{ID}$ 人工运动控制与直觉型神经假肢研究中心（CAMIN）、法国国家信息与自动化研究所（INRIA）、蔚蓝海岸大学中心、蒙彼利埃大学，法国蒙彼利埃34090；（C.A.-C.）；（F.B.） $^{*}$ 通讯作者： 摘要：确保对手部和手指运动的精准追踪一直是上肢康复评估中的难题，因为手部空间有限，却包含大量的自由度和骨骼节段，使得这一任务极具挑战性。本研究旨在评估两种无标记方法（Leap Motion控制器和Google MediaPipe API）相较于基于标记方法的性能，并通过引入融合多个记录设备的额外数据处理算法来提升无标记方法的精度。十五名健康受试者被要求在进行五种不同手部运动时，同时采用这三种运动捕捉方法进行记录。随后利用OpenSim软件中的手部骨骼模型及逆向运动学方法，对每种设备采集的运动数据进行分析。最后，计算出无标记与基于标记运动捕捉方法中各手指节段所形成角度的均方根误差，以比较二者的精确度。研究结果表明，基于MediaPipe的方案比基于Leap Motion控制器的方案更精确（平均均方根误差分别为$10.9^{\circ}$和$14.7^{\circ}$），这显示出无标记方法在临床应用中具有广阔的应用前景。 查看更新 版权所有：© 2025 作者。 授权方：MDPI，瑞士巴塞尔。 本文为开放获取文章 依据知识共享协议的条款与 条件发布 署名许可（CC BY） ( licenses/by/4.0/)。 学术编辑：Marco Iosa 收稿日期：2025年1月16日 修订日期：2025年2月5日 接受日期：2025年2月7日 发表日期：2025年2月11日 引用格式：Maggioni, V.; Azevedo-Coste, C.; Durand, S.; Bailly, F. 用于手部和手指运动分析的无标记与基于标记的运动捕捉方法的优化与比较。《传感器》2025年，第25卷，1079页。 关键词：无标记运动捕捉；手部和手指运动学；骨骼模型；自然运动 ## 1. 引言 手部与手指动作捕捉是动作捕捉领域中一个成熟的分支，其应用范围广泛，涵盖生物医学研究与医学领域（包括康复辅助设备、医学研究和生物力学研究）[^1] [^2]、人机交互界面（面向残疾人的用户界面、虚拟现实）[^3]、生物力学[^4] [^5]，以及教学与社会互动（如手语、情绪与行为识别）[^6]。尤其是在临床环境中，针对功能性辅助或康复场景下的手部运动表现评估，仍是众多研究的重点，因为这具有潜在的临床价值[^7]。基于标记点的光电系统依靠多台红外摄像头以及安装在被追踪身体部位上的被动反射标记点来工作，是人类动作捕捉的黄金标准——这类系统具备极高的精确度，误差可控制在亚毫米级别[^8]。不过，这类系统价格昂贵、体积庞大，且需要高度可控的环境以及操作人员的专业技术知识，因此难以在临床环境中推广应用。 --- 在评估精细的手部与手指运动时，使用反射式标记点会更加复杂[^9]。 近年来，无标记技术得到了广泛研究[^10] [^11]，其研究成果和应用效果参差不齐。21世纪之前出现的早期无标记动作捕捉技术，依赖于颜色或对比度阈值分割、背景减除以及光流法（即追踪连续几帧中像素的位移）[^12] [^13]。这些技术为后续新方法的诞生铺平了道路，比如利用卷积神经网络（CNN），这种网络可以在大规模数据集上进行训练，例如用于手部动作捕捉的BigHand2.2M基准测试集[^14]。与传统的动作捕捉系统相比，无标记解决方案通常更为便捷且成本大幅降低，因为它们主要依赖RGB视频流。不过，其精度不如基于标记的解决方案，且不同技术之间的精度差异也较大。尽管如此，这类技术仍在快速发展，过去几年里其精度也在稳步提升。例如，在全身动作捕捉领域，每个标记点的平均误差在过去十年间已从100毫米降至20毫米以内[^11]。 近期有多项研究通过同时采用无标记和有标记方法测量参与者的运动，对这两种方法进行了比较，这些研究往往以全身为研究对象，误差范围在40毫米到10毫米之间[15–18]。少数专注于手部、尤其是手指运动的研究也显示出类似的误差程度（40至10毫米）[19–21]。在这些研究中，无标记与有标记方法一致性最佳的研究，其手指运动学误差不超过10毫米。例如，一项采用基于CNN算法的研究在关节角度误差上达到了7.5° [^22]，但仅针对单根手指的运动。另一项研究通过直接对比OpenPose识别出的特征点与标记点，发现使用OpenPose（基于CNN）时特定手指运动的误差为11° [^23]。其他动作捕捉方法也取得了一定成果，其中一项研究利用红外热成像技术将误差控制在14毫米以内 [^24]。然而，大多数此类研究要么仅关注不涉及整只手的特殊手指运动 [^22]，要么由于物理标记会干扰所选的无标记方法，而无法同时用有标记和无标记方法记录手部运动 [^25] [^26]。涉及更动态手指运动 [^27] 或所有手指同时运动的情况 [^20]，往往会导致更高的误差水平（[^27] 的误差为20毫米，[^20] 的误差为1.5厘米）。甚至有些研究发现，某些无标记方法的误差水平过高，无法在临床试验中可靠应用 [^28] [^29]。 为了完成这一比较研究并改进无标记手部动作捕捉解决方案，本研究旨在提出一种能够优化现有无标记方法的方法论框架，并在自然场景下的任务（如自由运动和物体抓取）中，量化有标记方法与两种无标记方法之间的误差。我们选取的两种无标记方法分别是：基于CNN、使用四台网络摄像头的方法“MediaPipe Hand” [^1]；以及由三个Leap Motion控制器（LMC）（Ultraleap公司，英国布里斯托尔，2019年生产）组成的组合系统——这是一种商用红外手部动作捕捉设备，采用了由[^3]开发的额外三角测量算法。选择这两种方法是因为它们价格实惠、技术更新较快，且专门应用于手部和手指追踪领域。将它们与Optitrack公司（NaturalPoint公司，美国俄勒冈州科瓦利斯）的有标记动作捕捉系统进行比较。与以往那些分别评估无标记和有标记系统的研究不同，对于MediaPipe [^26] 和Leap Motion [^25]，本研究通过同时使用这三种方法，实现了两类方法之间偏差更小的比较。此外，本次评估的目标是将这些无标记方案的潜力发挥到极致。 --- 他们通过采用改进的测量后数据处理方法以及多台记录设备来提升自身能力。其目标是提高在测量不同类型手部运动时相较于以往研究的性能评估结果的精度和可靠性[^29]，并探究其在临床环境中的应用潜力。为此，我们开发了一种通用算法，用于指导从多台摄像机获取的视频数据的三角测量过程——该算法会选取能最大化重建手部运动精度的特定摄像机子集。这种方法适用于任何基于视频的无标记动作捕捉技术，可用于提升未来无标记动作研究中的测量精度。我们还比较了与每种方法使用相关的更实际因素，以及它们在临床环境中的潜在适应性。我们的工作在手部和手指动作捕捉领域有三项贡献： - 针对手部和手指运动，同时采用两种无标记方法与基于标记的方法进行测量，从而进行无偏差的比较。 - 一种采用两项标准来选择特定摄像机子集的新算法，该子集可优化无标记动作捕捉的三角测量步骤，进而提升利用MediaPipe估算出的运动精度。所提出的算法具有通用性，因为它兼容所有基于视频的无标记动作捕捉方法，且可在本研究之外重复使用。 - 对使用三台Leap Motion控制器构成的系统的性能开展定量研究，以改进原有设备，完善该系统研发完成后开展的定性研究[^3]。 ### 2. 材料与方法 #### 2.1. 参与者与实验设置 共有15名健康的成年人（其中4名为女性）自愿参与本研究。所有参与者都充分了解了研究的性质、潜在风险与益处以及作为参与者的权利。根据《赫尔辛基宣言》的要求，实验前已获得所有参与者的知情同意。唯一的纳入标准是能够完成手部运动和物体抓取动作，且无身体限制。为减少潜在偏差，每位参与者产生的数据均进行了匿名化处理。本研究已获得INRIA当地伦理委员会的批准（COERLE #2022-57）。 基于标记的动作捕捉系统采用的是Optitrack光电系统，由8台红外摄像机（4台Flex3和4台Flex13）以及24个被动反射标记组成。所选的手部标记集既能实现对手部各节段的重建，又尽可能与MediaPipe和Leap Motion所使用的标记集保持一致（图1）。此外，我们并未在每个手指节段上放置三个标记，因为过多的标记会妨碍MediaPipe识别手部，这一问题在以往使用MediaPipe的研究中已有体现[^26]。摄像机的摆放旨在最大化追踪区域并最小化遮挡情况。必要时会重新校准摄像机，默认情况下每半天校准一次。测量数据以100 Hz的频率记录，并通过Optitrack Motive软件进行重建和标注。 Leap Motion控制器是一种3D动作追踪设备，它使用户能够通过空间中的手势与计算机系统交互。该设备依靠红外投影仪、摄像头以及先进的嵌入式软件来追踪用户手部和手指的位置——前提是手部正对摄像头。利用定制的API [^3]，我们将三个Leap Motion控制器安装在3D打印的支架上（见图2），以提高重建精度并减少因手部非掌心朝向导致的遮挡问题（因为该控制器无法追踪侧置或背向摄像头的手部）。这个3D打印支架是我们自行设计的，两侧的两个设备 --- 与中间的设备相距20厘米，垂直角度为$45^{\circ}$。这三个设备经过仔细对齐和校准，以确保最佳的追踪精度。收集到的数据包含随时间变化的28个特征点的3D坐标（见图1），采样频率为30 Hz。该控制器使用的是LMC追踪软件的5.5.3版本。 ![Image](images/df546b8cfb54b5a413c47e292f8b6e0a46b299df6f5ee90f04f25c59b369c786.jpg)
Figure 1. Marker sets for the optoelectronic system (blue), Leap Motion (yellow), and MediaPipe (green), and finger joint names.
![Image](images/5fbc46b3daab77cb3176d2d7658ab029ca6a35ff3f5df522c5dbdc0484d7d36c.jpg)
Figure 2. Experimental setup for the concurrent recording with the 3 motion capture methods.
“MediaPipe Hands”是谷歌开发的MediaPipe开源库中的一个子集。它是一种基于卷积神经网络（CNN）的手部姿态估计方法，能够通过普通RGB摄像头追踪手部关键点$^{[1]}$。类似地—— --- 与Leap Motion设备类似，我们使用四台摄像头（罗技C920）环绕手部放置，以改善重建效果并减少遮挡现象。这些摄像头通过棋盘格图案进行内外参数校准，录制频率为30 Hz。.mp4视频文件会被离线处理，从而从不同的视频流中提取出21个手部特征点的轨迹（见图1）。我们使用的是MediaPipe的0.10.15版本。 每种手部运动都是通过三种测量方法同时记录的（见图2）。通过在每次录制开始时执行典型的手部手势来完成它们之间的同步。 #### 2.2. 实验任务 每位参与者需完成五项不同任务，以比较每种测量方法在幅度、速度和遮挡率各不相同的手部运动中的表现。每种手势均以掌心向下（朝向LMC）且手指伸直的状态开始。前四种手势是在掌心固定的情况下进行的（仅有手指移动），最后一种则是整个手部都在移动。每位参与者在单次试验中会完成每项任务一次。每次试验包含10次手指运动重复。这些任务旨在重现人们日常生活中的自然动作，同时测试每种方法在面对各种运动时性能如何。通过这些任务评估的每种方法的四项主要技术能力分别为：(i) 检测到的特征点相对于手部真实位置的精确度；(ii) 每个关节的运动范围估计值与手部生理最大运动范围的对比；(iii) 给定方法在关节整个运动范围内及多次重复中结果的一致性；(iv) 存在自身遮挡或外部遮挡时每种方法的鲁棒性。具体任务如下： 静态任务：在整个试验期间，手部保持初始位置不变（掌心向下，手指伸直）。该任务没有特定运动，仅作为参考测量。 - 钢琴任务：从初始位置开始，要求参与者依次进行手指屈伸运动，从小指到拇指，模拟弹钢琴的动作。该任务用于测试每种方法在单个手指整个运动范围内的精确度、可测量的运动范围以及一致性。为此，该任务包含每个手指连续且独立的运动，从而最大限度地减少自遮挡现象，确保系统在手指各个关节的整个运动过程中都能清晰看到每个手指。此外，该任务中每个手指的运动速度也比其他任务更快。 - 屈曲任务：从初始位置开始，要求参与者反复完成手指完全屈曲后再回到初始位置的动作。该任务旨在评估每种方法在手指关节同步运动时的精确度、运动范围及一致性，同时考察在指尖完全隐藏于手掌下方导致严重自遮挡情况下系统的鲁棒性。 - 伸展任务：从初始位置开始，参与者先放松手指，再尽可能将其伸展。该任务同样用于评估同步运动模式下每种方法的精确度与一致性；由于手部静止时手指彼此靠近，仅会产生少量自遮挡，而当手指伸展时则完全没有自遮挡现象。 --- 我们同时也评估了手指在达到最大伸展状态时可测量的最大运动范围。 - 球体任务：从初始位置开始，参与者抓取一个网球并反复将其放下再拾起，使其在桌面上两个标记位置之间移动。这项最终任务用于评估每种方法的性能，重点考察在球体遮挡部分手指以及手掌下侧的情况下系统的鲁棒性。 #### 2.3. 光电系统数据 来自八台红外摄像头的数据按照图1中描述的标记集，在Optitrack Motive软件中手动标注。标注完成后，未经滤波或遮挡数据重建，即保存并导出为.c3d文件，得到第一份原始数据集。随后利用Motive软件中的相应工具填补标记点轨迹中的空缺，生成第二份数据集。接着使用该软件的低通滤波工具，将截止频率设为6 Hz，对各标记点的轨迹进行滤波处理，最终将这份数据集导出为.c3d文件。 #### 2.4. Leap Motion数据 由于三个LMC被嵌入3D打印的支架内，其外部校准是通过在校准文件中手动输入它们的坐标及对应方向来完成的。随后利用[^3]开发的API，根据手相对于LMC的方向采用加权方法，为每项任务重建数据。最后将各设备的加权数据融合，生成代表任务期间手部运动的单一标记集，最终将标记点坐标导出为.c3d文件。 #### 2.5. MediaPipe数据 第一步是校准摄像头，使用Anipose Python库[^30]来处理校准棋盘格的视频记录。随后，每个摄像头的视频流会经过MediaPipe Hand算法的处理，生成包含21个手部关键点坐标的c3d文件。MediaPipe Hand算法会输出每个标记点在世界坐标系中的2D坐标，以及相对于手部中心位置的第三维深度坐标[^1]。不过初步测试发现，这第三个深度坐标并不可靠，经常导致估算出的手部姿态出现不合理的情况。这些初步测试还表明，被遮挡手指的关键点位置与实际手指位置并不一致。 为了提高姿态估计的精度，我们采用了多摄像头三角测量技术，并开发了一种能够针对每次试验识别出最优摄像头子集用于三角测量的算法。该子集的选择依据两个指标：重投影误差和解剖学误差。重投影误差定义为：某个关键点在2D摄像头坐标系中的坐标，与该关键点经三角测量后在3D世界坐标系中估算出的坐标再投影到2D摄像头坐标系中所得到的坐标之间的距离。对于摄像头子集中的每个独立摄像头，我们会计算其重投影误差的均方根误差（RMSE），该计算涵盖时间维度以及手部的21个关键点。针对10种可能的摄像头子集（分别由2个、3个和4个摄像头组成），都会进行此项误差计算。解剖学误差用于衡量因关键点检测不准导致的手部变形情况，这种变形会引发手指节段长度的变化。该误差的计算方式是：先算出任务全程中每个手指节段的长度，再计算整个任务期间各节段长度的标准差。随后这个标准差的RMSE --- 会被进一步计算每个节段和每次试验的数值，从而得出每个摄像头子集的整体误差得分。 最终，每次试验所选的最优摄像头子集需满足两个条件：一是能同时工作的摄像头数量最多，二是两种误差（重投影误差和解剖学误差）的值最小。最优摄像头子集选择算法会优先选择摄像头数量更多的子集，前提是该子集的解剖学误差和重投影误差不超过相应阈值——重投影误差阈值为10毫米，解剖学误差阈值为5毫米。虽然摄像头数量越多通常越有利于运动的3D重建，但我们仍需避免选用测量数据质量差的摄像头，以免拖累整体结果。 选定摄像头子集所得到的三角测量数据最终会被过滤至6 Hz的频率，并转换为.c3d文件。 光电系统、Leap Motion控制器以及MediaPipe测量所得的所有.c3d数据文件均已发布到一个开放数据库中，以确保这些测量结果的可重复性和再利用性[^31]。 #### 2.6. OpenSim骨骼模型 由于每种动作捕捉方法所对应的标记集不同，因此无法直接比较原始的标记数据。为了能够合理对比各种方法，并从大多数生物力学研究都能兼容的.c3d文件中提取结果，我们采用了OpenSim中的逆向运动学（IK）方法[^32]，根据标记坐标来推算手指关节的数值。我们使用的是由[^33]开发的右臂骨骼模型，该模型经过修改后仅保留手部与腕部结构。 如图1所示，每种标记集都在前述模型上进行了还原。对于MediaPipe和Leap Motion而言，标记被放置在每个手指关节的中心位置，因为在此处应用逆向运动学计算时产生的误差最小。而对于光电系统，标记则被放置在关节稍上方、手背方向的位置，这是因为测量时物理反射标记是贴在手背皮肤上的（见图1）。这种放置方式至关重要，因为若将光电系统的标记置于关节中心，会导致手部运动学结果出现差异。上述方法使我们能够利用三种不同的标记集与同一骨骼模型，来准确对比各种测量方法。 为确保骨骼模型能适配每位参与者的手部，必须进行缩放处理。针对每位参与者及每种测量方法（进而对应每种标记集），均利用静态任务测量数据进行模型缩放。缩放过程是基于手部保持静止状态下、持续五秒的标记位置平均值来进行的。缩放期间不允许调整模型标记相对于骨骼原始位置的情况；每个手指的缩放也仅限于沿手指长度方向进行，以适应较长或较短的指骨。对于Leap Motion和MediaPipe模型，还需在近端排额外进行缩放，以适配标记位于手掌中心和手腕两侧的情况。 缩放完成后，我们运用OpenSim中实现的IK方法来获取各任务对应的关节位置。IK计算覆盖整个任务过程。对于每个手指的前四个近端标记以及拇指的前三个近端标记，其权重设为1（见图1）；而靠近手掌和手腕的其他标记权重则设为0.1。设定这些权重是为了保证重建出的手指能精准追踪实际标记位置，同时由于手腕和手掌标记更容易受个体解剖结构差异的影响，因此对IK的影响较小。 --- #### 2.7. 数据评估 为了评估不同方法之间的误差，我们计算了以基于标记的方法作为参考时，各关节角度值在每次试验全过程中的均方根误差（RMSE）（见图2）。为得到某次试验的整体RMSE值，我们再对所有关节的RMSE取平均值。 由于本研究旨在比较各种方法在精确测量手部空间位置方面的能力，因此在计算RMSE时仅考虑了可见的标记点。当某个标记点被遮挡时，在它重新可见之前，相应关节的RMSE不会被纳入计算。此外，如果某个标记点在任务持续时间的50%以上时间被遮挡，与该标记点相关的关节角度的RMSE将完全不予计算，以此确保只有满足最低可见度要求的标记点才能被纳入结果中。这种遮挡现象主要出现在传统动作捕捉系统所涉及的标记点上，因为MediaPipe和Leap Motion方法能够推断出不可见标记点的位置。因此，无标记点方法在标记点轨迹中从未出现遮挡情况。一旦光电系统中的物理标记点被遮挡，就无法用无标记点系统来计算误差。虽然我们本可以在遮挡期间使用光电系统插值得到的标记点轨迹，但我们选择不这么做，以免高估或低估无标记点系统产生的误差。我们所计算的最终标记点遮挡率，指的是某次试验中某一关节的遮挡时间占试验总时间的百分比。随后，会针对每位参与者的所有关节以及每次试验中的所有参与者对该遮挡率取平均值。 为了评估一次试验中手部的运动幅度和运动量，我们计算了每次试验中每个关节的运动范围（RoM）。为了得到运动幅度的综合评分，我们再对每次试验中所有关节的RoM取平均值。 最后，为了验证逆向运动学（IK）方法的有效性，并确保该方法不会引入额外误差，我们计算了每次试验全程内，从实验测量的.c3d文件中获取的标记点位置与应用IK后的骨骼模型中对应标记点位置之间的距离RMSE。 从测量到数据处理的整体流程如图3所示。 ![Image](images/a1ec9de82d0616dbd073b5813ed55dce0b41302f527ccb20eaee9ea3df5190b7.jpg)
Figure 3. Summary of the steps of the study, from the experimental measurements to the comparison of the results, with the corresponding sections.
--- ### 3. 结果 15名参与者每人分别完成了五项任务（静态、钢琴、屈曲、伸展和抛球），这些任务由光电系统、三种LMC设备以及四台网络摄像头同时记录，不过抛球任务无法被LMC设备记录，因为球体阻碍了设备对手部的正确检测。总共我们汇总了75项任务的结果（五项任务乘以15名参与者），对应210组记录（前四种任务每项任务有三组记录，抛球任务有两组记录，每组记录对应一种所使用的动作捕捉方法）。应用IK后，每组记录都会生成15个关节随时间变化的角度值（每个手指3个关节）（见图1）。在本节中，结果将以$X \pm Y$的格式呈现，其中X为平均值，Y为标准差。 #### 3.1. 无标记点方法与基于标记点方法之间的RMSE 无标记点方法得出的各关节角度与基于标记点方法得出的角度之间的均方根误差，对于MediaPipe和Leap Motion方法而言分别为$10.9 \pm 7.8^\circ$和$14.7 \pm 8.6^\circ$。误差值会因任务不同而有所差异（见图4），但Leap Motion方法的RMSE始终高于基于MediaPipe的方法。考虑到两个关节之间手指段的长度，这一误差范围（$10^\circ$至$15^\circ$）相当于几毫米（约两到三毫米）的远端空间误差。 ![Image](images/608a7166759f720cd6788713e67039f9f1a068aeb717f2f52281d6914756e86c.jpg)
Figure 4. Boxplot of the root mean square error of the hand joints for the MediaPipe-based method in green and the Leap Motion method in yellow, depending on the hand motion related to each of the five experimental tasks. The values in each box are the mean of the root mean square error computed over each joint of the hand for a specific participant and a specific task. As such, each box contains 15 values (one per participant).
参与者间分析显示出测量值之间存在一定程度的可变性。在所有试验中，不同参与者间的RMSE平均值差异最高可达$7^{\circ}$。导致两名参与者之间差异的因素是他们手部的解剖结构以及进行测量当天的具体情况。 此外，我们还观察到RMSE在关节层面的差异。对于所有参与者和试验而言，大多数关节的平均RMSE值在基于MediaPipe的方法中处于$8^{\circ}$到$11^{\circ}$范围内，而在Leap Motion方法中则处于$10^{\circ}$到$14^{\circ}$范围内。也有一些例外情况 --- 比如对于基于MediaPipe的方法，1mp和1ip关节（图1）的平均RMSE分别为$27.3 \pm 8.1^{\circ}$和$3.9 \pm 1.6^{\circ}$米。同样，Leap Motion的1ip、2md和5md关节的平均RMSE分别为$2.6 \pm 1.2^{\circ}$、$23.7 \pm 7.9^{\circ}$和$24.4 \pm 7.5^{\circ}$。表1展示了不同运动捕捉方法下各类试验中各关节的平均RMSE汇总情况。
Table 1. Table of the RMSE of each finger joint depending on the motion capture method (MP for MediaPipe and LMC for the Leap Motion Controller), averaged over all participants and all trial types.
MPLMC
1cmc$10.2 \pm 5.6^{\circ}$$10.3 \pm 5.4^{\circ}$
1mp$27.3 \pm 8.1^{\circ}$$11.2 \pm 6.1^{\circ}$
1ip$3.9 \pm 1.6^{\circ}$$2.6 \pm 1.2^{\circ}$
2mcp$11.0 \pm 6.1^{\circ}$$13.5 \pm 5.7^{\circ}$
2pm$14.8 \pm 6.4^{\circ}$$12.2 \pm 4.3^{\circ}$
2md$11.8 \pm 7.0^{\circ}$$23.7 \pm 7.9^{\circ}$
3mcp$9.5 \pm 5.2^{\circ}$$18.1 \pm 7.3^{\circ}$
3pm$8.3 \pm 5.4^{\circ}$$8.3 \pm 3.7^{\circ}$
3md$9.0 \pm 8.3^{\circ}$$12.8 \pm 6.4^{\circ}$
4mcp$10.0 \pm 5.3^{\circ}$$19.9 \pm 8.0^{\circ}$
4pm$9.3 \pm 6.0^{\circ}$$10.0 \pm 3.8^{\circ}$
4md$9.9 \pm 7.1^{\circ}$$19.2 \pm 5.2^{\circ}$
5mcp$10.5 \pm 5.6^{\circ}$$19.7 \pm 10.3^{\circ}$
5pm$8.5 \pm 5.0^{\circ}$$13.6 \pm 6.2^{\circ}$
5md$9.2 \pm 6.3^{\circ}$$24.4 \pm 7.5^{\circ}$
#### 3.2. 遮挡与运动幅度的影响 标记点遮挡率（标记点被遮挡的时间占比）在不同试验类型中差异显著，屈曲试验中的遮挡率最高可达$16.6 \pm 18.8\%$，球类试验中的遮挡率为$22.3 \pm 18.2\%$，而静态试验中的遮挡率最低仅为$1.8 \pm 11.2\%$（图5a）。 如数据处理部分所述，只有遮挡率低于50%的标记点才会被保留在最终数据集中。在光电系统记录的1125条标记点轨迹中，共有44条被剔除（占比不到5%）。此外，这些严重遮挡的标记点轨迹大多位于手腕处，因为手掌和其他手部结构更容易将其遮挡在摄像头视野之外。 为了估算手指运动的幅度，我们计算了每种试验类型下各关节的活动范围（RoM）。结果显示，屈曲试验中的RoM大于其他手指未完全收回至掌心内的试验（图5b）。此外，我们还可以看出Leap Motion测量的RoM小于另外两种方法，而光电系统和基于MediaPipe的方法的RoM相近，这意味着基于MediaPipe的解决方案在运动幅度上比LMC更接近光电系统。 --- ![Image](images/f571a5c6e4bdbd979f07fa4445257f9f6793188dafc18b6a18e1c8510042c3f3.jpg)
(a)
![Image](images/6aa444f192c89d719c4b07687908366522af2d06052dabdfd8bc6ae20bd604a3.jpg)
(b)
![Image](images/a00fff5586a9e9c7d953a7fd49e9182df8e42907b6fc73195cfb0bb421c6b7d6.jpg)
(c)
Figure 5. (a) Bar graph of the occlusion percentage of the makers depending on the hand motion. The displayed values correspond to the percentage of the time in which a marker was occluded during the entire duration of a trial, averaged over all markers of the hand and all participants. The errors bars correspond to the standard error. (b) Bar graph of the range of motion of the joints depending on the hand motion and measurement method with Leap Motion in yellow, MediaPipe in green, and the traditional motion capture in blue. The displayed values correspond to the difference between the maximum and minimum angle of a joint across the duration of a trial, averaged over all joints and all participants. The error bars correspond to the standard error. (c) Bar graph of the anatomical error (in purple) and reprojection error (in green) computed during the triangulation step of the MediaPipe-based method depending on the number of cameras in the chosen subset. The error was computed for each trial, then averaged over all trial and participants. In total, 51 trials included 4 cameras, 12 trials included 3 cameras, and 12 trials included 2 cameras. The errors bars correspond to the standard error.
#### 3.3. 多摄像头的作用 对于基于MediaPipe的方法，三角测量算法会根据录制内容的质量和一致性选择2到4个摄像头。所选摄像头的数量确实会对3D重建的质量产生影响， --- 因为随着所选摄像头数量的增加，测量值的解剖误差会随之减小（图5c）。不过重投影误差似乎与摄像头数量并无关联。在总共75项测量任务中，三角测量算法有68%的时间会选择全部4个摄像头，选择3个或2个摄像头的占比均为16%。在选取2个或3个摄像头的案例中，有70%是因为四摄像头组合的重投影误差超过了阈值；其余30%案例中，四摄像头组合的重投影误差和解剖误差均超过了相应阈值。 #### 3.4. IK方法的误差 在计算三种动作捕捉方法所获取的标记点位置与应用IK后的同一标记点之间的RMSE时，我们发现：在对所有标记点、所有参与者和所有试验进行平均后，Leap Motion、MediaPipe以及基于标记点的动作捕捉所产生的误差值分别为$2.8 \pm 1.3$毫米、$4.3 \pm 2.3$毫米和$4.0 \pm 2.9$毫米。这一误差的数量级与运行IK后各方法间角度计算误差所导致的位置误差相当。对于MediaPipe和基于标记点的动作捕捉方法而言，MCP标记点（图1）的平均RMSE介于5毫米到8毫米之间，而PIP、IP和TIP标记点的平均RMSE则在2毫米到5毫米范围内。这种MCP标记点误差较大的现象在Leap Motion设备中并未出现，该设备下所有标记点的平均RMSE均在2毫米到5毫米之间。 #### 3.5. 各类动作捕捉方法的应用对比分析 表2总结了每种动作捕捉方法的特点，讨论部分会对这些特点进行详细阐述。具体而言，可以注意到：
Table 2. Summary of the properties of each motion capture method studied in this paper, in the specific case of hand recording.
OptoelectronicMediaPipeLeap Motion
Setup and calibration time30 min to 1 h10 min1 to 20 min
Post-processing time (per recording)10 min to 3 h1 min1 min
Impact of OcclusionsIncreased processing time and lower accuracyLower accuracyLower accuracy
Precision (error in marker position)under 1 mm [^8]1 to 4 mm1 to 4 mm
CostFrom $10,000 to more than$100,000$20 per webcam$200 per device
Automatic processing of raw dataPartialCompleteComplete
Acquisition volumeEntire volume between the camerasEntire volume between the camerasSmall volume above the device with the palm necessarily facing towards the device
Leap Motion控制器的设置和校准时间取决于控制器是否嵌入预先搭建好的结构中——此时其位置已知，以及是否需要通过手部记录来进行手动校准。 --- 在特定情况下，由于需要手动标注并重建每个缺失标记点的轨迹，光电系统的录制后期处理时间可能会很长（长达数小时），尤其是当标记点遮挡率较高且不规律时。 虽然一些较新的工具能够辅助实现传统动作捕捉后期处理的部分自动化，但配合红外相机使用的工业软件仍需要一定程度的手动干预，而无标记点方法则可以实现完全自动化。 正如前述结果所示，无标记点方法的精度会因手部运动的范围和类型不同而有所差异。 ### 4. 讨论 #### 4.1. 基于标记点的动作捕捉与无标记点动作捕捉的对比 本研究对基于标记点的动作捕捉方法与两种无标记点动作捕捉方法进行了直接对比，旨在捕捉手部和手指的运动；同时，研究还采用了多台无标记点设备协同工作的方式来提升动作捕捉效果。我们通过同时用这三种方法测量多种手部运动，并对比所捕获的手部运动数据来评估每种方法的精度。 要实现预期的精度，必须组合使用多台无标记点动作捕捉设备；相比之下，单台设备测量产生的误差可达3.5厘米（20–30°）（针对MediaPipe [^20]）以及38°（针对LMC [^21]），这些误差远大于使用多台设备时所获得的误差。此外，本研究开发的数据处理算法既易于复现[^3]，又利用了公开可用的库和API来简化校准与三角测量操作[^30]，还能在已捕获的视频上应用MediaPipe算法[^1]。尽管这两种无标记点方法都需要借助多台录制设备才能获得更精确的3D重建结果，但其成本仍远低于光电系统（见表2）。 这两种无标记方法虽然都结合了多种设备，但仍存在一些关键差异。首先是每种试验类型所测得的关节活动范围（图5b），结果显示：在所有涉及手指动态运动的试验中（钢琴演奏、屈曲和伸展），基于Leap Motion的方案所得关节活动范围均小于基于MediaPipe的方法和光电系统。其次，光电系统和基于MediaPipe的方案在所有试验类型中的关节活动范围较为接近。例如，在钢琴演奏任务中，光电系统和基于MediaPipe的方法的平均关节活动范围分别为$53^{\circ}$和$56^{\circ}$，而LMC方法的平均关节活动范围则为$37^{\circ}$。从原始c3d文件中可以明显看出这一点：在手指屈曲时，LMC在捕捉手指位于手掌下方时的精确位置方面存在较大困难，其估算出的手部状态比实际略为伸展。 若进一步分析光电系统与无标记系统之间的均方根误差，会发现结果会因所关注的误差类型不同而有所差异。例如，当以各试验类型下所有关节的均方根误差平均值作为考量标准时，我们发现对于LMC而言，三种设备组合后所得轨迹与光电系统之间的均方根误差平均值介于$10^{\circ}$到$20^{\circ}$之间。与此同时，运行MediaPipe软件的四台网络摄像头组合，其所有手指关节的均方根误差平均值则根据试验类型的不同介于$8^{\circ}$到$13^{\circ}$之间。这导致每个手指节段的位置误差仅为几毫米，这一结果与其它关于手部及手指无标记捕捉且误差值最低的研究结果相近[^20] [^28]，也低于全身无标记动作捕捉所报告的误差水平[^11] [^16]。若以所有关节和试验类型的平均值、且针对每位参与者单独计算，我们会发现：尽管两种无标记方法的整体均方根误差通常维持在$8^{\circ}$到$20^{\circ}$之间，但参与者之间的差异却…… --- 这种差异在试验间可达$7^{\circ}$。这种差异性部分可能源于实验条件和参与者生理特征的差别（如光照度、手部形状和大小，或标记物的确切位置等）。不过这种差异仅相当于几毫米（1–2毫米）的变动，表明其重复性处于可接受水平。通过对所有参与者和试验类型下各个关节的均方根误差取平均值，我们同样观察到特定关节的均方根误差存在差异性。具体而言，基于MediaPipe的方法在拇指基部产生的误差更大，这一结果与另一项使用MediaPipe的研究结论一致[^26]；而LMC在食指和小指指尖处的误差则更大。其余关节在这两种方法下的差异性均较小。 从这些结果可以看出，无论我们关注哪种误差类型，也不论运动类型和参与者如何，基于MediaPipe的方法在手部及手指的重建精度上总体上都优于LMC，这体现在关节活动范围和与光电系统的均方根误差两方面。仅有少数特定关节的均方根误差显示基于MediaPipe的方法要大于LMC方法（见表1）。此外，所提出的方法所产生的误差比使用单台网络摄像头进行的测量结果低约50%（单设备下的误差为$20-30^{\circ}$，而我们开发的方法误差仅为$10-20^{\circ}$ [^20]）。 此外，通过此次实验的经验教训，我们能为未来涉及无标记动作捕捉的研究提出几点建议。在使用基于视频的无标记系统时，增加摄像头数量往往能提升测量精度，尤其是能够减少解剖学误差（图5c）。不过我们发现，根据手部的运动或相对于摄像头的朝向不同，MediaPipe有时会在特定测量中产生较差的结果；因此，采用本研究中所描述的特定三角测量算法来剔除某个摄像头的数据，可能会带来益处。另外，让摄像头从尽可能多的不同角度拍摄手部，包括从手部下方的视角，能为摄像头子集的选择提供更多选项，从而获得更好的结果。 #### 4.2. 结果的有效性 为确保前述结果的有效性，我们在研究的多个阶段（图3）进行了核查，确认没有引入额外的误差，尤其是由于OpenSim中的逆向运动学操作以及光电系统记录中的遮挡现象所产生的误差。 我们发现，逆向运动学操作引入的标记点位置误差（逆向运动学处理前后的标记点误差）与两种无标记方法和基于标记的方法之间的均方根误差处于同一数量级（几毫米）。此外，手指末端的误差（2毫米到5毫米）要小于其基部的误差（5毫米到8毫米）。这种差异是因为手掌内骨骼的比例缩放难度比手指骨骼更大。在最糟糕的情况下，逆向运动学在手指运动链的每个关节处引入的累积误差可能高达30毫米（对于运动链中第三个关节之后的标记点）。不过表1中的数据显示这种情况并未出现，因为每个关节的误差似乎与其他运动链部分相互独立，其数值最多仅达到20到$30^{\circ}$左右。因此，逆向运动学方法引起的标记点位置误差并不足以导致对无标记方法误差的高估。 此外，由于我们纳入了所有遮挡率低于50%的标记点轨迹，一些遮挡率较高的标记点仍被包含在结果中，尤其是在屈曲和握球试验中（图5a）。我们这样做是为了保证标记点有最低程度的可见性，从而能在标记点可见的足够多的时间步长内计算出均方根误差的平均值。同样，对于所选用的标记点 --- 轨迹而言，之所以仅使用标记点可见的时间步长来计算均方根误差，是为了确保用于对比的数据在后处理步骤中是准确的。虽然遮挡现象是基于标记的动作捕捉中众所周知的问题，尤其是针对手指运动学而言[^24] [^29]，但关于遮挡率如何影响动作捕捉结果的精确指标——比如标记点被遮挡的时间占比（图5a）——却很少被提及，因此无法将我们的结果与遮挡率直接进行对比。 #### 4.3. 局限性 尽管我们研究了无标记动作捕捉技术在多种生态任务中的性能，但并未涵盖高度动态或较为特殊的运动类型（例如手指在测量区域内高速移动的情况[^27]，或者需要改变手部相对于记录设备方向的任务）。这类变化可能会对测量结果产生影响；我们发现MediaPipe算法得出的结果会因三角测量算法所选的摄像头子集以及摄像头相对于手部的方向不同而略有差异。在未来的研究中，我们将致力于解决这一局限，改进用于三角测量的摄像头选择算法，使其能够在单次测量中选取多个摄像头子集，从而能够动态适应手部方向的变化，并验证其在更动态、更长时间的手部运动中的有效性。 此外，需要注意的是，在特定条件下无标记方法可能无法准确捕捉手部运动。例如，当手掌与Leap Motion设备之间夹着网球时，该设备便无法检测到手部，这使得在物体周围移动时的动作捕捉变得困难。而且，只有当手部位于设备正上方且掌心朝下时，它才能检测到手部，这限制了捕捉范围和可进行的运动种类。对于MediaPipe而言，该方法与其他基于CNN的方法存在同样的局限[^34]。尤其是那些与训练CNN时所用的手部特征不符的手部——比如佩戴过多饰品、有断指或装有矫形器的手——可能难以被准确识别。其他一些使用MediaPipe的研究也遇到了此类难题，原因是受试者身上佩戴了过多的物理标记物，阻碍了MediaPipe对手部的识别[^25] [^26]。避免这些局限的一种可能方法是，在基于CNN的方法中加入非传统类型的手部训练数据，比如临床环境中常见的存在明显障碍的手部（如痉挛手）。然而，MediaPipe模型无法重新训练，因为它仅以固定形式提供。要纳入此类数据，就需要采用迁移学习等技术，在其他模型上进行调整。 最后，本研究中所使用的技术仍处于积极开发阶段。因此，未来MediaPipe Hand API和LMC的更新有望提升这两种动作捕捉方法的性能。若要评估这些工具的性能，可能需要跟进其后续发展情况。 ### 5. 结论 在本研究中，我们同时比较了两种无标记手部及手指动作捕捉方法与传统的基于标记的动作捕捉系统在准确性方面的表现。此次比较针对15名健康成年人完成的五种具有不同手指动态特征的生态任务展开。所提出的数据处理方法结合多台测量设备后，使得无标记动作捕捉方法能够得到与传统基于标记的方法相近的结果；根据运动类型和动作捕捉方法的不同，手指关节误差介于$8^{\circ}$到$20^{\circ}$之间。 --- 我们使用了该方法。为了取得这些成果，我们针对基于MediaPipe的方法提出了一种个性化的摄像头选择算法，并深入研究了在单次测量中使用多个LMC的情况。尽管这两种方法都显示出良好的效果，但MediaPipe API使得基于CNN的无标记方法成本更低、更易于开发、精度更高，且更容易适应临床环境——因为它仅需普通的网络摄像头即可，同时相比Leap Motion控制器，它能捕捉到更大范围的运动和体积。在未来的工作中，我们将测试该方法在特定边缘场景任务中的能力，并探究其在手部运动障碍康复临床环境中的应用。 作者贡献：概念化：C.A.-C.和F.B.；方法论：V.M.、C.A.-C.、S.D.和F.B.；软件：V.M.和S.D.；验证：V.M.；形式分析：V.M.；调查：C.A.-C.、S.D.和F.B.；资源：C.A.-C.和F.B.；数据整理：V.M.和S.D.；初稿撰写：V.M.；审阅与编辑：V.M.、C.A.-C.、F.B.和S.D.；可视化：V.M.；监督：C.A.-C.和F.B.；项目管理：C.A.-C.和F.B.；经费获取：C.A.-C.和F.B.。所有作者均已阅读并同意发表该手稿的版本。 经费来源：本研究由欧盟“地平线欧洲”研究与创新计划下的EIC Pathfinder项目AI-HAND资助（授予协议号101099916）。 机构审查委员会声明：本研究遵循《赫尔辛基宣言》进行，并获得了INRIA机构审查委员会（或伦理委员会）的批准（COERLE #2022-57，于2022年12月13日获批）。 知情同意声明：本研究的所有参与者均已签署知情同意书。 数据可用性声明：本研究中呈现的原始数据，包括光电系统、Leap Motion控制器以及MediaPipe测量所得的全部.c3d数据文件，均可在开放数据库中公开获取 [^31]。 利益冲突：作者声明没有利益冲突。资助方在本研究的设计、数据收集/分析/解读、手稿撰写或发表决定方面均未发挥任何作用。 ## 参考文献 [^1]: Zhang, F.; Bazarevsky, V.; Vakunov, A.; Tkachenka, A.; Sung, G.; Chang, C.L.; Grundmann, M. MediaPipe Hands: On-device Real-time Hand Tracking. arXiv 2020, arXiv:2006.10214. [^2]: Azevedo-Coste, C.; William, L.; Fonseca, L.; Hiairrassary, A.; Andreu, D.; Geffrier, A.; Teissier, J.; Fattal, C.; Guiraud, D. Activating effective functional hand movements in individuals with complete tetraplegia through neural stimulation. Sci. Rep. 2022, 12, 16189. [CrossRef] [^3]: Novacek, T.; Marty, C.; Jirina, M. Project MultiLeap: Fusing Data from Multiple Leap Motion Sensors. In Proceedings of the 2021 IEEE 7th International Conference on Virtual Reality (ICVR), Foshan, China, 20–22 May 2021; pp. 19–25. [CrossRef] [^4]: Goebl, W.; Palmer, C. Finger motion in piano performance: Touch and tempo. In Proceedings of the International Symposium on Performance Science, Auckland, New Zealand, 15–18 December 2009; European Association of Conservatoires (AEC): Utrecht, The Netherlands, 2009; pp. 65–70. [^5]: Bailly, F.; Ceglia, A.; Michaud, B.; Rouleau, D.M.; Begon, M. Real-time and dynamically consistent estimation of muscle forces using a moving horizon emg-marker tracking algorithm—Application to upper limb biomechanics. Front. Bioeng. Biotechnol. 2021, 9, 642742. [CrossRef] [PubMed] [^6]: Krishna, S.; P, V.V.; J, D.B. SignPose: Sign Language Animation Through 3D Pose Lifting. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Montreal, BC, Canada, 11–17 October 2021; pp. 2640–2649. [^7]: Lam, W.W.T.; Tang, Y.M.; Fong, K.N.K. A systematic review of the applications of markerless motion capture (MMC) technology for clinical measurement in rehabilitation. J. Neuroeng. Rehabil. 2023, 20, 57. [CrossRef] [PubMed] ## [^8]: Merriaux, P.; Dupuis, Y.; Boutteau, R.; Vasseur, P.; Savatier, X. A Study of Vicon System Positioning Performance. Sensors 2017, 17, 1591. [CrossRef] --- [^9]: Sancho-Bru, J.L.; Jarque-Bou, N.J.; Vergara, M.; Pérez-González, A. Validity of a simple videogrammetric method to measure the movement of all hand segments for clinical purposes. Proc. Inst. Mech. Eng. Part H J. Eng. Med. 2014, 228, 182–189. [CrossRef] [PubMed] [^10]: Mathis, A.; Schneider, S.; Lauer, J.; Mathis, M.W. A Primer on Motion Capture with Deep Learning: Principles, Pitfalls, and Perspectives. Neuron 2020, 108, 44–65. [CrossRef] [^11]: Desmarais, Y.; Mottet, D.; Slangen, P.; Montesinos, P. A review of 3D human pose estimation algorithms for markerless motion capture. Comput. Vis. Image Underst. 2021, 212, 103275. [CrossRef] 12. Bray, J. 基于无标记的人体动作捕捉技术：综述。计算机科学、工程领域。2000年。在线可查：（访问日期：2024年2月13日）。 [^13]: Moeslund, T.B.; Granum, E. A Survey of Computer Vision-Based Human Motion Capture. Comput. Vis. Image Underst. 2001, 81, 231–268. [CrossRef] [^14]: Yuan, S.; Ye, Q.; Stenger, B.; Jain, S.; Kim, T.K. BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017; pp. 2605–2613. [CrossRef] [^15]: Steffensen, E.A.; Magalhães, F.; Knarr, B.A.; Kingston, D.C. Comparison of markerless and marker-based motion capture of gait kinematics in individuals with cerebral palsy and chronic stroke: A case study series. Res. Sq. 2023. [CrossRef] [^16]: Kanko, R.M.; Laende, E.K.; Davis, E.M.; Selbie, W.S.; Deluzio, K.J. Concurrent assessment of gait kinematics using marker-based and markerless motion capture. J. Biomech. 2021, 127, 110665. [CrossRef] [^17]: Nakano, N.; Sakura, T.; Ueda, K.; Omura, L.; Kimura, A.; Iino, Y.; Fukashiro, S.; Yoshioka, S. Evaluation of 3D Markerless Motion Capture Accuracy Using OpenPose with Multiple Video Cameras. Front. Sport. Act. Living 2020, 2, 50. [CrossRef] [^18]: Albert, J.; Owolabi, V.; Gebel, A.; Brahms, C.; Granacher, U.; Arnrich, B. Evaluation of the Pose Tracking Performance of the Azure Kinect and Kinect v2 for Gait Analysis in Comparison with a Gold Standard: A Pilot Study. Sensors 2020, 20, 5104. [CrossRef] [^19]: Oikonomidis, I.; Kyriazis, N.; Argyros, A. Efficient model-based 3D tracking of hand articulations using Kinect. BmVC 2011, 1, 3. [CrossRef] [^20]: Amprimo, G.; Masi, G.; Pettiti, G.; Olmo, G.; Priano, L.; Ferraris, C. Hand tracking for clinical applications: Validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks. Biomed. Signal Process. Control. 2024, 96, 106508. [CrossRef] [^21]: Smeragliuolo, A.H.; Hill, N.J.; Disla, L.; Putrino, D. Validation of the Leap Motion Controller using marked motion capture technology. J. Biomech. 2016, 49, 1742–1750. [CrossRef] [PubMed] [^22]: Geelen, J.E.; Branco, M.P.; Ramsey, N.F.; van der Helm, F.C.T.; Mugge, W.; Schouten, A.C. MarkerLess Motion Capture: ML-MoCap, a low-cost modular multi-camera setup. In Proceedings of the 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), Virtual, 1–5 November 2021; pp. 4859–4862. [CrossRef] [^23]: Gionfrida, L.; Rusli, W.M.R.; Bharath, A.A.; Kedgley, A.E. Validation of two-dimensional video-based inference of finger kinematics with pose estimation. PLoS ONE 2022, 17, e0276799. [CrossRef] [PubMed] [^24]: Zhu, Y.; Guo, C. A hand motion capture method based on infrared thermography for measuring fine motor skills in biomedicine. Artif. Intell. Med. 2023, 135, 102474. [CrossRef] [^25]: Houston, A.; Walters, V.; Corbett, T.; Coppack, R. Evaluation of a multi-sensor Leap Motion setup for biomechanical motion capture of the hand. J. Biomech. 2021, 127, 110713. [CrossRef] [PubMed] [^26]: Majoni, N. Markerless Motion Capture for the Hands and Fingers. Ph.D. Thesis, McMAster University, Hamilton, ON, Canada, 9 July 2024. [^27]: Kusafuka, A.; Tsukamoto, N.; Miyata, K.; Kudo, K. Markerless motion capture of hands and fingers in high-speed throwing task and its accuracy verification. Mech. Eng. J. 2023, 10, 23–00220. [CrossRef] [^28]: Ganguly, A.; Rashidi, G.; Mombour, K. Comparison of the Performance of the Leap Motion Controller™ with a Standard Marker-Based Motion Capture System. Sensors 2021, 21, 1750. [CrossRef] [PubMed] [^29]: Fatoni, M.H.; Herneth, C.; Li, J.; Budiman, F.; Ganguly, A.; Haddadin, S. Optimizing Interaction Space: Enlarging the Capture Volume for Multiple Portable Motion Capture Devices. arXiv 2024, arXiv:2408.17287. 30. Karashchuk, P. lambdaloop/anipose: V0.6.0版。2019年。在线可查：（访问日期：2024年9月16日）。 31. Maggioni, V.; Azevedo-Coste, C.; Durand, S.; Bailly, F. 用于比较无标记动作捕捉系统的生态手部及手指运动实验数据集。在线可查：（访问日期：2024年11月22日）。[CrossRef] ## [^32]: Delp, S.L.; Anderson, F.C.; Arnold, A.S.; Loan, P.; Habib, A.; John, C.T.; Guendelman, E.; Thelen, D.G. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Trans. Biomed. Eng. 2007, 54, 1940–1950. [CrossRef] [PubMed] --- [^33]: McFarland, D.C.; Binder-Markey, B.I.; Nichols, J.A.; Wohlman, S.J.; de Bruin, M.; Murray, W.M. A Musculoskeletal Model of the Hand and Wrist Capable of Simulating Functional Tasks. IEEE Trans. Biomed. Eng. 2023, 70, 1424–1435. [CrossRef] [^34]: Rangel, G.; Cuevas-Tello, J.C.; Nunez-Varela, J.; Puente, C.; Silva-Trujillo, A.G. A Survey on Convolutional Neural Networks and Their Performance Limitations in Image Recognition Tasks. J. Sens. 2024, 2024, 2797320. [CrossRef] 免责声明/出版商说明：所有出版物中所包含的声明、观点和数据仅代表各作者及贡献者的个人立场，不代表MDPI和/或编辑部的观点。对于因文中提及的任何想法、方法、说明或产品而导致的人身伤害或财产损失，MDPI和/或编辑部概不负责。