# 基于生物力学的灵巧手部运动多视角无标记动作捕捉技术 Pouyan Firouzabadi $^{1,2}$，J.D. Peiffer $^{1,2}$，Kunal Shah $^{2}$，Anton Sobinov $^{3}$，Lee E. Miller $^{1,2}$，R. James Cotton $^{2,4}$，Wendy M. Murray $^{1,2}$ 摘要— 无标记动作捕捉（MMC）技术在人体运动的生物力学分析领域发挥着重要作用；然而，其在手部复杂运动中的应用却滞后于其他肌肉骨骼系统。研究目的：本研究的主要目标是评估一种生物力学重建方法的性能，该方法采用基于梯度的优化策略，并结合生物力学模型，利用MMC技术追踪灵巧且不受约束的手部运动。研究方法：我们搭建了定制的8摄像头系统，采集了6名参与者执行的11种不同任务所产生的121段视频数据，这些任务涵盖了6种手部姿势、5种物体操控任务，还涉及上肢近端关节的运动。我们将所提出的MMC流程的性能与一种更常用的两阶段重建方法进行了直接对比：后者先通过计算机视觉姿态估计算法将2D关键点三角测量为3D坐标，再通过求解受限逆运动学问题来施加生物力学约束。我们通过视觉观察定性评估相对性能，同时利用计算机视觉指标进行定量评估。研究结果：我们的方法为全部121段视频生成了有效解；而两阶段方法在15%的视频中未能收敛。在其余视频中，我们的方法生成的手部运动学结果比两阶段方法更具生物力学合理性，且在涉及物体的任务中对遮挡效应的鲁棒性更强。研究结论：这种端到端方法的相对鲁棒性表明，它能更有效地利用现有的2D数字关键点信息。研究意义：能够自动、符合生物力学规律地追踪灵巧运动中的手部运动学，有望为临床评估、康复监测以及人类运动控制研究提供支持。 索引词— 生物力学、深度学习、手部运动学、运动分析、多摄像头系统、姿态估计、重建算法 ## 一、引言 M $_{ARKERLESS}$ 动作捕捉（MMC）提供了一种无需在身体上佩戴任何设备即可捕捉运动的实际可行手段 [^1]。具体而言，MMC利用计算机视觉和姿态估计技术，对运动过程中获取的2D视频数据中的解剖学标志点进行算法标注 [^2]，[^3]，[^4]，[^5]，[^6]，[^7]。MMC使用这些被称为关键点的数字标签，来替代传统动作捕捉中使用的物理标记，从而减轻了参与者和研究人员在设置方面的时间负担。这些优势有助于在大规模人群研究 [^8] 以及野外运动场景 [^9] 中开展数据采集工作。尽管MMC在人体运动研究中的应用日益广泛，但其在复杂手部运动领域的应用仍滞后于其他肌肉骨骼系统。人类手部在日常生活的几乎所有方面都发挥着核心作用，从书写等精细动作到举重所需的强力抓握均离不开手部参与。理解手部运动的生物力学机制和神经控制规律至关重要，而MMC技术是推动该领域发展的有前景的技术。 对于传统的基于标记的方法而言，标记的位置在运动过程中会与特定的解剖学标志点物理绑定。相比之下，数字MMC关键点是在记录的运动视频的每一帧中独立识别出来的。正因如此，不同帧中所标注的解剖学标志点可能存在不一致的情况，进而产生解剖学上不可能出现的错误，这些问题必须加以解决。大多数生物力学MMC数据重建方法采用两阶段分析来消除这些错误：首先利用多台摄像机将二维关键点三角测量为三维[^10]，随后通过求解受约束的逆运动学问题来施加生物力学约束[^11]、[^12]、[^13]、[^14]、[^15]。而近期的一项新技术则采用单阶段流程来施加生物力学约束：通过迭代调整三维生物力学模型的姿态与缩放比例[^16]、[^17]、[^18]，从而求出能够最佳投影到二维摄像机平面上的三维关节运动轨迹。由于该方法能通过可微分的生物力学模型一次性优化运动轨迹与模型缩放参数，因此被描述为“端到端”方法。 以往的研究表明，两阶段重建方法和端到端重建方法的性能指标均与基于标记的系统相当[^11]、[^12]、[^16]、[^19]。利用侧重于重建手部姿势与姿态估计关键点之间一致性的计算机视觉指标[^20]，我们此前已证实：在追踪复杂的手部姿势时，端到端优化方法的表现优于两阶段拟合程序[^18]。不过，我们尚未发现直接对比这两种方法所计算出的关节运动学数据的相关研究。由于指骨各节段尺寸较小，对关键点误差的敏感度较高，因此两种方法之间的相对性能对于手部研究尤为重要[^21]。此外，物体 --- ![Image](images/c087974daca520a454ec9fbc3ed8db5a00462868f2a8d4fc65424b03e9920b2d.jpg)
Figure 1. Experimental setup with 8 cameras surrounding the participant replicating the hand pose (the ASL letter B) shown on the video screen.
Table 1. Demographics of Healthy Participants
ParticipantAgeSexArmSkin\nTone [^22]
P126MRTan
P238MRTan
P325FRLight
P425FRLight
P523FRDark
P628MRBrown
交互——作为手部功能的关键环节——给手部追踪带来了复杂性。此前仅有一项研究在MMC工作流程中引入了生物力学约束，同时考虑了物体交互情况[^12]；但该研究中的手部在与单个物体交互时处于固定的上肢姿势下。因此，有必要在上肢功能性运动且涉及多个不同物体的场景下，对比现有的重建方法。 本研究旨在评估两种生物力学重建方法在利用MMC追踪灵活且无约束的手部运动时的性能。我们证明了单阶段的端到端方法能够获取可靠的关节角度，这一结论来自六名参与者完成的姿势保持及物体交互任务测试，这些任务中涉及上肢近端关节的运动。我们将这种方法的运动学性能与更为常见的两阶段方法进行了直接对比。我们的研究提供了定量与定性证据，证明端到端方法能更稳健地追踪复杂的手部运动及与物体的交互过程。 ### II. 方法 本研究获得了西北大学伦理审查委员会的批准。六名身体健康、惯用右手且手臂或手部无损伤或功能障碍史的参与者签署了知情同意书并完成了研究（参见表1）。 ### A. 实验设置方案 为了采集适用于生物力学分析的复杂手部运动视频，我们使用了8台FLIR BlackFly S GigE RGB相机，搭配F1.4/6mm和F1.6/4.4-11mm可变焦距镜头。该系统能以每秒30帧的速度拍摄2048×1536像素的图像，并通过IEEE1558协议实现同步[^23]。校准时使用了间距为110毫米的7×5 ChArucoBoard[^24]。利用anipose库估算相机的外部和内部参数[^25]。通过多个视角下校准后的相机参数，即可实现二维图像平面与三维空间之间的转换。 参与者坐在相机下方，右臂置于桌面上（图1）。相机镜头设置为能够捕捉整个身体，且右手和上臂位于画面中央。参与者需完成以下动作：摆出美国手语中字母A、B、D、F、L和O的姿势；伸手抓取网球、瓶子和圆盘；以及完成与日常生活相关的任务（如捏钥匙和饮水）。参与者在形成手语字母时，前臂处于完全旋后状态；保持字母姿势的同时将前臂从旋后状态旋转至完全旋前状态，随后再将前臂和手分别恢复为旋后和中立状态。在伸手抓取任务中，参与者先伸向物体、将其拿起，再放回桌面的原位。对于捏钥匙任务，参与者需用捏握动作抓住安装在桌上的门锁钥匙，顺时针旋转180度，再逆时针转回，最后松开。饮水任务中，参与者伸手拿杯、送至嘴边，再将其放回桌面。 所有参与者在一次访问中完成了所有任务，期间进行了多次视频录制。每次视频录制包含受试者连续三次重复同一特定任务的内容。总共收集了121段视频记录，每个手语字母对应两段视频记录。其余任务的录制次数在不同参与者间为1到2次不等。 ### B. 关键点识别 视频处理采用了PosePipe算法[^26]。由于我们研究的手部运动涉及近端肢体运动，初始视频处理使用了公开全身姿态估计算法MeTRAbs-ACAE中的MoVi关键点集[^27]、[^28]。该分析标记了肩部、锁骨、胸骨、肘部、腕关节内侧和外侧以及掌指关节。由于部分相机视角中能拍到研究人员的手，因此我们通过 extrapolating MoVi关键点来确定研究参与者右手的位置边界框，这些关键点位于腕关节和掌指关节处。在该边界框内，我们进一步利用MMPose库中的RTMPose算法[^3]、[^29]来标记21个手部专属关键点。对于每个关键点，RTMPose会估算该关键点出现在该像素位置的可能性，数值范围从0到1。对于这两种重建方法，我们均排除了可能性低于0.25的关键点。 --- ![Image](images/2d90be37669b510aa0bbf9e76f7068704c3d119e70bc0642e56a839a35ee5a47.jpg)
Figure 2. Our end-to-end MMC reconstruction pipeline: For a single frame, the gradient-based optimizer, a multi-layer perceptron (MLP), initially outputs arbitrary joint angles to pose the biomechanical model. The model includes user-defined 3D virtual markers that correspond to the keypoints labeled via computer vision. When the model assumes the specified pose, the 3D coordinates of the virtual markers are reprojected to each of the 8 camera's 2D planes, allowing direct comparison to the 2D digital keypoints identified by the hand pose estimation algorithm for that frame. During the optimization process for a whole recording, the MLP learns a mapping from timestep (t) to joint angles $\theta(t)$, defining a best fit set of joint angle trajectories for the recording. In parallel with optimizing joint angles, the biomechanical model is scaled to the participant, including fine-tuning the location of the virtual markers on the model. The MLP is trained for 40000 iterations to overfit based on defined loss functions, producing final joint angles that best represent the 2D information available from all camera planes.
### C. 手臂和手部生物力学模型与仿真 这两种重建方法均采用相同的生物力学模型，该模型包含28个用户定义的虚拟标记点，这些标记点与姿态估计算法标注的数字关键点相对应。具体而言，我们采用了手部的21自由度（DoF）模型[^13]以及上肢的7自由度模型[^14]，这两个模型最初均是在OpenSim中开发的[^32]。组合模型涵盖了所有手指和拇指运动（包括无名指和小指的腕掌关节耦合屈曲）、手腕屈伸与偏移、前臂旋转（旋前/旋后）、肘关节屈曲，以及包含肩胛肱骨节律在内的肩部自由度等运动学定义。此外，我们还在躯干这一地面部分增加了6个自由度，用以表示其在全局坐标系中的三维位置与朝向。 ### D. 重建方法 ## 1) 端到端方法 基于此前为全身[^17]和上肢[^19]跟踪开发的方法，我们采用了一种基于梯度的优化方法，该方法包含多层感知机（MLP），可将我们的生物力学模型纳入循环，从而根据8个摄像头的视角生成合理的三维关节运动姿态（见图2）。首先，MLP会生成随机的关节角度猜测值；这些猜测值确定了生物力学模型的姿态，并通过正运动学计算出用户定义的虚拟标记点的对应三维坐标。随后，这些虚拟标记点的三维坐标会被重新投影到每个摄像头的二维平面上。利用二维投影结果与手部姿态估计算法得到的二维数字关键点之间的误差来训练MLP。最终，训练好的MLP会为每个时间步长输出能够最好匹配8个摄像头视角中二维数字关键点的生物力学模型关节角度。 --- 生物力学模型在每个时间步长所输出的关节角度，能够最准确地反映8个摄像头视角中的二维数字关键点。在反向传播过程中，会计算出一个缩放矩阵，该矩阵为胸廓、肩带、上臂、前臂、手和手指分别定义了6个各向同性的缩放因子。此外，该缩放矩阵还定义了28个偏移量，用于调整模型中虚拟标记点的位置。模型缩放与虚拟标记点偏移调整的目的是通过AddBiomechanics开发的双层方法[^33]，使模型能够最佳适配某位参与者的所有视频记录。 ## a) 机器学习优化框架 基于梯度的流程是在Jax[^34]中实现的，并使用了Equinox框架[^35]。我们将运动学模型（见II.C节）与机器学习框架集成到了MuJoCo-MJX[^36]中；在集成之前，先使用公开可用的MyoConverter工具[^37]将模型转换为MuJoCo格式[^38]。用于正运动学计算及模型缩放的MLP共有七层，每层节点数分别为128、256、512、1024、2048、2048、4096；更多关于模型架构的细节可参考[^17]。 对于单个视频录制（即某位参与者重复同一任务3次的录制内容），用于训练MLP的损失值包含重投影损失函数以及两项正则化项（详情见[^16]、[^17]、[^18]）。重投影损失被定义为所有时间步、摄像头和关键点上的像素级估计误差的平均值，该平均值会根据姿态估计器给出的关键点置信度进行加权。在每个时间步（t）和每个摄像头（c）下，第k个关键点的估计误差（$\delta_{t,k,c}$）为重新投影的虚拟标记点（$\Pi_{c}x_{t,k}$）与标注的2D关键点（$y_{t,k,c}$）的像素坐标之间的欧几里得距离，计算公式如下： $$ \delta_{t,k,c}=\left\|\Pi_{c}x_{t,k}-y_{t,k,c}\right\| $$ 其中一项正则化项会惩罚那些超出运动学模型所定义的关节约束范围的关节运动学参数。第二项正则化项（L2损失函数）则限制了3D虚拟标记点偏离其用户定义位置的偏移距离。针对某位参与者一次访问期间的所有视频录制数据，优化过程并行运行了40000次迭代，目的是让各段录制的关节角度过拟合，同时找到能使损失值最低的缩放因子和虚拟标记点偏移量（整次会话层面），详见[^33]。 我们采用Optax中的AdamW优化器进行优化[^39]，其中beta参数设为0.8，权重衰减值为$1 \times 10^{-5}$。学习率从初始值$1 \times 10^{-3}$呈指数衰减至最终值$1 \times 10^{-6}$。虚拟标记点偏移量的lambda参数设为$1 \times 10^{3}$。我们在A6000 GPU上开展实验，发现该配置可同时对20段录制数据进行联合优化，且每秒能完成超过30次迭代。 ## 2) 两阶段方法 我们将所提出端到端方法与更常用的两阶段重建方法进行了对比。我们首先利用鲁棒的三维重建技术[^40]，对所有8个摄像头采集到的2D信息进行解析，从而将2D关键点转换为3D坐标（第一阶段）。随后对得到的3D关键点轨迹进行后处理，将其作为受限逆运动学问题的输入（第二阶段）；该问题借助OpenSim物理模拟器求解[^32]，所用生物力学模型和虚拟标记点与上文描述的一致（详见第II.C节）。 第一阶段中通过三角测量得到3D数字关键点后，我们会应用跨5个时间点的中值滤波器对其进行平滑处理。经过滤波的3D关键点会被用来生成与OpenSim模拟器兼容的轨迹文件。在OpenSim中进行缩放和优化所用的所有设置及配置文件均遵循公开可用的OpenCap流程以及以往的研究成果[^11]、[^18]。由于存在运动学冗余和关键点噪声，我们在第二阶段遇到了收敛问题。为解决这一问题，我们固定了模型地面部分（胸廓）的初始姿态；随后利用集成的逆运动学工具来提取关节角度，以及能够反映姿态估计关键点的优化后的3D虚拟标记点位置。 ## 3) 性能指标 共有103段视频记录被用于两种方法之间的直接比较，因为在121段总记录中，有18段未能通过两阶段方法得出最终解。我们定量和定性地对比了每种方法估算出的关节角度轨迹。首先，我们计算了不同方法间关节角度的绝对平均差异。考虑到不同任务和参与者间的测量次数存在重复且不等的情况，我们采用了线性混合效应模型。该模型将关节作为分类固定效应，并引入受试者特定的随机截距，以解释人群内部的变异性。 由于我们缺乏评估关节角度精度的黄金标准，因此选择ASL姿势（字母B，如图1所示）进行对比，该姿势要求手指完全伸展。我们拟合了一个线性混合效应模型，用于评估两种重建方法在10次书写字母B试验中所计算出的关节运动学数据。该模型将方法（端到端 vs. 两阶段）、关节层级（远端指间关节、近端指间关节、掌指关节）及其双向交互作用设为固定效应，同时引入参与者的随机截距。 我们还采用了正确关键点百分比（PCK）这一计算机视觉指标[^20]，来评估103段视频记录中重新投影的3D虚拟标记位置与姿态估计器标记的2D数字关键点之间的对应关系。为了降低人体姿态估计算法性能不一致带来的影响，我们仅纳入RTMPose判定为可能性大于0.5的关键点。具体而言，对于给定视频记录中所有时间点和摄像头视角下、可能性大于0.5的2D数字关键点（总数），我们统计出落在10像素阈值范围内的重新投影虚拟标记数量（$N_{true}$）。也就是说， --- ![Image](images/94c66b29eb9432d4d8a34600008cb745e74f6dc621b8eca701bf47e04b495655.jpg)
Figure 3. Absolute mean difference of individual joint angles produced by the end-to-end and two-stage reconstruction methods across all participants and recordings. The diameter and color of each inner circle reflects the magnitude of the average error. A separate ring, with diameter equal to the mean error +1 standard deviation (s.d.) surrounds each filled circle. The color of the s.d. ring also indicates the value of the mean +1 s.d. for that degree of freedom.
$$ PCK=\frac{N_{true}}{Total}\times100 $$ PCK值越高，表明一致性越好。我们验证了包含物体的任务是否会影响不同重建方法的PCK值。通过线性混合效应模型，我们在将参与者间的变异性设为随机截距的前提下，比较了任务范式（姿势 vs. 物体）与分析方法（端到端 vs. 两阶段）之间的统计交互效应。 ### 三、结果 ### A. 关节角度对比 这两种生物力学重建方法得出的关节角度估算结果存在差异（p < 0.001）。所有参与者、视频记录、时间步长和关节中，端到端方法与两阶段方法间的平均绝对差异为$12.1^\circ \pm 8.8^\circ$。不同方法间的差异程度取决于具体关节。例如，我们发现平均差异范围在$20^\circ$到
A.
![Image](images/ebc6eeb4d1559d1f29813cae38d42c58be862a96e75028acacab876c7be61c75.jpg) ![Image](images/dd7e347a81659bf49ab1ff347b11f0838942235aa431a9044f0bdaf83cbd8b14.jpg)
Figure 4 A. The biomechanical model, positioned as computed from both reconstruction methods and overlayed on the video of the participant forming the ASL posture for the letter B. All data is from the same video recording at t = 4s. For the two-stage method (solid orange outline), pronounced flexion is observed in more distal joints; the end-to-end result (dashed blue outline) for the same frame shows better agreement to the actual position of the hand. B. Computed joint angles for the middle, ring, and pinky fingers across 10 trials involving signing the letter B. Time (-4-12s) corresponds to the hand being maintained in the B posture during forearm pronation. Solid, bold, orange lines indicate the average computed via the two-stage method (shaded orange regions indicated one standard deviation, lighter lines show individual trials). Dashed, bold, blue lines indicate the average computed via the end-to-end method (shaded blue regions indicated one standard deviation, lighter lines show individual trials).
最远端关节处为27°，而每个手指近端基关节处，两种方法的差异在屈伸和内外展两个自由度上均小于13°（见图3）。 通过观察书写手语字母“B”时手指关节的伸展姿态，可以定性地证明端到端方法能更好地反映实际运动情况。例如，将生物力学模型重新投影到单个二维视频帧上可见：采用两阶段方法得到的手指远端屈曲程度比参与者实际表现更大（见图4A）。定量分析结果显示，对于所有四根手指而言，两阶段方法在远侧指间关节处与完全伸直状态（0°）的差异显著更大（29.4° ± 2.4°；图4B展示了其中三根手指的数据），而端到端方法下的差异仅为1° ± 1°（p<0.001）。在掌指关节处，端到端方法得出的偏差同样显著偏离零值（p < 0.001；例如，4-12秒间的平均屈曲角度为13° ± 3°），这比两阶段方法更能准确反映手部姿态（3° ± 5.5°；参见图4A，该参与者的掌指关节处于屈曲状态）。 --- ![Image](images/040a7cc2598c0b2f77c9c88db4e43fcf8945eb9dfc8b705c39686eb78bcb6cbf.jpg) ![Image](images/4054ace5df5802af75e3af0c00e27d3048a6e5234d353c09b922bf619d15628b.jpg)
Figure 5. Summary of the joint angles that result from the two-stage (orange lines) and end-to-end (blue dashed lines) methods for a single object interaction task that involved reaching and grasping a ball. For both methods, the curves indicate joint angles averaged across groups of joints, including (top graph) the Distal joint angles (average of index, middle, ring, and pinky DIP joints + thumb IP joint), (middle graph) Proximal joint angles (average of all finger PIP joints plus thumb MCP joint), and (bottom graph) Base joint angles (all finger MCPs plus thumb CMC joint). Images at the top represent the hand posture at 7 seconds while holding the ball with the optimized biomechanical poses overlayed on each image.
### B. 物体交互分析 在物体交互任务中，两阶段方法的误差明显大于我们的端到端方法。通过对比两种重建方法得到的关节运动学数据叠加图，可以发现端到端方法对物体遮挡效应的抵抗能力更强（见图5）。两阶段方法得出的实际姿态偏差十分明显，而端到端方法则大幅降低了这种偏差。在6名参与者完成的11种不同任务的共103段视频记录中，涉及物体的任务里两阶段方法的PCK得分显著更低，且方法×任务范式的统计交互效应显著（p < 0.001；见图6）。 ### IV. 讨论 本研究的主要目标是评估一种新开发的单阶段端到端生物力学重建方法的性能，该方法利用运动捕捉数据来追踪灵巧且不受约束的手部运动。通过将关节约束直接纳入优化循环，该方法无需依赖后处理（如滤波）来减少三角化关键点中的非生理误差 [^12], [^19]。研究结果表明，无论是对于复杂姿势还是物体交互任务，我们的端到端流程始终优于传统的两阶段方法。首先，我们的流程为全部121段视频生成了解决方案；而两阶段方法的第二阶段（受约束的逆运动学） ![Image](images/6a43e70e27615b8a8b4eab3a4d02be0c6ed5cbaf872e5c937ccb31a3664a1eba.jpg)
Figure 6. Percentage of correct keypoints (PCK) metric computed from the biomechanical reconstructions of the same 103 video recordings using the end-to-end (blue) and two-stage (orange) methods. PCK quantifies the percentage of reprojected 3D virtual markers that fall within a 10-pixel threshold of the 2D digital keypoints from pose estimation. Higher PCK values indicate better agreement. The two-stage method's performance on tasks that include objects significantly decreased relative to postures (p < 0.001). Red dots and arrows highlight the trial displayed in Figure 5.
优化）未能收敛的记录占比达15%（18/121），尽管我们对第一阶段得到的三角测量关键点采用了常用的后处理技术（详见方法部分D.2节）。在剩余的103段视频记录中，端到端方法生成的手部运动学数据比两阶段方法更符合生物力学原理。这一点在手指远端关节处尤为明显：对于这些关节本应伸直的姿态，两阶段方法却产生了过度的屈曲现象。端到端方法在物体交互任务中也表现出更强的鲁棒性。我们的分析揭示了两阶段重建方法的一个关键局限：当数字关键点受到遮挡影响时，其性能会下降。我们的研究结果拓展了先前的工作 [^18]；在此，我们证实了端到端方法在各类任务中的鲁棒性，参与者的手尺寸、性别和肤色均存在差异（见表1）；我们量化了这两种重建方法导致的关节运动学差异，并证明从计算机视觉指标来看，端到端方法的表现更优。 尽管有这些进展，本研究仍存在若干局限性。最重要的是，我们的定量误差指标并非基于真实的3D测量数据（如基于标记点的动作捕捉数据）。实际上，重建性能是通过将2D数字关键点与所有8个摄像视角下概率最高的关键点进行定量比较来评定的。同样，不同方法间重建出的关节角度差异也并未参照外部标准进行定量评估。不过，两种重建方法使用了相同的视频数据、2D数字关键点、相机校准矩阵以及生物力学模型，这为它们的相对性能提供了参照依据。此外， --- 参与研究的受试者群体使得所提出的框架能够在多种已知会影响基于视觉的动作追踪方法的变异源上进行评估。 端到端方法的相对鲁棒性表明，它在利用现有的2D数字关键点信息方面更为高效。这得益于姿态估计算法领域的最新进展，例如RTMPose [^3]；日益精准且多样化的训练数据集（Freihand [^41]、COCO-Wholebody [^42]、Hand10k [^43]、RHD2D [^44]以及COCO-Halpe [^45]）提升了关键点定位的精度与在不同条件下的泛化能力。由于端到端方法不依赖于底层的姿态估计器与数据集，未来关键点检测技术的提升可直接融入重建流程，进而进一步提高重建性能并降低地标定位误差。值得注意的是，以往的研究表明，微小的地标定位误差与模型缩放误差会通过运动链传播，导致远端部位的误差被放大 [^46]、[^47]、[^48]。端到端方法所展现出的较小的远端关节角度差异，说明联合优化模型姿态与缩放参数有助于缓解这种误差传播现象。展望未来，那些能够重建具有解剖细节的手部表面而非仅依赖稀疏关键点的新方法 [^49]、[^50]，或许能通过提供关于手部形状与关节活动的更丰富空间信息，进一步改善无标记手部追踪效果。将这些成果与具备生物力学感知能力的端到端重建方法相结合，可提升灵巧手与物体交互任务的准确性。本研究为可在临床与康复场景中应用、更具解剖学依据的动作捕捉系统奠定了基础。通过省去手动后处理步骤并提高重建精度，端到端流程能够实现手部功能的规模化生物力学评估。 ### 五、结论 本研究证明了单阶段端到端优化流程相较于常见的两阶段手部重建技术在性能上的优势。端到端方法中融入的生物力学约束，使得能够从多视角无标记动作捕捉数据中精准重建3D手部轨迹。这些发现为可扩展至双手模型、不同人群及灵巧任务的解剖学依据型方法奠定了基础。最终，本研究凸显了基于视频的动作捕捉技术在变革临床评估、康复监测与辅助技术开发方面的巨大潜力。 ### 六、致谢 本出版物中报道的研究得到了美国国立卫生研究院下属国家神经疾病和中风研究所的资助，授予编号为R01NS131953。本研究内容仅由作者负责，并不一定代表美国国立卫生研究院的官方观点。本出版物中报道的研究还得到了美国国立卫生研究院下属尤尼斯·肯尼迪·施莱佛国家儿童健康与人类发展研究所的资助，授予编号为T32HD007418。 人工智能使用声明：作者使用Microsoft CoPilot来协助表述统计分析结果、语言编辑以及草稿修订。所有输出内容均经过作者的审阅和核实，作者对最终稿件负全部责任。 利益披露声明：作者声明不存在需要披露的竞争性利益。作者贡献声明：P.F.设计了实验研究，将手部特定生物力学模型整合到MMC系统中，开发了手部特定追踪与数据分析脚本，并起草了稿件。J.P.、R.J.C.和K.S.参与了实验数据收集、初步数据处理以及可微MMC系统工具的开发。A.S.提供了咨询意见，并协助将生物力学模型从OpenSim转换到Mujoco。L.E.M.和W.M.M.负责监督该项目并对稿件进行了严格审阅。W.M.M.还参与了研究构思与项目监管。所有作者均审阅并批准了最终稿件，并同意对工作的各个方面承担责任。 ## 参考文献 [^1]: L. Wade, L. Needham, P. McGuigan, and J. Bilzon, “Applications and limitations of current markerless motion capture methods for clinical gait biomechanics,” PeerJ, vol. 10, p. e12995, Feb. 2022, doi:10.7717/peerj.12995. [^2]: J. Huang, Z. Zhu, F. Guo, and G. Huang, “The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation,” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 5699–5708, Nov. 2019, doi:10.1109/CVPR42600.2020.00574. [^3]: T. Jiang et al., “RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose,” Jul. 02, 2023, arXiv:2303.07399. doi:10.48550/arXiv.2303.07399. [^4]: J. Wang et al., “Deep High-Resolution Representation Learning for Visual Recognition,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 10, pp. 3349–3364, Aug. 2019, doi: 10.1109/TPAMI.2020.2983686. [^5]: B. Xiao, H. Wu, and Y. Wei, “Simple Baselines for Human Pose Estimation and Tracking,” in Computer Vision – ECCV 2018, vol. 11210, V. Ferrari, M. Hebert, C. Sminchisescu, and Y. Weiss, Eds., in Lecture Notes in Computer Science, vol. 11210., Cham: Springer International Publishing, 2018, pp. 472–487. doi: 10.1007/978-3-030-01231-1 29. [^6]: F. Zhang, X. Zhu, H. Dai, M. Ye, and C. Zhu, “Distribution-Aware Coordinate Representation for Human Pose Estimation,” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 7091–7100, Oct. 2019, doi:10.1109/CVPR42600.2020.00712. [^7]: C. E. Zheng et al., “Deep Learning-Based Human Pose Estimation: A Survey,” Tsinghua Science and Technology, vol. 24, no. 6, pp. 663–676, Dec. 2020, doi: 10.26599/TST.2018.9010100. [^8]: T. Templin et al., “Evaluation of drop vertical jump kinematics and kinetics using 3D markerless motion capture in a large cohort,” Front. Bioeng. Biotechnol., vol. 12, Oct. 2024, doi:10.3389/fbioe.2024.1426677. ## [^9]: B. G. Lerch, G. S. Fleisig, J. S. Slowik, and G. D. Oliver, “Variability of in-game markerless and laboratory marker-based baseball pitching biomechanics,” Journal of Biomechanics, vol. 188, p. 112775, Jul. 2025, doi: 10.1016/j.jbiomech.2025.112775 --- [^10]: R. Hartley and A. Zisserman, “Multiple View Geometry in Computer Vision (Cited by: 11343),” Cambridge University Press, vol. 2, no. 2, p. 672, 2004. [^11]: S. D. Uhlrich et al., “OpenCap: Human movement dynamics from smartphone videos,” PLOS Computational Biology, vol. 19, no. 10, p. e1011462, Oct. 2023, doi: 10.1371/journal.pcbi.1011462. [^12]: V. Maggioni, C. Azevedo-Coste, S. Durand, and F. Bailly, “Optimisation and Comparison of Markerless and Marker-Based Motion Capture Methods for Hand and Finger Movement Analysis,” Sensors 2025, Vol. 25, Page 1079, vol. 25, no. 4, p. 1079, Feb. 2025, doi: 10.3390/S25041079. [^13]: G. Amprimo, G. Masi, G. Pettiti, G. Olmo, L. Priano, and C. Ferraris, “Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks,” Aug. 2023, Accessed: May 30, 2024. [Online]. Available: [^14]: L. Gionfrida, W. M. R. Rusli, A. A. Bharath, and A. E. Kedgley, “Validation of two-dimensional video-based inference of finger kinematics with pose estimation,” PLOS ONE, vol. 17, no. 11, p. e0276799, Nov. 2022, doi: 10.1371/journal.pone.0276799. [^15]: G. M. Lim, P. Jatesiktat, and W. T. Ang, “Multi-view 3D Markerless Hand Motion Capture System with Keypoint Triangulation,” in 2024 17th International Convention on Rehabilitation Engineering and Assistive Technology (i-CREATE), Aug. 2024, pp. 1–4. doi: 10.1109/i-CREATE62067.2024.10776171. [^16]: T. Unger et al., “Differentiable Biomechanics for Markerless Motion Capture in Upper Limb Stroke Rehabilitation: A Comparison With Optical Motion Capture,” IEEE Trans. Med. Robot. Bionics, pp. 1–1, 2025, doi: 10.1109/TMRB.2025.3605962. [^17]: R. J. Cotton, “Differentiable Biomechanics Unlocks Opportunities for Markerless Motion Capture,” in 2025 International Conference On Rehabilitation Robotics (ICORR), Chicago, IL, USA: IEEE, May 2025, pp. 44–51. doi: 10.1109/ICORR66766.2025.11063174. [^18]: P. Firouzabadi et al., “Biomechanical Arm and Hand Tracking with Multiview Markerless Motion Capture,” Proceedings of the IEEE RAS and EMBS International Conference on Biomedical Robotics and Biomechatronics, pp. 1641–1648, 2024, doi: 10.1109/BIOROB60516.2024.10719940. [^19]: D. M. Mulla, M. Costantino, E. Freud, and J. A. Michaels, “ATHENA: Automatically Tracking Hands Expertly with No Annotations,” Aug. 15, 2025, bioRxiv. doi:10.1101/2025.08.12.669753. [^20]: Y. Yang and D. Ramanan, “Articulated Human Detection with Flexible Mixtures of Parts,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 12, pp. 2878–2890, Dec. 2013, doi: 10.1109/TPAMI.2012.261. [^21]: A. Erol, G. Bebis, M. Nicolescu, R. D. Boyle, and X. Twombly, “Vision-based hand pose estimation: A review,” Computer Vision and Image Understanding, vol. 108, no. 1–2, pp. 52–73, Oct. 2007, doi: 10.1016/j.cviu.2006.10.012. [^22]: B. C. K. Ly, E. B. Dyer, J. L. Feig, A. L. Chien, and S. Del Bino, "Research Techniques Made Simple: Cutaneous Colorimetry: A Reliable Technique for Objective Skin Color Measurement," Journal of Investigative Dermatology, vol. 140, no. 1, pp. 3-12.e1, Jan. 2020, doi: 10.1016/j.jid.2019.11.003. [^23]: R. J. Cotton et al., “Markerless Motion Capture and Biomechanical Analysis Pipeline,” Mar. 2023, Accessed: Jan. 31, 2024. [Online]. Available: [^24]: G. An, S. Lee, M.-W. Seo, K. Yun, W.-S. Cheong, and S.-J. Kang, "Charuco Board-Based Omnidirectional Camera Calibration Method," Electronics, vol. 7, no. 12, p. 421, Dec. 2018, doi: 10.3390/electronics7120421. [^25]: P. Karashchuk et al., “Anipose: A toolkit for robust markerless 3D pose estimation,” Cell Reports, vol. 36, no. 13, p. 109730, Sep. 2021, doi: 10.1016/J.CELREP.2021.109730. [^26]: R. J. Cotton, “PosePipe: Open-Source Human Pose Estimation Pipeline for Clinical Research,” arXiv.org. Accessed: Feb. 04, 2024. [Online]. Available: [^27]: S. Ghorbani et al., “MoVi: A large multi-purpose human motion and video dataset,” PLOS ONE, vol. 16, no. 6, p. e0253157, Jun. 2021, doi: 10.1371/journal.pone.0253157. [^28]: I. Sarandi, A. Hermans, and B. Leibe, “Learning 3D Human Pose Estimation from Dozens of Datasets using a Geometry-Aware Autoencoder to Bridge Between Skeleton Formats,” Proceedings - 2023 IEEE Winter Conference on Applications of Computer Vision, WACV 2023，第2955–2965页，2022年12月，doi:10.1109/WACV56688.2023.00297。 [^29]: MMPose Contributors, “OpenMMLab Pose Estimation Toolbox and Benchmark.” Accessed: Apr. 13, 2025. [Online]. Available: [^30]: K. R. S. Holzbaur, W. M. Murray, and S. L. Delp, “A model of the upper extremity for simulating musculoskeletal surgery and analyzing neuromuscular control,” Annals of Biomedical Engineering, vol. 33, no. 6, pp. 829–840, Jun. 2005, doi: 10.1007/s10439-005-3320-7. [^31]: D. C. McFarland, B. I. Binder-Markey, J. A. Nichols, S. J. Wohlman, M. de Bruin, and W. M. Murray, “A Musculoskeletal Model of the Hand and Wrist Capable of Simulating Functional Tasks,” bioRxiv, p. 2021.12.28.474357, Dec. 2021, doi: 10.1101/2021.12.28.474357. [^32]: A. Seth et al., “OpenSim: Simulating musculoskeletal dynamics and neuromuscular control to study human and animal movement,” PLOS Computational Biology, vol. 14, no. 7, p. e1006223, Jul. 2018, doi: 10.1371/JOURNAL.PCBI.1006223. [^33]: K. Werling et al., “AddBiomechanics: Automating model scaling, inverse kinematics, and inverse dynamics from human motion data through sequential optimization,” bioRxiv, p. 2023.06.15.545116, Sep. 2023, doi: 10.1101/2023.06.15.545116. [^34]: R. Frostig, G. Brain, M. J. Johnson, and C. Leary Google, “Compiling machine learning programs via high-level tracing”, Accessed: Jun. 15, 2025. [Online]. Available: . [^35]: P. Kidger and C. Garcia, “Equinox: neural networks in JAX via callable PyTrees and filtered transformations,” Oct. 30, 2021, arXiv: arXiv:2111.00254. doi: 10.48550/arXiv.2111.00254. [^36]: C. D. Freeman, E. Frey, A. Raichuk, S. Girgin, I. Mordatch, and O. Bachem, “Brax -- A Differentiable Physics Engine for Large Scale Rigid Body Simulation,” Jun. 2021, Accessed: Feb. 02, 2024. [Online]. Available: [^37]: E. Todorov, T. Erez, and Y. Tassa, “MuJoCo: A physics engine for model-based control,” IEEE International Conference on Intelligent Robots and Systems, pp. 5026–5033, 2012, doi:10.1109/IROS.2012.6386109. [^38]: A. Ikkala and P. Hämäläinen, “Converting Biomechanical Models from OpenSim to MuJoCo,” Biosystems and Biorobotics, vol. 28, pp. 277–281, Jun. 2020, doi: 10.1007/978-3-030-70316-5_45. [^39]: I. Loshchilov and F. Hutter, “Decoupled Weight Decay Regularization,” 7th International Conference on Learning Representations, ICLR 2019, Nov. 2017, Accessed: Feb. 04, 2024. [Online]. Available: [^40]: S. K. Roy, L. Citraro, S. Honari, and P. Fua, “On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation,” in 2022 International Conference on 3D Vision (3DV), Prague, Czech Republic: IEEE, Sep. 2022, pp. 1–10. doi:10.1109/3DV57658.2022.00068. [^41]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. J. Argus, and T. Brox, "FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images," Proceedings of the IEEE International Conference on Computer Vision, vol. 2019-Octob, pp. 813–822, Sep. 2019, doi: 10.1109/ICCV.2019.00090. [^42]: S. Jin et al., “Whole-Body Human Pose Estimation in the Wild,” in Computer Vision – ECCV 2020, A. Vedaldi, H. Bischof, T. Brox, and J.-M. Frahm, Eds., in Lecture Notes in Computer Science. Cham: Springer International Publishing, 2020, pp. 196–214. doi:10.1007/978-3-030-58545-7_12. [^43]: Y. Wang, C. Peng, and Y. Liu, “Mask-Pose Cascaded CNN for 2D Hand Pose Estimation From Single Color Image,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 29, no. 11, pp. 3258–3268, Nov. 2019, doi: 10.1109/TCSVT.2018.2879980. [^44]: C. Zimmermann and T. Brox, “Learning to Estimate 3D Hand Pose from Single RGB Images,” Proceedings of the IEEE International Conference on Computer Vision, vol. 2017-Octob, pp. 4913–4921, May 2017, doi: 10.1109/ICCV.2017.525. [^45]: H. S. Fang et al., “AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 6, pp. 7157–7173, Nov. 2022, doi: 10.1109/TPAMI.2022.3222784. ## [^46]: T. K. Uchida and A. Seth, “Conclusion or Illusion: Quantifying Uncertainty in Inverse Analyses From Marker-Based Motion Capture due to Errors in Marker Registration and Model Scaling,” Front. Bioeng. Biotechnol., vol. 10, p. 874725, May 2022, doi: 10.3389/fbioe.2022.874725 --- [^47]: H. Kainz, C. P. Carty, S. Maine, H. P. J. Walsh, D. G. Lloyd, and L. Modenese, “Effects of hip joint centre mislocation on gait kinematics of children with cerebral palsy calculated using patient-specific direct and inverse kinematic models,” 2017, doi: 10.1016/j.gaitpost.2017.06.002. [^48]: L. Needham et al., “The development and evaluation of a fully automated markerless motion capture workflow,” Journal of Biomechanics, vol. 144, p. 111338, Nov. 2022, doi:10.1016/J.JBIOMECH.2022.111338. [^49]: X. Yang et al., “SAM 3D Body: Robust Full-Body Human Mesh Recovery,” Feb. 17, 2026, arXiv: arXiv:2602.15989. doi:10.48550/arXiv.2602.15989. [^50]: R. J. Cotton, P. Firouzabadi, and W. Murray, “Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models,” May 10, 2026, arXiv:2605.09258. doi:10.48550/arXiv.2605.09258.