{
  "paper_id": "7f65f22404eeca3300e057f60a96cdb2",
  "paper_title": "Biomechanics-aware Multi-view Markerless Motion Capture of Dexterous Hand Movements",
  "paper_authors": [
    "Pouyan Firouzabadi",
    "J.D. Peiffer",
    "Kunal Shah",
    "Anton Sobinov",
    "Lee E. Miller",
    "R. James Cotton",
    "Wendy M. Murray"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "无标记动作捕捉技术已广泛服务于人体运动的生物力学分析，但其在手部复杂运动中的应用落后于其他肌肉骨骼系统。本研究旨在评估一种基于梯度优化、并将生物力学模型置于优化回路中的重建方法，以利用无标记动作捕捉追踪灵巧且无约束的手部运动。研究使用定制的8相机系统，采集6名参与者完成11类任务的121段视频，任务涵盖6种手部姿势、5种物体操作，并包含近端上肢关节运动。所提出的无标记流程与常见两阶段重建方法直接比较：后者先将计算机视觉姿态估计算法得到的二维关键点三角化为三维，再通过约束逆运动学施加生物力学约束。性能通过视觉检查和计算机视觉指标进行定性与定量评估。结果显示，本文方法为全部121段视频生成了解，而两阶段方法在15%的视频中未收敛；在其余视频中，本文方法生成了更具生物力学合理性的手部运动学结果，并在涉及物体的任务中对遮挡更鲁棒。端到端方法的相对鲁棒性表明其能更有效地利用可用的二维数字关键点信息。该方法有望支持临床评估、康复监测和人类运动控制研究。\n",
  "keywords": [
    "生物力学",
    "深度学习",
    "手部运动学",
    "运动分析",
    "多相机系统",
    "姿态估计",
    "重建算法"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:57.642537Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对无标记动作捕捉在手部复杂运动中落后于其他肌肉骨骼系统、数字关键点逐帧独立识别易产生解剖学不一致，而指骨短小、物体遮挡和近端上肢运动又会放大误差的问题，本文评估并验证了一种单阶段端到端生物力学重建方法；相关研究多采用先三角化二维关键点、再通过约束逆运动学施加生物力学约束的两阶段流程，本文则让多层感知机由时间t输出关节角θ(t)，经可微生物力学模型正运动学得到三维虚拟标记点x_t,k并投影到相机c，核心匹配机制为δ(t,k,c)=||Π_c(x_t,k)−y_t,k,c||，同时以关节越界正则和虚拟标记点偏移L2正则保证生理合理性。实验使用8台FLIR BlackFly S GigE RGB相机，以2048×1536分辨率、30 fps和IEEE1558同步采集，并用ChAruCo板与anipose标定；6名健康右利手参与者完成6种ASL字母姿势、网球/瓶子/圆盘抓握、钥匙捏和饮水等11类任务，共121段视频，这种设置用于覆盖静态姿势、功能抓握、物体遮挡及前臂、肘、肩运动，验证无约束灵巧手追踪能力。二维处理先用MeTRAbs-ACAE的MoVi关键点定位上肢并裁剪右手，再用RTMPose识别21个手部关键点，似然度低于0.25者剔除；两种方法共用28个虚拟标记点、21自由度手与7自由度上肢模型并增加6个胸廓全局自由度。端到端流程基于Jax、Equinox和MuJoCo-MJX，采用七层MLP与AdamW，联合优化40000次，同时拟合各录像关节轨迹、6项节段缩放和28个标记点偏移；两阶段方法则进行鲁棒三角化、5点中值滤波，并用OpenSim求解约束逆运动学。评估指标包括收敛率、方法间关节角绝对均差、ASL字母B全伸姿态的混合效应模型，以及仅纳入RTMPose似然度大于0.5关键点、阈值为10像素的PCK。结果端到端方法对全部121段视频收敛，两阶段方法18段未收敛，占15%；在可直接比较的103段中，两法关节角平均相差12.1°±8.8°，远端关节差异达20°至27°，字母B任务中两阶段法DIP关节屈曲偏差为29.4°±2.4°，端到端法仅约1°±1°，且端到端法MCP关节13°±3°的屈曲更符合真实姿势；物体交互任务中两阶段法PCK显著降低，方法与任务范式交互效应p<0.001，说明端到端法更能利用多视角二维信息并抑制误差沿运动链传播。该研究的主要约束是缺乏标记式三维真值、PCK仍依赖同一姿态估计关键点、样本仅为6名健康右手参与者；未来可接入更强的姿态检测器、密集手部表面或基础模型、扩展双手模型与多样人群，并在临床评估、康复监测、辅助技术和运动控制研究中部署，同时仍需解决相机标定、严重遮挡、个体化缩放和计算优化等实际限制。\n\n### 关键要点\n\n- 数据来自6名健康右利手参与者的121段视频，包含6种ASL姿势、3种物体抓握、钥匙捏和饮水共11类任务。\n- 采集系统由8台FLIR BlackFly S相机组成，图像分辨率为2048×1536，采样率为30 fps，并通过IEEE1558实现同步。\n- 标定采用7×5、间距110毫米的ChAruCo板，内外参数由anipose估计，以支持二维图像平面与三维空间之间的转换。\n- 上肢关键点由MeTRAbs-ACAE的MoVi关键点集识别，右手边界框据此确定，框内再由RTMPose输出21个手部关键点。\n- 两种重建方法均使用28个虚拟标记点，并共用21自由度手部模型、7自由度上肢模型及6个胸廓全局自由度。\n- 端到端方法用MLP将时间映射为关节角，经正运动学和相机投影直接匹配全部视角的二维关键点，并联合优化模型缩放与标记点偏移。\n- 端到端训练采用重投影损失、关节约束正则和标记点偏移L2正则，在A6000 GPU上对同次访问录像并行优化40000次。\n- 两阶段方法先对8个视角的二维关键点做鲁棒三角化和5点中值滤波，再在OpenSim中求解约束逆运动学。\n- 端到端方法对全部121段视频收敛，而两阶段方法有18段未收敛，失败比例为15%。\n- 在103段可比较视频中，两法关节角平均绝对差为12.1°±8.8°，远端指关节差异最大，可达20°至27°。\n- ASL字母B任务中，两阶段法DIP关节表现出29.4°±2.4°的额外屈曲，端到端法偏差约1°±1°，更接近手指完全伸展。\n- 物体交互时两阶段法PCK显著下降，方法与任务范式的交互效应p<0.001，表明端到端法对遮挡更鲁棒。"
}