{
  "paper_id": "2e75559dfe9a211e366d13097df8c0fa",
  "paper_title": "Grasp-and-Lift: Executable 3D Hand-Object Interaction Reconstruction via Physics-in-the-Loop Optimization",
  "paper_authors": [
    "Byeonggyeol Choi",
    "Woojin Oh",
    "Jongwoo Lim"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "现有 DexYCB、HO3D 等大规模手部操作数据集主要追求视觉对齐，其轨迹在物理模拟器中复现时经常出现穿透、漏接触和抓取不稳定等问题。论文提出一种仿真在环精修框架，将视觉对齐轨迹转化为物理可执行轨迹。核心是把该任务建模为可处理的黑盒优化问题：用基于稀疏时间关键帧的低维样条表示手部运动，并通过 CMA-ES 将高保真物理引擎视为黑盒目标函数，在最大化稳定抓取和提升等物理成功率的同时，最小化与原始人类演示的偏差。相比 MANIPTRANS 等近期迁移流程，该方法在复现时取得更低的手部和物体位姿误差，更准确地恢复手部-物体物理交互，并且无需传感器即可生成接触位置与 6 维接触力，从而为鲁棒策略学习提供高保真数据。\n",
  "keywords": [
    "物理在环优化",
    "手部-物体交互",
    "可执行轨迹重建",
    "黑盒优化",
    "CMA-ES",
    "MuJoCo",
    "MANO",
    "接触力估计",
    "DexYCB"
  ],
  "paper_institutions": [
    "ME, Seoul National University",
    "IPAI, Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:22.976774Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对 DexYCB、HO3D 等视觉标注数据集在物理模拟器中复现时产生穿透、漏接触、抓取失稳和物体运动偏离演示的“视觉—物理失配”问题；相关研究虽可通过力/力矩传感器或传感手套获取物理真值，但存在成本高、佩戴侵入、标记遮挡、校准漂移和难以规模化等限制。作者提出 real-to-sim 仿真在环精修框架，把轨迹重建转化为基于控制的黑盒优化：只优化手部关节控制量，不直接规定物体位姿，物体运动由模拟器中的接触和力动态产生；手部控制采用 MANO 前 10 个 PCA 系数加腕部 SO(3) 旋转的低维表示，每 5 帧设置一个关键帧并以三次样条插值中间帧，再用包含 4 个连续关键帧的滑动窗口固定过去两帧和未来一帧、仅优化第三帧，从而降低维度、抑制抖动并保持长程序列一致性。核心机制是最小化序列级损失 L(u_hand)=Σ_t[λ_op L_obj-pose+λ_ov L_obj-vel+λ_hj L_hand-joint+λ_ct L_contact+λ_hc L_hand-cons+λ_hv L_hand-vel]，其中物体位姿项用旋转测地距离和平移 L2 距离跟踪视觉参考轨迹，速度项保证动态一致，手部关节项对指尖加权，接触项引导指尖到达物体局部接触点，正则项维持控制平滑与速度稳定；由于接触出现/消失和摩擦模式切换使目标分段光滑且不可微，方法选用无需梯度、抗不连续性和仿真噪声的 CMA-ES，并在接触求解快速稳定且可查询接触位置、法向和 6 维力旋量的 MuJoCo 中实现。主实验使用 DexYCB 中精心构建的 120 条序列，涵盖 3 名受试者、20 个 YCB 物体和多种抓取类型，序列为 30 fps、60–70 帧并剔除前 10 帧，以检验在有噪声视觉位姿估计和不同物体几何下的泛化能力；物体质量采用 DexYCB 官方规格，MuJoCo 以 240 Hz 固定步长运行，基线使用 MANIPTRANS 官方实现和自定义 DexYCB 加载器，基线按每序列 100 次 rollout 且仅统计成功 rollout，本文确定性方法每序列只优化一次。评价指标包括物体平移误差 E_t、旋转误差 E_r、手部平均关节位置误差 E_j、指尖位置误差 E_ft、基于 E_r>30° 或 E_t>3 cm 等阈值的成功率 SR 和总优化时间；总体上本文方法平均耗时 556.95 秒，显著快于 MANIPTRANS 的 1986.91 秒，并将 E_t 从 0.93 cm 降至 0.67 cm、E_r 从 8.50° 降至 2.97°、E_j 从 2.06 cm 降至 1.55 cm、E_ft 从 1.87 cm 降至 1.84 cm，SR 从 45.93% 提升至 71.67%，支持了低维样条参数化、黑盒物理优化和稳定接触重建两项关键创新。按物体统计的平均结果也显示本文方法以 572.29 秒对 1823.51 秒获得 E_t 0.48 cm、E_r 2.01°、E_j 1.04 cm、E_ft 1.25 cm 和 64.58% SR；在 30 条 Subject-1 全成功序列上的消融中，完整模型取得 529.80 秒、E_t 0.43 cm、E_r 1.99°、E_j 0.47 cm、E_ft 0.59 cm 和 100% SR，去除物体速度损失后分别变为 688.07 秒、0.53 cm、2.08°、0.88 cm、1.02 cm 和 96.78%，去除手部关节位置损失后变为 619.51 秒、0.73 cm、2.18°、1.40 cm、1.94 cm 和 93.33%，证明速度项提供帧间动态先验、手部关键点提供接近和支撑物体的视觉先验。该方法还能作为副产品恢复逐帧接触位置、法向和显式 6 维接触力旋量，适用于抓取提升、按压稳定等接触丰富任务，并可为接触感知策略学习、抓取稳定性分析和力估计提供监督；补充实验在 60 Hz 的 OakInk-V2 上把关键帧间隔调整为 10，并对双手任务使用独立 CMA-ES，验证了方法对动作捕捉演示和双手场景的适应性，但优化时间随帧数线性增长。当前方法是离线、逐序列过程，依赖准确刚体网格和质量、较可靠的物体位姿跟踪，固定尺度 Arti-MANO 与真实受试者之间存在手指长度等形态差距，大重建误差、可变形物体、复杂接触图、不同机器人本体和双手规模化仍具挑战；未来可据此构建大规模接触标注数据集，并扩展到双手、机器人 embodiment、手中操作和工具使用等真实场景。\n\n### 关键要点\n\n- 方法只优化手部控制参数，不直接优化或预设物体轨迹，物体在 MuJoCo 中的运动由手部接触力和物理动力学自然产生。\n- 手部姿态由 MANO 前 10 个 PCA 系数和腕部 SO(3) 旋转参数化，并解码为约 45 个铰接自由度的 Arti-MANO，以降低搜索维度并保持解剖合理性。\n- 时间上每 5 帧选取一个关键帧，中间帧由三次样条插值生成，从而减少自由变量、保证低抖动并增强手腕和手指运动的平滑性。\n- 完整长序列采用 4 关键帧滑动窗口，固定前两个“过去”关键帧和一个“未来”关键帧，仅优化第三个关键帧，然后逐帧滑动传播解。\n- 选择 CMA-ES 是因为接触出现/消失和摩擦模式切换导致目标不可微，该零阶优化器不需要动力学梯度且对不连续性和仿真噪声更鲁棒。\n- 选择 MuJoCo 是因为其刚体接触求解快速稳定，并支持显式查询双侧接触位置、法向以及 6 维接触力旋量。\n- 目标函数由物体位姿、物体速度、手部 3D 关节位置、指尖接触距离、手部控制一致性和手部身体速度六类损失加权组成。\n- 主实验集包含 DexYCB 的 120 条序列，覆盖 3 名受试者、20 个 YCB 物体和多种抓取类型，每条序列为 30 fps、60–70 帧并剔除前 10 帧。\n- 与 MANIPTRANS 相比，本文方法平均优化时间从 1986.91 秒降至 556.95 秒，成功率从 45.93% 提升至 71.67%，且物体平移、旋转和手部关节误差整体更低。\n- 消融实验表明，去除物体速度损失会增加抖动、延迟和僵硬运动，去除手部关节位置损失则会产生不自然手型并显著降低稳定性和成功率。\n- 物理精修消除了原始视觉轨迹中的指尖悬浮和手物穿透，并可逐帧生成时间对齐的接触位置、法向、力大小和 6 维力旋量。\n- 当前框架离线运行且要求准确刚体几何、质量参数和较可靠物体位姿，对可变形物体、严重重建误差、形态差距和复杂双手接触图仍有限制。"
}