{
  "paper_id": "bbc5a5114515b85f40ebd919e71a5498",
  "paper_title": "Uni-Hand: Universal Hand Motion Forecasting in Egocentric Views",
  "paper_authors": [
    "Junyi Ma",
    "Wentao Bao",
    "Jingyi Xu",
    "Guanzhong Sun",
    "Yu Zheng",
    "Erhang Zhang",
    "Xieyuanli Chen",
    "Hesheng Wang"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Pattern Analysis and Machine Intelligence",
  "abstract": "预测第一视角下的人手运动对增强现实、人机策略迁移以及服务与辅助技术至关重要。近期手部轨迹预测方法虽能生成未来可能的手部路径点，但仍存在预测目标不足、固有模态鸿沟、手—头运动耦合以及下游任务验证有限等问题。为此，本文提出 Uni-Hand，这是一个支持多模态输入、多维度与多目标预测，并面向下游应用提供多任务可供性的通用手部运动预测框架。该框架通过视觉—语言融合、全局上下文引入和任务感知文本嵌入注入来协调多种模态，从而预测二维和三维空间中的手部路径点。文中提出新颖的双分支扩散模型，同时预测头部和手部运动，以捕捉第一视角视觉中的运动协同；通过引入目标指示器，模型除预测广泛研究的手部中心点外，还可预测手腕或手指的特定关节路径点。此外，Uni-Hand 还能预测手物交互状态（接触/分离），以更好地支持下游任务。为整合文献中对下游任务的综合评估，作者构建了新的基准以衡量手部运动预测算法的真实适用性。在多个公开数据集和新提出基准上的实验结果表明，Uni-Hand 在多维度、多目标手部运动预测中达到最先进性能；在多个下游任务中的大量验证也展示了其出色的人机策略迁移能力，可支持机器人操作，并能有效增强动作预判与动作识别特征。\n",
  "keywords": [
    "手部运动预测",
    "手部轨迹预测",
    "第一视角视觉",
    "扩散模型"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "Michigan State University",
    "China University of Mining and Technology",
    "National University of Defense Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:50.133323Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对第一视角手部运动预测中预测目标粗糙、2D 视觉与 3D/语言模态割裂、未来头部运动未被显式建模以及下游任务验证不足等问题，提出通用框架 Uni-Hand。相关方法如 OCT、Diff-IP2D、EMAG、MADiff 和 USST 主要预测手部边界框中心，难以表达手指、手腕姿态和手物接触时机；Uni-Hand 则接收 2D RGB、3D 点云、历史手部路径点和文本提示，利用 GLIP 视觉语言融合、CLIP 任务文本编码、one-hot 目标指示器和体素编码器构建多模态特征，并通过双分支扩散同时预测未来相机自运动潜变量与手部运动潜变量。其核心机制是：自运动预测扩散采用轻量 Mamba，手部运动预测扩散采用混合 Mamba-Transformer 模块，其中运动感知 Mamba 通过 Motion-Driven Selective Scan 融合时序自运动，结构感知 Transformer 以体素块为键值进行交叉注意，任务感知 Transformer 在任务已知时持续注入文本嵌入；最终由轨迹解码器和交互状态解码器输出 2D/3D 路径点及接触/分离序列，训练目标可概括为 L_total = λ_em^VLB L_em^VLB + λ_hm^VLB L_hm^VLB + λ_dis L_dis + λ_angle L_angle + λ_reg L_reg + λ_int L_int。实验使用 EgoPAT3D-DT、H2O-PT、HOT3D-Clips、Ego4D、Epic-Kitchens-55 五个公开数据集，以及低成本自录 CABH 和真实机器人 HAT 基准，分别覆盖可见/未见场景、小样本、有限观测、日常动作、自动标注和真机策略迁移，以验证基础预测能力与实际可供性。评价采用 ADE、FDE、关节平均 ADE/FDE、接触状态 MAE、机器人成功率和 Top-5 动作准确率；Uni-Hand 在多数指标上达到 SOTA，例如 EgoPAT3D-DT seen 3D ADE/FDE 为 0.170/0.336，Ego4D 为 0.176/0.193，CABH-E 为 0.038/0.046，HAT 中推动、抓取放置、高难抓取、语言条件抓取和长时任务成功率分别为 100%、90%、80%、80% 和 20%，并提升 RU-LSTM 的动作预判、早期识别和识别精度。这些结果支持了多模态融合、未来头部条件、目标指示和文本注入的有效性；其适用场景包括增强现实、可穿戴辅助、机器人操作和人类行为理解，但 HAT 中仅用首帧、固定基座使单应矩阵为单位阵、机器人规划需增加去噪步数、任务未知时不启用 TAT、长时任务成功率仍有限，未来可引入触觉传感以支持富接触的人机策略迁移。\n\n### 关键要点\n\n- Uni-Hand 是一个同时支持 2D/3D、手部中心与多关节、手物交互状态预测的通用第一视角手部运动预测框架。\n- 框架输入包括 RGB 图像、3D 点云、历史手部路径点和文本提示，以弥补仅依赖 2D 视频造成的几何与语言模态鸿沟。\n- 目标指示器由 one-hot 嵌入构成，使同一扩散去噪过程能够区分手部中心、手腕和不同手指关节。\n- 双分支扩散由 EMF 扩散和 HMF 扩散组成，并发生成未来头部相机自运动潜变量和手部运动潜变量。\n- 混合 Mamba-Transformer 模块结合 EAM 的时序建模、SAT 的 3D 体素全局上下文和 TAT 的任务文本交叉注意。\n- 交互状态解码器以二分类方式预测手物接触与分离，使模型不仅回答“移动到哪里”，也回答“何时抓取或释放”。\n- 公开数据集涵盖 EgoPAT3D-DT、H2O-PT、HOT3D-Clips、Ego4D 和 Epic-Kitchens-55，可检验不同空间、场景和动作设置下的泛化能力。\n- CABH 基准包含 1200 段 RealSense 采集视频和三项手物任务，并使用 Grounded SAM、HaMeR 与深度信息完成低成本自动标注。\n- HAT 基准在 ALOHA 平台上定义推动、抓取放置、高难叠块、语言条件抓取和长时抓取放置五类真机任务。\n- 在手部中心和多关节预测中，Uni-Hand 的 ADE/FDE 普遍低于 USST、Diff-IP、EMAG、MADiff 和 S-Mamba 等基线。\n- 真机实验中，预测 3D 轨迹用于末端执行器跟踪，预测接触状态用于开合夹爪，验证了从人类演示到机器人操作的策略迁移能力。\n- Uni-Hand 不是独立动作识别模型，但其手部潜变量可直接加入 RU-LSTM，从而增强动作预判、早期动作识别和完整动作识别。"
}