# HOH：包含大量物体的无标记多模态人机物交接数据集 诺亚·维德霍尔德 克拉克森大学 艾娃·梅杰里 克拉克森大学 迪马乔·巴黎 克拉克森大学 肖恩·班纳吉 克拉克森大学 娜塔莎·科尔加德·班纳吉 克拉克森大学 ![Image](images/9b4af06ca4fd4536d51308627bbcdf5d35d6d02d0f615aedab2bcb1754a7c294.jpg) 图1：HOH是一个无标记的3D多模态人机交接数据集，包含136个物体和20对参与者，其中40次实验涉及角色互换。图中展示了来自4台Kinect相机的上半身3D点云、递送者（粉色）与接收者（黄色）的手部模型，以及上色处理的物体模型；这些数据涵盖了交接过程的不同时间点、不同参与者组合及不同物体。该数据集体现了物体几何形状、参与者姿势、交互方式及抓握类型的多样性。图中展示的是坐姿为右侧的递送者，数据集也包含坐姿为左侧的递送者相关样本。 ## 摘要 我们推出了HOH（人机物交接）数据集，该数据集包含136个物体，旨在推动基于数据的交接研究、人机交接系统实现，以及利用2D和3D双人交互数据开展交接参数估计的人工智能（AI）研究。HOH包含了多视角RGB图像与深度数据、人体骨骼信息、融合点云、抓握类型与惯用手标签、物体、递送者手部及接收者手部的2D与3D分割结果、递送者与接收者的舒适度评分，还有配对物体元数据及对齐后的3D模型；共收录了2720次交接交互数据，涉及136个物体和20对递送者-接收者组合——其中40次实验涉及角色互换，这些样本由40名参与者提供。我们还展示了利用HOH训练的神经网络在抓握方式、物体朝向及运动轨迹预测方面的实验结果。作为唯一一个完全无标记的交接动作采集数据集，HOH能够反映自然的人机交接过程，解决了有标记数据集需要专门适配身体追踪设备、且无法实现高精度手部追踪的问题。就物体数量、参与者数量、考虑角色互换因素后的参与者对数以及捕获的交互总数而言，HOH是目前规模最大的交接数据集。 --- ## 1 引言 人与人之间的物体交接是一个复杂过程，并因其在协作操作中促成流畅人机交互（HRI）的作用而受到深入研究。研究者考察了交接背后的一系列参数，包括物理因素，如握力 [^40] [^16] [^20] [^19] [^31]、人际距离 [^4] [^27]、物体朝向 [^14] [^15]、物体质量 [^27]、手部运动 [^48] [^46] 和反应时 [^23]；也包括认知参数，如交接者/接收者的意图沟通 [^38]、面向共同目标的注视变化与联合注意 [^50] [^42] [^55]、运动适应 [^28] 以及可供性偏好 [^18]。对这些参数的研究催生了大量关于数据驱动的人机交接交互的工作 [^44] [^36] [^30]，并显示出基于学习预测交接参数（如接收者抓取 [^54]）的潜力。鉴于交接通常具有非言语属性，且共同目标的成功依赖于人际协调 [^33]，认知科学界 [^33] 对理解“一次交接传达了什么” [^6] 抱有浓厚兴趣，例如运动学对社会意图的敏感性 [^5]、短程交接轨迹可能具有的个体差异性 [^6]，以及人际协调。交接研究也具有社会层面的益处，即提供能够参与以患者为中心的照护并兼顾生产效率协作的机器人。 人与人的交接研究的大规模推广面临两大挑战。第一个挑战是：迄今为止，相关研究使用的物体数量较少，通常为2-5个，少数研究用到10-20个 [^15] [^13] [^35]，目前最多不超过30个 [^54]。考虑到机器人在消费场景中可能接触的物体种类繁多——工具、厨房用具、容器、玩具、水果、浴室用品、办公用品以及电子产品等等——若不充分研究物体属性（如大小、形状、质量、功能，以及是否存在凸起或可供性特征）的差异所产生的影响，就无法将基于少量物体得出的物理与认知参数结论推广到现实场景中的物体上。 第二个挑战是：公开可用的数据集 [^15] [^13] [^31] [^35] 不仅数量稀少且物体数量有限，而且采用的是基于标记的动作捕捉技术，仅在手腕处设置一个标记，在物体上设置1-5个标记。基于标记的全身动作捕捉存在诸多已知局限，比如需要穿着紧身服导致服装多样性受限，且无法获取高分辨率的手部几何结构与物体细节，因而难以分析抓取与物体传递过程中的空间可供性 [^18]，也就无法保障人机交接的安全性。虽然已有研究者尝试利用公开数据集来开发类人机器人控制器 [^36] [^21] [^30]，并证明了其价值。但受限于这种标记化的实验设置以及少量的物体数量，这些成果难以用于研究自然交接的参数，也难以用于开发依赖大量多样化数据支持的机器人学习算法。 我们贡献了HOH（Human-Object-Human）数据集，这是首个无需标记、包含大量物体的多人物品传递数据集，现已公开提供。HOH包含了由40名参与者组成的20对角色互换的传递者-接收者配对所进行的2,720次互动，涉及总计136个物体——其中116个为市售商品，20个为3D打印物体——涵盖17种形态/功能类别以及8种日常使用类型。我们采用无标记方式来捕捉自然状态下的真实世界动作和衣物细节。我们使用由4台帧率为30FPS的Kinect RGB-D传感器和4台帧率为60FPS的FLIR Point Grey摄像头组成的多摄像头系统，来进行$360^{\circ}$去中心化（非身体佩戴式）的人与人之间物品传递捕捉。我们还记录了传递后传递者和接收者对舒适度的感知情况。我们在HOH中做出了以下贡献。 1. 来自20对参与者的2,720次物品传递过程的Kinect深度视频；以及来自同意公开可识别彩色（IC）数据的18对参与者的2,448次物品传递过程的Kinect和Point Grey彩色视频。 2. 关键事件的手动标注结果：包括传递者首次抓取物体、物体转移以及接收者最后接触的时刻；借助Segment Anything Model（SAM）[^32]辅助生成的传递者手部、物体及接收者手部掩码；以及根据Cini等人的分类法[^18]确定的物体转移时的传递者和接收者用手习惯及抓握类型。 3. 经过处理的数据，包括完整的$360^{\circ}$点云（针对IC配对进行了颜色映射）、OpenPose [^12]骨骼数据、追踪到的手部和物体掩码，以及从首次关键事件帧到最后一次关键事件帧期间所有2,720次互动中的带颜色映射的手部和物体点云。 4. 每次互动中所用物体的相关信息，包括质量、类别、分类以及3D模型。 5. 从首次关键事件帧到最后一次关键事件帧期间，物体3D模型与各帧的精确对齐结果，从而提供物体6DOF姿态的基准真值。 6. 关于物体、运动轨迹及抓握特性的分析结果。 7. 利用物体点云预测传递者抓握方式和转移方向，以及利用物体和传递者数据预测接收者抓握方式和运动轨迹的神经网络实验结果。 --- 预期应用场景。该数据集有助于针对各类物体的人与人交接互动展开研究，从而为认知心理学及人机交接领域的研究提供参考。该数据集能够用于分析诸多参数，例如传递者与接收者的运动学特征、物体运动情况、为实现共同目标而进行的传递者/接收者手部及上半身协调动作、抓取类型、多人用手习惯以及关键事件的时间点等。相关研究可涵盖对各参数的统计分析、参数间的关系探究，以及与物体几何形状、参与者人口统计特征和主观舒适度评分等因素相关的关系分析。在人机交互领域采用无标记点的3D捕捉技术的优势在于，能够开发出基于学习的算法，从而指导配备RGB-D传感器的机械臂估算最佳抓取位置，进而利用从RGD-D数据反投影得到的点云实现安全的人机交接。机器人传递者可以借鉴人类传递者的行为模式，了解应优先在何处握住物体、传递过程中如何移动，以及在交接点应如何调整物体方向以便交给接收者。机器人接收者则能依据人类接收者的行为，学会如何抓住传递者递来的物体，以及应在空间中沿何种轨迹移动才能确保自身安全。由于该数据集包含了完整的上半身捕捉数据及相应的骨骼估计信息，因此可用于研究手部与身体关节活动、交接过程中不同关键点的头部姿势和目光朝向之间的关系。这些分析的开展源于此前的人机交接实践成果[^28] [^36] [^30] [^42] [^55] [^48] [^46]，以及基于类似的小尺寸物体集的人与人交接研究的认知成果[^5] [^6]。对传递者与接收者同时产生的舒适感的研究，有望帮助理解二者之间的协调性，进而促进对实现共同目标所需的人际协作机制的研究[^34]。 ## 2 相关工作 人与人交接数据集。据我们所知，目前共有4个公开可用的人与人交接数据集[^13] [^15] [^31] [^35]。如第1节所述，这些数据集存在物体数量有限、数据分辨率低，且因采用标记点动作捕捉技术而导致交互场景不自然等问题。Khanna等人[^31]专注于握力测量，他们使用一根装有单个无重量及有重量力传感器的棒状物来采集动作捕捉数据。这类数据无法用于分析交接过程对物体几何形状的依赖关系。Carfi等人[^13]与Kshirsagar等人[^35]分别提供了来自1个和2个视角的RGB-D数据。由于Kinect的视野范围限制，少于4个视角便不足以覆盖完整的$360^{\circ}$区域，比如无法捕捉到相机视野外的手-物体表面。尽管Chan等人[^15]提供了来自其Vicon摄像机的原始彩色数据，但他们使用了8个视角，却缺少深度数据；且实验设置中参与者需穿着黑色连体服。视角数量少、缺乏纹理信息且拍摄距离较远，这些因素使得利用多视角立体成像技术进行3D重建难以取得成功。他们的彩色数据采用专有的Vicon格式，需购买许可证才能使用。 我们发现了另外两组尚未公开的多物体数据集[^18] [^54]。Cini等人[^18]通过在手背和物体上粘贴红外反射器来记录动作捕捉数据，并针对每次交互拍摄一段视频，以此开展抓取分类分析。他们的数据与公开数据集存在类似的问题。Ye等人[^54]则利用每只手上的6个磁性标记物（5个位于指尖，1个位于手腕）以及物体上的3个光学标记物来获取动作捕捉数据，同时采用5台帧率为30FPS的离心式摄像头采集RGB-D视频。他们还提供了用于手-物体姿态估计以及基于给予者条件的接收者姿态预测的深度网络模型。这种5个指尖的捕捉方式比其他数据集能提供更精细的细节，但缺少指关节的活动信息。虽然RGB-D摄像头能提供高密度的细节，但磁性传感器的线缆会遮挡手背。此外，RGB-D视图中缺少面部和上身数据，而这些数据对于分析视线方向[^42] [^21]及手臂伸展情况至关重要。为了确保能够全面捕捉自然抓取动作与物体结构，我们采用了无标记物的离心式采集方案，对两名参与者的上半身进行$360^{\circ}$范围的覆盖。 我们在表1中总结了多物体数据集与HOH相比的关键特性。就物体数量、招募的参与者人数、包含角色互换（RR）的配对数量（与非公开的H2O数据集相当），以及摄像头数量而言，HOH是规模最大的多物体数据集（其摄像头数量与Chan等人[^15]的研究中的数量一致）。我们数据集中的物体数量为136个，这一数值是$6.8 \times$仅次于Chan等人所研究的公开数据集中物体数量的。在HOH中，有10对参与者（其中20个涉及角色互换）会与68个物体互动；另外10对参与者（同样涉及角色互换）则会与另一组共68个物体互动，从而实现对同一物体集的多配对互动，其物体数量与Chan等人研究中的数量相当$3.4 \times$。HOH是唯一一个能同时获取给予者和接收者舒适度评分的数据集。 手-物体数据集。在基于抓取的手-物体交互方面，人与人之间的物品传递与近期大量关于手-物体交互的研究具有相似之处，这些研究主要聚焦于…… ---
Table 1: Comparison of HOH (last column) versus prior multi-object human-human handover datasets. RR = role reversal, i.e., giver becomes receiver and vice versa, and is only applicable for some datasets. SB = Single-blind (*experimenter is one participant), DB = Double-blind (both participants are recruited). †from Vicon X2D. **Obtained by placing markers on object, rather than by model alignment.
Cini [^18]Chan [^15]Carfi [^13]Kshirsagar [^35]H2O [^54]HOH (Ours)
SBDBBiman.Uniman.
# Interactions1,7341,2007992882401201,200
# Objects17203710530
# Participants34201818242415
# Pairs171018 $^{{*}}$9121240
# Pairs with RR171036 $^{{*}}$18242440
# Cameras1811225
Markerless?✗✗✗✗✗✗✗
Ratings?✗✗✓✗✗✗✗
Color?✓✓ $^{{\dagger}}$✓✓✓✓✓
Depth?✗✗✗✗✓✓✓
Point Clouds?✗✗✗✗✗✗✓
3D Object Model?✗✗✗✗✗✓✓
6DOF Object Pose?✗✓ $^{{**}}$✗✗✓ $^{{**}}$✓ $^{{**}}$✓ $^{{**}}$
Public?✓✓✓✓✓✗✓
例如，在手部与物体相互遮挡的情况下，利用人工智能技术进行手部与物体姿态估计，甚至确定机器人安全抓取的位置 [^17]。近期有大量研究致力于收集单人手部与物体交互的数据集 [^56] [^9] [^51] [^17] [^8] [^29] [^39] [^25] [^37] [^26] [^49] [^22]。即便来自单人手部与物体交互数据集的人工智能算法及研究成果涉及双手操作，也无法直接应用于两人之间的物品交接场景。参与者之间的差异会导致手部几何形状与外观的不同，两类交互场景下的空间运动学特征也存在差异。在物品交接过程中，手部在伸展和传递阶段可能会移动较大距离，这使得以自我为中心的采集设置 [^37] [^39] 因视野受限而难以实施。单人双手交互中，左右手的运动呈镜像关系；由于右利手人群占多数，在物品从递送者传递到接收者的阶段，单手交互很可能会表现为非镜像的右手对右手交互。基于这些考量，有必要构建像HOH这样的专属物品交接数据集，在该数据集中超过75%的交互均使用非镜像的手部组合。HOH中的部分交互涉及三只以上的手，例如递送者单手抓取、接收者双手抓取的情况。就物体数量而言，HOH仅次于仅包含自我中心视角数据的HOI4D数据集 [^39]。虽然包含101个物体的Assembly101数据集在规模上接近HOH，但Assembly101缺乏配对的、对齐的3D扫描数据。 ## 3 HOH数据集 ### 3.1 数据集设计理念 为实现对自然物品交接过程的$360^{\circ}$捕捉这一目标，我们采用了无标记的外中心采集方式，并让参与者采取坐姿完成递送者与接收者之间的物品交接，以减少疲劳感。坐姿下的物品交接在社会场景中十分常见，比如咖啡店或协作办公环境中。我们采用了Kopnarski等人[^33]提出的标准化术语：他们将物品交接划分为四个阶段——伸展与抓取阶段，此时递送者需施加足够的握力以固定物体；运输阶段，物体被移动到共同的传递点；物体传递阶段，物体从递送者手中交到接收者手中；以及交接结束阶段，此时接收者完全掌控物体，且“能按照自己的意图使用该物体”[^33]。在我们的研究中，交接结束意味着将物体放置在桌上。 以往的一些研究会提示参与者考虑物品的预期用途，或明确要求其采用双手/单手抓取方式[^35]，或是考虑递送者/接收者的需求[^15]。我们并未对交互过程做任何提示，仅要求递送者在运输过程中保持对物体的抓取状态。我们旨在获取自然状态下的递送者伸展与抓取动作，这一做法与Chan等人[^15]设定的自然条件类似，以便分析开放式物品交接中的抓取类型与手部组合，同时避免 --- ![Image](images/49baa06d557be2efbc984654c94a96e9af048ea47b12fb12977b1c2da26b7150.jpg)
Figure 2: Left: Synchronized color and depth data collected in HOH from 4 viewpoints for a handover interaction, with OpenPose skeletons show in in Kinect color images. Center: Object 3D model used in interaction. Right: Color-mapped 3D point cloud with segmented giver, object, and receiver.
Table 2: HOH Dataset Summary. GT = Ground Truth Annotation, Pre = pre-GT processing, post = post-GT processing to propagate annotations. *Currently all skeleton estimation, color-mapping, segmentation, GT, and post-processing has been conducted for Kinect images.
ModalityModality DescriptionInteractionsCount
PreKinect Color4-viewpoint 30FPS RGB Video, 1920x10802,4481.4M
Kinect Depth4-viewpoint 30FPS Depth Video2,7201.6M
FLIR Point Grey Color4-viewpoint 60FPS RGB Video2,4482.8M
Skeletons $^{{*}}$Estimated using OpenPose [^12] in Kinect color images2,7201.6M
Fused Point CloudsFused from depth images using multi-camera calibration2,720250K
Fused Color Point Clouds $^{{*}}$Colorized using Kinect color images2,448240K
Full Color Segmentation Masks $^{{*}}$Extracted using SAM [^32]2,720
GT $^{{*}}$Key Event AnnotationsFrames for first giver-object contact (G), giver/receiver grasp at transfer (T), and last receiver-object contact (R)2,7208,160
Giver Hand / Receiver Hand / Object Segmentation MasksManually isolated from SAM segmentation for giver hand from G and T, object from all G, T, R, and receiver hand from T and R, done for as many viewpoints where entity is visible2,7208,513 / 8,879 / 21,224
Post $^{{*}}$Tracked Giver Hand / Receiver Hand / Object MasksTracked using Track Anything from G to R2,720710K / 780K 1M
Giver Hand / Receiver Hand / Object Point CloudsSegmented from fused point clouds using tracked masks2,720240K / 260K 290K
3D Model & 6DOF Object PoseAligned using iterative closest point (ICP) [^7] from 3D model to G, G to G+1, G+1 to G+2, $\cdots$ R-2 to R-1, and R-1 to R.2,720290K
影响数据的多样性，而这正是基于学习算法的模型所关心的问题。由于交互过程缺乏结构化约束，递送者可能会忽视接收者的舒适度，或者为了迁就接收者而牺牲自身的舒适度。每次交互结束后，我们都会请参与者通过7级李克特量表对递送者与接收者的舒适度进行评价。 我们的数据是在一个$1.7m \times 1.7m \times 2.0m$绿幕T型槽框架装置上采集的，该装置配备了4台Azure Kinect RGB-D传感器和4台FLIR Point Grey BlackFly S高速彩色摄像头，图2中的图片展示了这一装置。补充材料详细介绍了用于同步多传感器采集、空间几何摄像头校准以及通过顶灯实现采集后同步的设置、计算过程、连接和网络细节。在2,720次互动（每对参与者进行4次互动）中，有160次我们要求参与者佩戴蓝色手套，目的是通过颜色分割技术获取高精度的追踪数据。现在，Segment Anything Model（SAM）[^32]能够协助完成背景区域移除、前景提取等任务，正如本数据集处理时所采用的流程。不过，我们采集HOH数据的时间早于SAM问世之时，当时市面上尚无可靠且易于使用的分割工具。为了利用Kinect和Point Grey摄像头获取尽可能高的分辨率的颜色与深度数据，我们选择了紧凑型而非分散式的设置方案。 ### 3.2 数据集采集 数据集概览。HOH包含了来自20对参与者的手递物交互多模态数据；若计入给予者-接收者角色互换（RR）情况，则共有40对参与者。这些参与者坐在我们的多摄像头采集区域内，共与136个物体发生交互。其中10对参与者与68个物体交互，另外10对则交互剩余的68个物体。表2对HOH数据进行了总结。我们将HOH交互数据与包含3D模型及元数据在内的136个物体数据集相配对。 --- ![Image](images/f470c5512f300cdd3b784fc9f26152170067cf3ba9c2b7a5a036ae010db103f6.jpg)
Figure 3: Left: Objects used in HOH. Center: GT annotation of key events, and SAM and GT-aided tracks of giver hand (purple), object (yellow), and receiver hand (red) segments. Right: 6DOF pose estimation via ICP-alignment of 3D model (red) to frames.
物体数据集。如图3所示，HOH包含的136个物体涵盖了8类日常用品：玩具（14个）、杯子（11个）、食品与饮品（13个）、烹饪用具（25个）、工具（15个）、办公用品（11个）、家居用品（27个）以及3D打印物品（20个）。根据长宽比和功能，这些物体被划分为17个类别，每个类别包含8个物体。其中15个类别按照长宽比（或形态）分为三个区间：1:1–2:1、2:1–3:1以及>3:1；同时还有5个描述性分类，分别标识物体是否带有把手（H）或不带把手（NH）、是否具有用于切割、饮用、剥皮或拧动等功能的一端（F）或缺乏此类功能端（NF），以及物体的标准朝向是垂直（V）还是水平（Z）。这5个分类分别为NFNHZ、NFNHV、FNHZ、FNHV和FHV。第16类为长宽比为1:1且属于FHZ类别的物体，第17类则涵盖不属于前16类的其他物体。我们发现长宽比较大的FHZ类物体较为少见。每对参与者需与每个类别中的4个物体交互，以覆盖指定的68个物体并确保各类别均被涵盖。补充材料中有关于物体准备与获取的详细信息。 参与者招募。我们经大学机构审查委员会（IRB）批准后，通过在线协作平台发布消息，从当地大学生群体中招募了40名参与者。参与者不会因提供数据而获得报酬，本研究也未涉及外包或众包工作。参与者中男性有34人，女性6人，他们组成6对女/男组合以及14对男/男组合，且任意两对之间均无重复参与者。有2名参与者拒绝透露年龄，其余参与者的年龄介于19岁至51岁之间，平均年龄为$24.8 \pm 7.4$。身高范围在1.55米至1.96米之间，平均身高为$1.8m \pm 0.1m$。38名参与者表示自己是右利手，仅1人自称左利手，另有1人表示自己为双手灵巧型。有2名参与者未同意分享其可识别颜色（IC）信息。出于安全考虑，目前我们在公开发布时排除了所有涉及他们的颜色帧，即来自2对参与者的颜色数据，即便部分颜色帧无法识别出人脸也不例外。 实验流程。参与者通过知情同意书得知该实验风险极低，参与为自愿性质；出于COVID-19安全防护考虑，参与者可佩戴口罩，若其搭档要求佩戴口罩，则必须同意佩戴；实验不会收集任何身份标识信息，参与者也可要求将交互图像设为不可公开访问。参与者需填写人口统计问卷，被分配一个随机的5位数字编号，随后与搭档相识。参与者被分别指定为物品传递方和接收方。就座后，参与者需按随机顺序传递68件物品。在随机选取的4次传递过程中，参与者会佩戴手套。实验员会将物品以随机朝向放置在桌面中央。除需完成抓取动作以及接收方需将物品置于桌上外，参与者可自由进行互动。传递结束后，双方需使用剪贴板填写关于舒适度的7点李克特量表评分。随后双方互换角色，以不同顺序再次传递相同的68件物品。除两次情况外，参与者均会回到原来的座位，最终分别得到22对左座传递方和18对右座传递方的配对数据。 数据预处理。我们对录制的摄像头数据进行处理，以获取表2中所列各视角下的时间同步彩色图像和深度图像，同时确保能统计到任何丢帧情况。我们利用深度图像的灰度值将深度像素反投影为三维坐标。借助深度摄像头与参考摄像头0之间的变换关系，我们将反投影后的像素融合为每一帧以摄像头0为基准的单一点云。我们采用了深度到彩色的转换方法。 --- ![Image](images/4f4a770ac650cb0c3119ad0e57409ca17d46bc6b3057033792f290c79f1491f0.jpg) ![Image](images/bfee00e0da43c2b6aab96d0c0f8b19324a0a39447090fade617531dea3e11804.jpg) ![Image](images/f4757b85f40937262bad21acf3ce58f38a507ab7d5e970fda4c5d3f02c0d4809.jpg) ![Image](images/7d9981d2fb4f4bf89dee5af047add240f524375b54faad895d4b4bb051561207.jpg) ![Image](images/5603a5fcbcbfddb3017c9ba7e02fc3b41d902269f188a472ae3b400bad9c3567.jpg)
(a)
![Image](images/e1a9cc8a903fa0f2033b5201cafd81e9fc50df5498d2bd35a56ac51ef2a3829e.jpg) ![Image](images/d2df76919ea3686662e3e77b265ef078763c8762c0cbb51a93030f85388f2ec5.jpg) ![Image](images/f3293e1bd2ae366b8ade2d28ba9439f1c55925ccba0060b599f55d349f644b44.jpg)
(b)
![Image](images/d95b7b70e79a685df9f0bb1b0fe8732c72c06e7b2508c717fc9ad1759a61eefd.jpg) ![Image](images/d1495c36ef52987d2e8fcbf269b7438d8e03cc53e3ef21e6c2c484259947e314.jpg) ![Image](images/fbba910e026484ce7117cf654178562cea52cf3a9f229a4bafb3999531ab1f27.jpg)
(c)
![Image](images/f49b63e63526db5fb0bcd190b160d5916b085ca362fe7644f6db362971cc8120.jpg) ![Image](images/fb95de6a2071c5e185b2ce97e2dc51f5e3dd92b7eb053b2e48dbf8a88ff47007.jpg)
(d)
![Image](images/1a31691dcb11dc288005a6bfab90331db941938335df4d5a8eb71a509172f2d1.jpg)
(e)
![Image](images/8c60a5f75d701de98c430386e78bd1929da67e7d8c897fcb8ce3b41ec4145c1a.jpg)
(f)
![Image](images/c21163b26bd9d95a285c9354334e122dad26a661f83cba789affb1ed492997e5.jpg)
(g)
Figure 4: Dataset Analysis: (a) histograms of object properties, (b) t-SNE for object models, (c) Overall (dark) and per-pair (light) mean trajectory plots with start points marked using spheres, (d) t-SNE of trajectories for HOH compared to Carfi et al. [^13], (e) histogram of grasp types per Cini et al. [^18], (f) histogram of grasp ratings, and (g) log histogram of handedness counts at transfer.
用于为融合后的点云生成彩色映射。我们在所有Kinect彩色图像上运行OpenPose [^12] 和SAM算法，以获取上半身骨骼数据及完整的图像分割掩码。 真实标注与验证。如图3所示，我们手动标注了三帧图像——G、T和R，标记出关键事件。G帧包含传递方首次接触物品的情况，对应“伸手抓取”阶段；T帧包含传递方与接收方同时抓取物品的情形，对应物品传递的中间阶段；R帧包含接收方最后接触物品的情况，对应传递过程的结束。我们在G帧和T帧中为三个实体——传递方手部、物品和接收方手部——标记SAM掩码：物品对应的掩码在G、T、R三帧中均有标记；传递方和接收方手部的掩码分别在G、T帧以及T、R帧中标记。当某个实体存在多个掩码时，会将其融合为一个掩码。我们对所有SAM掩码进行了验证和修正。检查所有OpenPose生成的骨骼数据时发现，仅有4.6%的骨骼存在关节缺失或不准确的情况。我们保存了OpenPose算法的置信度数值。我们参照Cini等人提出的28类抓取分类法 [^18] 来标注用手习惯和抓取类型。 后期处理。我们利用Track Anything [^53] 算法，从G帧到R帧追踪标注者标记的SAM掩码。通过摄像头校准将追踪到的掩码反投影，从而生成传递方、物品和接收方的点云。我们对完整点云以及传递方、物品、接收方的点云进行去噪处理以去除异常值，并基于每个点的前k个最近邻采用中值滤波方法来平滑彩色化处理结果，其中k取值为10。我们保存了清洗前后两种状态下的点云。 6自由度物体姿态。针对所有交接互动场景，我们通过将物体3D模型与从G帧到R帧的所有帧对齐，来提供物体6自由度的真实姿态。首先，我们对物体点云进行逐帧ICP [^7] 对齐，以估算所有帧中物体点云的帧间点云变换关系，从而建立从G帧到R帧的所有帧之间的关联。接着，我们在G帧中对3D模型与物体点云进行自动对齐。我们采样了多种不同的朝向以确保覆盖全面的 $SO(3)$ 范围。我们按照每种朝向对3D模型进行变换，随后利用ICP算法微调变换后模型与物体点云的对齐程度。最终我们选择ICP距离最小的3D模型对齐结果。我们利用帧间变换关系，将3D模型对齐到从G帧到R帧的所有帧上。对齐过程的示例帧如图3所示。 ### 3.3 数据集分析 对象。图4总结了对我们的数据集进行的多模态分析。图4(a)中的对象直方图显示，虽然我们的对象在包围盒体积（BBV）、网格体积（MV）和质量上偏向较低值（中位数分别为 $9.73 \times 10^6$mm $^3$、$2.54 \times 10^6$mm $^3$ 和 167g，偏度分别为 2.83、2.77 和 3.47），但包围盒对角线服从正态分布，均值为 $233.58$mm $\pm$88.50mm，且有17个物体超过0.5kg。包围盒占用率（MV-to-BBV --- 边界框占用率（MV与BBV之比）略微偏向较小值（中位数为0.37，偏度为0.27），这表明HOH场景中非满装物体数量较多，例如图2中的喷雾瓶。凸度直方图是以MV与凸包之比 [^2] 计算的，结果显示虽然我们的数据集以凸形物体为主（中位数为0.67，偏度为-0.51），但有42个物体的凸度小于0.5，即存在凹陷结构。图4(b)中基于物体几何特征的t-SNE图展示了系数分布，该图是利用每个3D物体模型表面的8000个3D点样本计算得出的，证实了数据集中的物体多样性。 运动轨迹。图4(c)展示了递送手、物体和接收手的整体（深色）及成对（浅色）平均轨迹。这些平均值是通过将轨迹重采样为100个样本，再分别对左坐姿和右坐姿的递送手取均值得到的。轨迹平均值反映了递送手的运输与物体传递阶段、物体朝向接收手的倾斜程度（体现了递送手参与协作交接的意图）、传递后的递送手回缩动作，以及交接结束时接收手的弧形运动路径。左坐姿和右坐姿的递送手轨迹相互镜像。成对均值的变化范围体现了轨迹的多样性，这与此前关于交接轨迹存在个体差异的研究结论一致 [^6]。图4(d)中的t-SNE图进一步证实了HOH场景的轨迹多样性，其中系数的分散程度高于Carfi等人研究中的轨迹 [^13]。为确保HOH与Carfi轨迹之间具有可比性，我们在计算t-SNE之前，先利用Procrustes方法对每个实体和数据集内的轨迹进行对齐，因为Carfi数据集中的参与者可能存在空间位置偏差。我们发现轨迹长度呈正态分布，递送手、物体和接收手的平均长度分别为 $3.26s \pm 0.97s$、$3.60s \pm 0.94s$和$3.49s \pm 0.95s$。物体的轨迹更长，是因为接收手的反应可能略晚于递送手，而递送手可能在交接结束前就完成了自身动作。 抓取。图4(e)按照Cini等人[^18]提出的分类法展示了抓取类型的分布情况：其中以强力抓取为主，尤其是靠近C1位置的抓取，或是适合抓取HOH类物体的大直径抓取方式。对于施力者而言，高精度抓取常见于C6/C8拇指-手指组合以及C14三指夹持抓取，这类方式多用于抓取棒状或有把手的物品；对于受力者来说，C6、F18延伸型抓取常用于抓取薄平物品，而F29或棍状抓取则多见于抓取带有突出结构的物体。补充材料中有详细的分类术语说明。图4(f)中的舒适度评分直方图显示，舒适等级偏高的情况较多（施力者舒适度的偏度为-1.23，其中评分超过4分的比例达16.21%；受力者舒适度的偏度为-1.21，评分超过4分的比例达15.7%）。我们发现施力者与受力者之间的皮尔逊相关系数高达0.38。图4(g)中的利手分布对数直方图显示，在单手抓取场景中，76.8%的互动中施力者与受力者使用同一只手，20.4%的互动中使用相反的手；共有76次互动涉及双手抓取。 ## 4 展示应用场景的实验结果 我们的数据集主要用于推动人机交互领域的AI研究。遗憾的是，目前尚无现成的算法能够直接评估HOH这类多人数据，以帮助机器人理解物品传递参数。基于学习驱动的握持方法缺乏公开代码和数据[^54]，且需要获取关节手部姿态信息，因此无法应用于HOH场景。完全基于HOH数据的机器人控制研究超出了本文的研究范围（实际上这类研究涉及未来工作的多个领域）。在本节中，我们构建并评估了深度神经网络，以证明HOH数据对机器人操作流程中四个相关任务的价值：(1)利用物体点云预测人类给予者的握持点云或o2gg；(2)利用物体点云预测传递点的物体朝向或o2or；(3)利用物体和给予者点云预测人类接收者的握持点云或g2rg；(4)利用人类给予者的手部运动预测接收者的运动轨迹或g2rt。o2gg和g2rg能使机器人给予者将握持位置偏向人类给予者偏好的位置，使机器人接收者将握持位置偏离或靠近人类给予者/接收者偏好的位置；o2or能让机器人操作器以人类偏好的姿态呈现待传递物体；g2rt则能支持机器人接收者根据人类给予者的运动来规划自身运动。 实现细节。我们针对o2gg和g2rg任务采用PoinTr模型，针对g2rt任务采用Informer模型。对于o2or任务，我们使用PointNet[^47]配合两层全连接层来生成四元数形式的朝向信息。o2gg和o2or任务的输入点云来自Gpre，g2rg任务的输入点云来自Tpre，其中Gpre和Tpre分别是G和T时刻之前的几帧数据，分别仅包含物体信息和物体+给予者手部信息。o2gg、g2rg和o2or任务的输出分别为G时刻的给予者手部点云、T时刻的接收者手部点云，以及用四元数表示的T时刻6自由度姿态下的旋转信息。我们针对o2gg、o2or和g2rg任务各训练了两个网络：一个使用完整的输入点云，以便通过多视角融合等方式全方位分析物品传递参数；另一个则使用部分输入点云，用以模拟实际场景。 ---
Table 3: Metrics for experimental results.
TaskMetricCompletePartial
GTBest to ObjectGTBest to Object
o2ggCD$0.483 \pm 0.187$$0.135 \pm 0.078$$0.135 \pm 0.052$$0.277 \pm 0.188$
o2orMEAE$0.851 \pm 0.253$$0.365 \pm 0.153$$0.843 \pm 0.227$$0.411 \pm 0.136$
g2rgCD$0.539 \pm 0.648$$0.147 \pm 0.182$$0.206 \pm 0.121$$0.288 \pm 0.275$
g2rtMAE$0.160 \pm 0.070$$0.107 \pm 0.037$N/AN/A
TaskMetricCompletePartial
o2gg%OLGO17.39% $\pm$10.37%58.12% $\pm$19.46%
g2rg%OLRG1.44% $\pm$4.73%1.13% $\pm$3.87%
![Image](images/f25c3b99612f9106e1a1b715c994e6b5cb0a521f20b05f685a2e19e8c9333eba.jpg)
Figure 5: Visualization of outputs from o2gg, g2rg, and o2or. Insets for o2or show input point cloud. Camera angle shown for partial clouds.
单视点的RGB-D传感器。我们通过从每个场景的6个随机生成视点渲染场景来生成部分数据。为了评估预运动参数估计，我们将完整网络所需的所有真实输入和输出点云预先注册到Gpre帧中。部分点云被保留在渲染出的视点中，物体方向也设定在合适的交接时间点，以模拟实时行为。由于所提出的g2rt专注于点轨迹而非物体，我们采用第3.3节中的轨迹质心来训练g2rt的单版本模型。我们手动对真实数据做预变换，将原点设定在桌子中心，xz平面作为地面，右侧坐着的给予者则与左侧坐着的人对齐。 训练过程。我们将每个形态/功能类别中的8个物体随机划分为A、B、C三组，每组分别包含3个、3个和2个物体；其中分别有51个、51个和34个物体分别仅用于训练、仅用于测试以及训练+测试。训练集使用来自A组和C组的75%随机数据。测试集则使用C组剩余的25%数据，以及B组的全部数据。对于g2rt而言，鉴于人的运动随时间变化可能是一种行为特征，我们确保训练和测试的参与者配对互不重叠。训练集使用了11对参与者的数据（含RR时为22个），测试集则使用剩余的9对参与者数据（含RR时为18个）。超参数选择和计算细节详见补充材料。 评估指标。我们提供真实值的评估指标，具体包括用于o2gg和g2rg的倒角距离（CD）、用于o2or的平均欧拉角误差（MEAE），以及用于g2rt的平均绝对误差（MAE）。由于合理的参数可能与真实值并不对应，我们针对所有测试物体实例报告最佳真实值指标（考虑对称性因素），以提高找到相似参数的概率。我们还报告给予者手与物体的百分比重叠度（%OLGO）以评估机器人给予者的可用性，以及接收者手与给予者手的百分比重叠度（%OLRG）以评估机器人接收者的可用性，从而保障交接过程的安全性。 结果。表3展示了各项评估指标的结果。图5给出了o2gg、g2rg、o2or和g2rt的预测定性结果，后两者还结合了提供源输入的交接场景进行展示。更多结果详见补充材料。当预测结果与真实值有偏差时，这些结果仍属于合理输出：例如，虽然图5中o2gg场景下烤架刷的实际给予者握持位置在手柄处，但预测握持位置却在刷子部分。对于g2rg，可观察到接收者手方向的差异性。对于o2or，我们发现当预测物体与真实值偏差较大时，其对应的方向恰好是传递过程中的合理延伸方向。g2rt的输出结果表明，即便没有物体结构信息，简单的轨迹预测也能让接收者在共享空间附近与给予者的轨迹相交。从表3中我们可以 --- 输入的给予者轨迹 真实值的接收者轨迹 预测的接收者轨迹
Figure 6: Visualization of outputs from g2rt for various pairs and objects.
注意到，平均最佳匹配物体指标相较于真实值有所下降，这说明数据集中存在更符合实际的各参数候选值，也体现了该数据集在交接场景表征上的多样性。表3中的%OLGO指标反映了可用性的高低，尤其是使用完整数据时这一特点更为明显。%OLRG指标表明给予者与接收者的重叠程度极低，这体现出g2rg能够预测出远离给予者手的位置，从而可用于对机器人接收者的握持动作进行引导。 ## 5 讨论 未来工作。第4节中展示的实验结果为基于HOH的人机交互算法开发提供了起点。HOH中多样化、多模态且标注丰富的数据，为大规模人工智能算法在人机交互领域的应用开辟了广阔空间。可以开发相关算法，利用舒适度评分对抓取、姿态和路径预测结果进行排序；根据给予者的动作预测来实现实时的物体相关机器人给予动作预测，并主动生成接收动作；同时借助物体分割与跟踪算法，在多人遮挡情况下优化机器人操作流程。利用上半身点云和/或骨骼数据即可建立空间关系，从而实现传递位置估计。第3.3节的分析为我们提供了对HOH的整体认知。未来研究还有很大空间，比如详细分析给予者与接收者的舒适度匹配程度、轨迹速度与时机、协调性，以及这些因素与抓取类型、物体类别和参与者配对之间的关系。 局限性。由于采用了无需额外仪器的设置，HOH无法获取握力数据。目前，握力数据是通过设计复杂的棒状装置来采集的[^40] [^16] [^19] [^30]，这类装置限制了抓取类型，重量难以控制，且几何形态单一。未来的方向是为日常物品配备可靠且侵入性极小的握力传感器。我们的参与者在年龄和能力方面范围较窄。我们深知招募儿童、老年人以及不同能力、健康或社会背景的参与者存在挑战，他们往往难以与陌生伙伴进行互动，也难以提供知情同意。未来的数据采集可以参考针对特定人群的最佳招募策略[^41] [^11] [^3]。虽然HOH能获取物体的6自由度姿态数据，但目前缺乏手部姿态的基准标注。在无标记数据中，要在物体遮挡和运动的情况下手动标注手部姿态是一项极其艰巨的任务。未来的工作包括改造HOnnotate[^25]，使其能支持多人手部交互场景。 社会影响。HOH的社会价值在于能为社交机器人提供如何安全传递物体的指导，这对建立信任、实现协作目标至关重要[^24] [^45]。能够感知物体特性并进行安全传递的社交机器人，可提升涉及多物体使用的传递后操作流畅度，比如组装活动和日常起居。更值得信赖、能安全传递物体的社交机器人，有望填补居家护理员短缺的缺口，尤其是针对老年人[^1]和残疾人——考虑到护理人员数量减少[^43]以及需求增加[^10]，这一问题尤为突出。传递过程中对共享物体的共同关注能够促进人际亲近感[^52]。人机情感纽带对老年人孤独感或儿童发展的长期影响仍有待深入研究。如果开发的社交机器人没有将我们这类短距离聚焦数据与长期依恋行为研究相结合，可能会带来负面社会后果。如果一个人对某个机器人产生依赖，而该机器人出现故障或被停用，可能会像失去亲人一样引发焦虑并导致协作目标倒退。我们在补充材料中分享了整套设备、采集方法、计算流程和代码细节，以促进更大规模、更具社会意识的人机交互数据采集。 --- ## 致谢 本研究由美国国家科学基金会授予的IIS-2023998号项目资助。我们感谢李明军和尼古拉斯·兰姆在算法开发与传感器校准方面提供的宝贵建议。同时，我们还要感谢普里约·兰詹·昆杜·普罗森、托马斯·杜贝、本·莫洛伊、伊尔凡·亚库布、努曼·扎法尔、乔蒂纳德·米内坎蒂、李思超、甘厚超、宋新超、韩坤、艾琳娜·图尔斯基、霍莉·罗斯曼、罗萨丽娜·德尔维奇、卡梅伦·胡德、奥丁·科勒、亚历山大·科恩、克里斯蒂安·苏西以及吉安娜·沃斯，感谢他们在数据收集与标注过程中给予的帮助。 ## 参考文献 [^1]: AARP. Nationwide Caregiver Shortage Felt By Older Adults. , Nov 2022. [^2]: Marco Attene, Michela Mortara, Michela Spagnuolo, and Bianca Falcidieno. Hierarchical convex approximation of 3d shapes for fast region selection. In Computer graphics forum, volume 27, pages 1323–1332. Wiley Online Library, 2008. [^3]: Jennifer R Banas, Susan Magasi, Kim The, and David E Victorson. Recruiting and retaining people with disabilities for qualitative health research: Challenges and solutions. Qualitative Health Research, 29(7):1056–1064, 2019. [^4]: Patrizia Basili, Markus Huber, Thomas Brandt, Sandra Hirche, and Stefan Glasauer. Investigating human-human approach and hand-over. In Human centered robot systems, pages 151–160. Springer, Berlin, Germany, 2009. [^5]: Cristina Becchio, Luisa Sartori, Maria Bulgheroni, and Umberto Castiello. The case of dr. jekyll and mr. hyde: a kinematic study on social intention. Consciousness and cognition, 17(3):557–564, 2008. [^6]: Holger H Bekemeier, Jonathan W Maycock, and Helge J Ritter. What does a hand-over tell?—individuality of short motion sequences. Biomimetics, 4(3):55, 2019. [^7]: Paul J Besl and Neil D McKay. Method for registration of 3-d shapes. In Sensor fusion IV: control paradigms and data structures, volume 1611, pages 586–606, Bellingham, WA, 1992. SPIE. [^8]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15935–15946, 2022. [^9]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. [^10]: U.S. Department of Labor Bureau of Labor Statistics. Home health and personal care aides. In Occupational Outlook Handbook, 2022. [^11]: Alan Campbell. For their own good: Recruiting children for research. Childhood, 15(1):30–49, 2008. [^12]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: realtime multi-person 2d pose estimation using part affinity fields. IEEE transactions on pattern analysis and machine intelligence, 43(1):172–186, 2021. [^13]: Alessandro Carfi, Francesco Foglino, Barbara Bruno, and Fulvio Mastrogiovanni. A multi-sensor dataset of human-human handover. Data in brief, 22:109–117, 2019. [^14]: Wesley Chan, Matthew KXJ Pan, Elizabeth A Croft, and Masayuki Inaba. Characterization of handover orientations used by humans for efficient robot to human handovers. In IROS, pages 1–6, NJ, 2015. IEEE. [^15]: Wesley P Chan, Matthew KXJ Pan, Elizabeth A Croft, and Masayuki Inaba. An affordance and distance minimization based method for computing object orientations for robot human handovers. IJSR, 12:143–162, 2020. [^16]: Wesley P Chan, Chris AC Parker, HF Van der Loos, and Elizabeth A Croft. Grip forces and load forces in handovers: implications for designing human-robot handover controllers. In HRI, pages 9–16, NJ, 2012. IEEE. [^17]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. ## [^18]: F Cini, V Ortenzi, P Corke, and MJSR Controzzi. On the choice of grasp type and location when handing over an object. Science Robotics, 4(27), 2019 --- [^19]: Marco Controzzi, Harmeet Singh, Francesca Cini, Torquato Cecchini, Alan Wing, and Christian Cipriani. Humans adjust their grip force when passing an object according to the observed speed of the partner's reaching out movement. Experimental brain research, 236(12):3363–3377, 2018. [^20]: Falko R Döhring, Hermann Müller, and Michael Joch. Grip-force modulation in human-to-human object handovers: effects of sensory and kinematic manipulations. Scientific Reports, 10(1):22381, 2020. [^21]: Tair Faibish, Alap Kshirsagar, Guy Hoffman, and Yael Edan. Human preferences for robot eye gaze in human-to-robot handovers. IJSR, pages 1–18, 2022. [^22]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. [^23]: Stefan Glasauer, Markus Huber, Patrizia Basili, Alois Knoll, and Thomas Brandt. Interacting in time and space: Investigating human-human and human-robot joint action. In RO-MAN, pages 252–257, NJ, 2010. IEEE. [^24]: Adriana Hamacher, Nadia Bianchi-Berthouze, Anthony G Pipe, and Kerstin Eder. Believing in bert: Using expressive communication to enhance trust and counteract operational error in physical human-robot interaction. In 2016 25th IEEE international symposium on robot and human interactive communication (RO-MAN), pages 493–500. IEEE, 2016. [^25]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. [^26]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. [^27]: Clint Hansen, Paula Arambel, Khalil Ben Mansour, Véronique Perdereau, and Frédéric Marin. Human-human handover tasks and how distance and object mass matter. Perceptual and motor skills, 124(1):182–199, 2017. [^28]: Chien-Ming Huang, Maya Cakmak, and Bilge Mutlu. Adaptive coordination strategies for human-robot handovers. In RSS, volume 11, pages 1–10, Rome, Italy, 2015. RSS. [^29]: Yinghao Huang, Omid Taheri, Michael J Black, and Dimitrios Tzionas. Intercap: Joint markerless 3d tracking of humans and objects in interaction. In Pattern Recognition: 44th DAGM German Conference, DAGM GCPR 2022, Konstanz, Germany, September 27–30, 2022, Proceedings, pages 281–299. Springer, 2022. [^30]: Parag Khanna, Mårten Björkman, and Christian Smith. Human inspired grip-release technique for robot-human handovers. In 2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids), pages 694–701. IEEE, 2022. [^31]: Parag Khanna, Måten Björkman, and Christian Smith. A multimodal data set of human handovers with design implications for human-robot handovers. arXiv preprint arXiv:2304.02154, 2023. [^32]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, and Ross Girshick. Segment anything. arXiv:2304.02643, 2023. [^33]: Lena Kopnarski, Julian Rudisch, and Claudia Voelcker-Rehage. A systematic review of handover actions in human dyads. Frontiers in Psychology, 14:1147296–1147296, 2023. [^34]: Attila J Kovacs, Yiyu Wang, and Deanna M Kennedy. Accessing interpersonal and intrapersonal coordination dynamics. Experimental Brain Research, 238:17–27, 2020. [^35]: Alap Kshirsagar, Raphael Fortuna, Zhiming Xie, and Guy Hoffman. Dataset of bimanual human-to-human object handovers. Data in Brief, page 109277, 2023. [^36]: Alap Kshirsagar, Hadas Kress-Gazit, and Guy Hoffman. Specifying and synthesizing human-robot handovers. In IROS, pages 5930–5936, NJ, 2019. IEEE. [^37]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. [^38]: Min Kyung Lee, Jodi Forlizzi, Sara Kiesler, Maya Cakmak, and Siddhartha Srinivasa. Predictability or adaptivity?: Designing robot handoffs modeled from trained dogs and people. In HRI, pages 179–180, NJ, 2011. IEEE. ### [^39]: Yunze Liu, Yun Liu, Che Jiang, Z Fu, K Lyu, W Wan, H Shen, B Liang, He Wang, and Li Yi Hoi4d. A 4d egocentric dataset for category-level human-object interaction. In IEEE/CVF Conf. Comput. Vis. Pattern Recog. (CVPR), 2022b, volume 1, 2022 --- [^40]: Andrea H Mason and Christine L MacKenzie. Grip forces when passing an object to a partner. Experimental brain research, 163(2):173–187, 2005. [^41]: Lona Mody, Douglas K Miller, Joanne M McGloin, Marcie Freeman, Edward R Marcantonio, Jay Magaziner, and Stephanie Studenski. Recruitment and retention of older adults in aging research: (see editorial comments by dr. stephanie studenski, pp 2351–2352). Journal of the American Geriatrics Society, 56(12):2340–2348, 2008. [^42]: AJung Moon, Daniel M Troniak, Brian Gleeson, Matthew KXJ Pan, Minhua Zheng, Benjamin A Blumer, Karon MacLean, and Elizabeth A Croft. Meet me where i'm gazing: how shared attention gaze affects human-robot handover timing. In HRI, pages 334–341, NJ, 2014. IEEE. [^43]: NCSBN. NCSBN Research Projects Significant Nursing Workforce Shortages and Crisis. , Apr 2023. [^44]: Valerio Ortenzi, Aansel Cosgun, Tommaso Pardi, Wesley P Chan, Elizabeth Croft, and Dana Kulić. Object handovers: a review for robotics. ToR, 37(6):1855–1873, 2021. [^45]: Matthew KXJ Pan, Elizabeth A Croft, and Günter Niemeyer. Exploration of geometry and forces occurring within human-to-robot handovers. In 2018 IEEE Haptics Symposium (HAPTICS), pages 327–333. IEEE, 2018. [^46]: Sina Parastegari, Bahareh Abbasi, Ehsan Noohi, and Miloš Zefran. Modeling human reaching phase in human-human object handover with application in robot-human handover. In IROS, pages 3597–3602, NJ, 2017. IEEE. [^47]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016. [^48]: Robin Rasch, Sven Wachsmuth, and Matthias König. Understanding movements of hand-over between two persons to improve humanoid robot systems. In Humanoids, pages 856–861, NJ, 2017. IEEE. [^49]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. [^50]: Kyle Strabala, Min Kyung Lee, Anca Dragan, Jodi Forlizzi, and Siddhartha S Srinivasa. Learning the communication of intent prior to physical collaboration. In RO-MAN, pages 968–973, NJ, 2012. IEEE. [^51]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020. [^52]: Wouter Wolf, Jacques Launay, and Robin IM Dunbar. Joint attention, shared goals, and social bonding. British Journal of Psychology, 107(2):322–337, 2016. [^53]: Jinyu Yang, Mingqi Gao, Zhe Li, Shang Gao, Fangjing Wang, and Feng Zheng. Track anything: Segment anything meets videos, 2023. [^54]: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, and Cewu Lu. H2o: A benchmark for visual human-human object handover analysis. In ICCV, pages 15762–15771, NJ, 2021. IEEE. [^55]: Minhua Zheng, AJung Moon, Elizabeth A Croft, and Max Q-H Meng. Impacts of robot head gaze on robot-to-human handovers. IJSR, 7(5):783–798, 2015. ### [^56]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019 --- #### HOH：无标记多模态人-物体-人手交接数据集（含大量物体）补充文档 诺亚·维德霍尔德 克拉克森大学 艾娃·梅杰里 克拉克森大学 迪马吉奥·巴黎 克拉克森大学 肖恩·巴纳吉 克拉克森大学 娜塔莎·科尔加德·巴纳吉 克拉克森大学 #### 1 数据集链接与密码 20WS： 1. 数据集页面： 2. 数据集获取方式：发送邮件给第一作者（详见网页说明） #### 2 数据集信息 HOH数据集包含来自多种摄像头的多模态数据。这些数据经过处理后，包含了人体骨骼、点云以及分割掩码信息。相关数据摘要可在图1以及主论文的第3节中查看。 数据格式：所有采集数据被保存在178个目录中，每个目录对应多次交互过程的记录。由于单次录制时长上限为10分钟，因此不同目录中的交互次数存在差异。部分录制会在10分钟届满前终止，原因是参与者出现了操作失误，例如接收方在角色互换后误拿了物体。这导致部分录制的交互次数极少。这178个目录的命名格式为<赠送者ID>-<接收者ID>-S<起始交互编号>。例如，赠送者01638与接收者46157的首次录制目录名为“01638-46157-S1”。在这178个目录中，每个目录下又包含6个子目录： 1. Azure：包含4个摄像头拍摄的Azure Kinect彩色视频与深度视频。彩色视频命名为[NUM].mp4，深度视频命名为[NUM].mkv，可查看的深度视频则命名为[NUM]_depth.mp4，其中[NUM]代表0到18之间的数字，具体数值取决于10分钟内可完成的交互次数。 2. MaskTracking：包含一个压缩文件，内含该目录下所有追踪到的掩码数据。[RECORDING]_mask.zip压缩包中包含4个摄像头的对应目录。每个摄像头文件夹中保存着以Python NPZ格式存储的交互物体及手部掩码文件。NPZ文件中包含按帧堆叠的掩码数组，每一帧对应一个掩码。而[RECORDING]_maskcorrected.zip压缩包结构类似，不过每个NPZ文件仅包含经修正的那一帧对应的单个掩码。 ---
HOH Dataset Facts
Dataset Human-Object-Human Handover
Motivation
SummaryA markerless 3D
multimodal dataset on human-human handovers with 20 participant pairs using 136 objects spanning 8 everyday-use classesexample use cases human-robot handover research, cognitive psychology research, exploration of automated human and object pose estimation algorithms
Original AuthorsN. Wiederhold, A. Megyeri, D. Paris, S. Banerjee, N. K. Banerjee
Metadata
URLhttps://hohdataset.github.io
ReleasedOctober 27, 2023
Sensors
Azure Kinect Color4
Azure Kinect Depth4
FLIR PointGrey Blackfly S High Speed Color4
Object Classes
Total Objects136
Toys19
Food/Drink19
Cooking24
Tool15
Mug12
Office11
Household36
Participants
Total participants40
Total Pairs20
M/M Pairs16
M/F Pairs4
Gender34M, 6F
Age24.8 $\pm$7.4
Data Size
Total Size9.51 TB
Azure195.80 GB
Mask Tracking2.37 GB
OpenPose927.38 MB
PCFiltered94.34 GB
PCFull4.54 TB
PointGrey4.66 TB
3D Model Alignments26.7 MB
Figure 1: A dataset informational card for HOH
--- 3. OpenPose：包含一个压缩文件，内含所有以JSON格式存储的骨骼数据，采用[NUM]命名规则，每个交互过程对应一个[NUM]文件夹。 4. PCFiltered：包含一个ZIP文件，其中存放着所有物体和点云数据以及手部位点云，采用[NUM]标记法。每个交互对应的清洗后的点云版本也可在Cleaned文件夹中找到。 5. PCFull：包含一个ZIP文件，其中存放着所有完整场景的点云数据，同样采用[NUM]标记法。 6. PointGrey：包含一个ZIP文件，其中存放着所有的Point Grey图像。 7. 3dModelAlignments：包含一个ZIP文件，其中包含将每次交接中使用的物体3D模型与对应时间步的场景点云中的物体对齐所需的变换参数。 在每个目录下，点云、视频和掩码都是在给予者和接收者接触帧（G和R）之间生成的，且只要能追踪到相关对象就会生成掩码和分段数据。除了这178个数据目录外，还有4个目录，分别是Objects、Code、Calibration和ParticipantInfo： Objects目录包含全部136个物体的3D模型和元数据。所有3D模型都存储在名为3d_models的子目录中。在3d_models里，每个物体对应一个以其ID命名的目录。除编号为116和120的物体外，其他物体都存在多个3D模型，相关内容会在第8节中详细说明。 Code目录包含了用于收集和处理数据的所有代码。该目录下设三个子目录，分别为Acquisition、Experiments和Processing。Acquisition目录存放用于数据采集的代码，按所用语言分为C#和Python两个子目录；Experiments目录存放第6节所述实验相关的代码，进一步细分为Grasp、Orientation和Trajectory三个子目录；Processing目录则存放用于数据处理的代码。论文被录用后，所有代码将与README文档一同发布在GitHub上供公众使用。 Participant Info目录包含以下内容： 1. demographics_responses.csv——参与者填写的人口统计问卷答案。 2. grasp_handedness.csv——每次交互中的抓握用手标签。 3. grasp_taxonomy.csv——每次交互中的抓握分类标签。 4. participant_seating.json——参与者的座位安排，按照给予者位于采集环境的左侧还是右侧进行分类。 5. Participant_Form_Responses——一个目录，里面存放着从参与者和实验员表格数字化过程中收集的所有数据，具体说明见第3段。该目录内的命名格式为：<给予者ID>-<接收者ID>.csv。 Calibration目录包含以下内容： 1. group1_calib——一个目录，其中包含使用第4节所述的物体集1进行的会话的校准内参和外参参数。 2. group2_calib——一个目录，其中包含使用第4节所述的物体集2进行的会话的校准内参和外参参数。 3. fine_tuned_transforms——一个目录，其中包含第4节所述的全部会话的微调后变换参数。 如图1中的数据卡所示，该数据集大小接近9.51 TB，其中体积较大的部分是完整的点云数据。Azure数据以视频形式提供；虽然Point Grey数据目前是以图像形式共享的，但我们计划将其压缩为视频文件，预计其文件大小约为Azure彩色视频的两倍，从而大幅提升压缩效率。由于物体和手部的过滤后点云数据点较少，它们在磁盘上所占空间也大幅减小。我们打算为完整点云提供降采样版本。 图2展示了包括完整场景点云以及独立的递物手、物体和接物手点云在内的示例3D可视化结果。 --- ![Image](images/696432ed5aa253e54dd63eec30fd8b678b54a9980a662f8bc278a9dd5fa8f5f5.jpg)
Figure 2: Example 3D visualizations of full scene point clouds at 5 time points during a handover interaction, with Frame G (point of first giver contact) in the leftmost column, Frame T (point of transfer) in the center column, and Frame R (point of last receiver contact) in the rightmost column. The giver hand is highlighted magenta and the receiver hand is highlighted gold.
--- 许可信息：我们对数据集中的所有新资源——包括但不限于彩色图像、深度图像、各版本物体模型、人工标注数据、各类点云、分割掩码、人体骨骼，以及参与者的人口统计和舒适度数据——均采用知识共享署名-非商业性使用4.0国际许可协议()进行授权，但表1中所列的那些物体模型除外。我们使用了来自Thingiverse的14个3D模型，其许可信息显示在表1中，归属信息则列于表2。我们不会发布经过修改的物体116和120的网格模型，而是为其分配符合我们物体命名与分类方案的ID。与该数据集一同公开发布的所有代码——包括用于加载、修改和应用数据的代码——均采用MIT许可证()授权。
Table 1: Licensing information for object models acquired from Thingiverse.
Object IDLicense
115Creative Commons - Attribution License
116Creative Commons - Attribution - Non-Commercial - No Derivatives License
118Creative Commons - Attribution License
120Creative Commons - Attribution - Non-Commercial - No Derivatives License
121Creative Commons - Attribution License
122Creative Commons - Attribution - Non-Commercial - Share Alike License
127Creative Commons - Attribution - Non-Commercial License
128Creative Commons - Public Domain Dedication License
129Creative Commons - Attribution License
221Creative Commons - Attribution - Share Alike License
233Creative Commons - Attribution - Non-Commercial - Share Alike License
234Creative Commons - Attribution License
235Creative Commons - Attribution - Non-Commercial License
236Creative Commons - Attribution License
Table 2: Licensing attribution for object models acquired from Thingiverse.
Object IDThingiverse AuthorLink To Thingiverse Page
115@RandomUser23447274https://www.thingiverse.com/thing:4694553
116@Clms31https://www.thingiverse.com/thing:4690097
118@ertugrulozarozarhttps://www.thingiverse.com/thing:4715797
120@MarVin_Miniatureshttps://www.thingiverse.com/thing:4038181
121@bert_lzhttps://www.thingiverse.com/thing:4688251
122@stratosvasilashttps://www.thingiverse.com/thing:4694905
127@riskablehttps://www.thingiverse.com/thing:2173745
129@Cool3DModelhttps://www.thingiverse.com/thing:2445539
221@david4974https://www.thingiverse.com/thing:1617958
233@sffubshttps://www.thingiverse.com/thing:4684367
234@tobymerritthttps://www.thingiverse.com/thing:4695393
235@Onil_Creationshttps://www.thingiverse.com/thing:4700386
236@clammcfaddenhttps://www.thingiverse.com/thing:4688105
作者责任声明：作者确认若发生权利侵犯行为，将承担全部责任，并确认数据集及代码所关联的许可条款。 数据集的可访问性与长期保存计划：一经接收，我们计划将完整数据集托管于本地数据中心，并通过项目网页提供访问途径。我们还计划将数据集的压缩版本托管于机构关联的Google Drive上，代码则将托管在GitHub上。项目页面也会部署在GitHub上，以确保数据始终可访问。 数据集标识符：可在此处访问该数据集的永久着陆页： --- ### 2.1 数据集数据表 我们遵循数据集数据表[^5]的框架来编写数据集文档并确定其用途。 #### 1. 动机 (a) 创建该数据集的目的是什么？ 旨在加速基于数据的研究，涵盖交接研究、人机交接实现，以及利用源自真实场景的2D和3D数据来估算交接参数的人工智能应用。 (b) 谁创建了该数据集（例如哪个团队、研究小组），代表哪个实体（例如公司、机构、组织）？ 克拉克森大学的Terascale全感知研究工作室。 (c) 谁为创建该数据集提供了资金？ 本研究由美国国家科学基金会IIS-2023998号拨款资助。 ### 2. 组成 (a) 构成该数据集的实例代表什么（例如文档、照片、人物、国家）？ 该数据集包含图像（.png、.jpg）、视频（.mp4、mkv）、纹理映射的点云（.ply）、分割掩码（.npz）、骨骼数据（.json）、物体模型（.obj）以及电子表格（.csv）。 (b) 总共有多少个实例？（如果适用，请按类型分别说明。） 详细分类信息请参见图1和论文正文中的表2。 (c) 该数据集是否包含了所有可能的实例？还是说它只是更大集合中实例的一个样本（不一定随机选取）？ 该数据集包含了所有可能的实例。 (d) 每个实例由哪些数据组成？ 每个数据实例对应一次物品交接交互，包含彩色图像、深度图像、点云、分割结果、骨骼数据和标注信息。 #### (e) 每个实例是否有关联的标签或目标？ 每次物品交接都对应一个物体三维模型。此外，每次交接还关联着丰富的元数据，包括参与者的舒适度评分、物体相关信息、参与者的人口统计资料以及实验人员的备注。每次交接的名称是根据参与者的编号以及该交互在整个序列中的位置编号来命名的。 (f) 单个实例中是否存在缺失的信息？ 数据采集过程中有少量Azure Kinect图像未能被收录。这些缺失帧对应的完整场景点云、骨骼数据和掩码也不存在。 (g) 各个实例之间的关系是否被明确标注出来（例如用户的电影评分、社交网络链接等）？ 所有实例都按照涉及的参与者配对明确分组。 (h) 是否有推荐的数据划分方式（例如训练集、开发/验证集、测试集）？ 目前没有推荐划分方式。鼓励该数据集的使用者根据自身应用需求对数据集进行划分。 (1) 数据集中是否存在错误、噪声源或冗余数据？有1%左右的Point Grey彩色图像受到了提取错误的影响。当使用系统中的深度传感器从较远距离采集数据时，深度数据可能会存在一定的噪声。不过通过二维分割以及基于三维的噪声和异常值去除技术，这一问题得到了缓解。据作者所知，数据集中不存在冗余数据。 (j) 该数据集是独立的，还是依赖于外部资源（例如网站、推文、其他数据集）？ 该数据集是独立的，不过其中包含了14个额外的物体三维模型。详情请参见表1。 (k) 数据集中是否包含可能被视为机密的数据（例如受法律特权或医患保密协议保护的数据、个人非公开通信内容等）？不。 --- 不。 (1) 数据集中是否包含直接查看时可能具有冒犯性、侮辱性、威胁性，或可能引发焦虑的内容？ 不。 (m) 数据集中是否标识了任何亚群体（例如按年龄、性别划分）？ 每位参与者填写的人口统计问卷中包含此类信息，不过数据集并未根据人口统计数据进行分类。 (n) 能否从数据集中识别出个体，无论是直接还是间接（即结合其他数据）？ 可以。该数据集包含了所有同意公开其颜色数据的参与者的颜色信息。 (o) 该数据集是否包含可被视为敏感的信息（例如，能揭示种族或民族背景、性取向、宗教信仰、政治观点或工会成员身份的数据；地理位置信息；财务或健康数据；生物特征或遗传数据；政府身份证件号码如社会保障号；犯罪记录等）？ 不包含。 #### 3. 数据采集过程 #### (a) 每个实例相关数据是如何获取的？ 图像是通过4台Microsoft Azure Kinect摄像头和4台FLIR Point Grey Blackfly S摄像头采集的。关于传感器的详细信息请参见第4节，采集流程的细节则见主论文的第3节。3D模型是使用Einscan-SP 3D扫描仪扫描得到的，具体细节见第8节。 #### (b) 采用了哪些机制或程序来采集数据（例如，硬件设备或传感器、人工整理、软件程序、软件API）？ 关于所用传感器的详情，请参阅第4节；关于数据采集流程的详情，请参阅主论文的第3节。除用于控制传感器的Azure Kinect API和Spinnaker API外，所有控制传感器和处理数据的代码均为内部编写。 (c) 谁参与了数据采集过程，他们是如何获得报酬的？ 学生被招募来负责数据采集工作。这些参与实验的学生可获得课程学分作为报酬。 (d) 数据采集的时间范围是什么？ 数据采集时间为2023年2月24日至2023年4月5日。 (e) 是否进行了伦理审查（例如，由机构审查委员会进行）？该项目在数据采集前已获得机构审查委员会的批准。 (f) 您是直接从相关个体处采集数据，还是通过第三方或其他来源获取？ 数据是直接从参与者处采集的。 (g) 相关个体是否被告知数据采集事宜？ 是的。参与者是自愿参与的。用于招募参与者的通知内容见第3节。向参与者宣读的关于所采集数据详情的说明也见第3节。 (h) 相关个体是否同意采集和使用他们的数据？ 是的，每位参与者都签署了知情同意书，同意被录像，并允许公开其颜色数据及非识别性数据。本研究中有两名参与者不同意公开其颜色数据，因此我们会隐藏其任何可识别信息，仅公开其非识别性数据。 (i) 如果已获得同意，是否为同意的个体提供了日后撤销同意或针对特定用途撤销同意的途径？我们多次提醒参与者，他们可以随时终止研究。同时明确告知参与者，他们可以要求删除自己的数据。 --- 参与者可在研究结束后随时通过与实验人员联系并提及自己的5位数字参与者编号来要求删除其数据。 (j) 是否对数据集及其使用可能对数据主体产生的影响进行了分析（例如，数据保护影响分析）？ 是的，例如我们开展了全面的风险评估，并通过知情同意书将相关信息告知参与者。参与者也有机会通过知情同意书要求不公开可识别的颜色信息。由于其中两对参与者中的一方选择了不公开可识别的颜色数据，因此我们的数据集并未发布这两对参与者的颜色数据。 #### 4. 预处理、清洗与标注 (a) 是否对数据进行了任何预处理/清洗/标注操作（例如离散化或分桶、分词、词性标注、SIFT特征提取、实例移除、缺失值处理）？ 是的，我们进行了标注并对图像运行了相关软件。详见问题4(c)。 (b) 除了预处理/清洗/标注后的数据外，是否还保存了“原始”数据（以便支持未来可能出现的意外用途）？ 是的。原始数据以视频和图像的形式单独保存。 (c) 用于预处理/清洗/标注数据的软件是否可供使用？ 是的。SAM [^6]、OpenPose [^2] 以及 Track Anything [^10] 均为公开可用软件。 ### 5. 应用场景 (a) 该数据集是否已被用于任何任务？没有。 (b) 是否有存储库链接到使用该数据集的所有论文或系统？ 由于该数据集尚未公开发布，目前尚无使用该数据集的论文。 (c) 该数据集还可用于哪些（其他）任务？ 该数据集可用于训练辅助机器人，以实现诸如居家养老护理，或在人们双手空闲或时间不足时帮忙取用厨具或食材等用途。 (d) 数据集的组成方式或其收集、预处理/清洗/标注方法是否会对未来应用产生影响？ 采用完全无创且无标记的数据采集技术，可能会影响获取密集的基准数据（如物体姿态）的能力，除非投入大量人工劳动。 (e) 有哪些任务不应使用该数据集？ 该数据集不应用于指示机器人不安全地递送物体，例如将刀刃直接伸向人类用户。 ### 6. 分发 (a) 该数据集是否会分发给创建该数据集的机构之外的第三方？ 是的。数据集在获批后将公开发布。 (b) 该数据集将通过何种方式分发（例如网站上的压缩包、API、GitHub）？ 数据集将托管在我们的本地数据中心，也可能上传至Google Drive和GitHub。更多详情见第2节。 (c) 该数据集何时分发？获批后即刻分发。 (d) 该数据集是否会依据版权或其他知识产权（IP）许可协议，和/或依据适用的使用条款（ToU）进行分发？ 是的，详情请参见第2段。 (e) 是否有第三方对该数据集中的实例相关数据施加了基于知识产权或其他方面的限制？ 没有。 (f) 该数据集或其中的单个实例是否受到出口管制或其他监管限制？ 没有。 --- ### 7. 维护 (a) 谁将负责支持/托管/维护该数据集？ 本研究的作者将负责托管和维护该数据集。 (b) 如何联系该数据集的所有者/策展人/管理者（例如通过电子邮件地址）？ 可通过论文首页列出的电子邮件地址联系所有作者。 (c) 是否存在勘误信息？ 没有。 (d) 该数据集是否会更新（例如修正标注错误、添加新实例、删除现有实例）？ 未来该数据集有望扩充更多真实标注数据，并针对特定应用场景进行定制，例如用于更高效的深度学习任务的二维背景替换。 (e) 对该数据集中的实例相关数据留存是否存在相关限制（例如是否告知过相关个体其数据会被留存固定时长后再删除）？ 该数据并未设置任何留存限制。向参与者提供的唯一说明是：他们可以选择不公开可识别的颜色信息。 (f) 该数据集的旧版本是否会继续得到支持/托管/维护？旧版本数据集仅会在此基础上扩充，不会被完全替换。 (g) 如果其他人希望扩展/增补/基于该数据集进行开发或贡献，是否有相应机制可供使用？ 目前还没有，因为该数据集规模较大，目前必须托管在我们的私有数据中心中。未来若采用高效压缩技术，或许有可能开展合作。 ### 3. 参与者表格与消息 本节我们将提供与参与者联系及参与者表格回复的更多细节。 参与者招募消息。参与者是通过研究开展机构内的沟通渠道自愿招募的。招募消息发布在线协作平台上（*表示为保护匿名性而做脱敏处理的信息）： 主题：招募参与者参与关于人类在人机协作中交接参数偏好研究 您收到此请求是因为这是该项研究在全机构范围内发布的招募公告之一。我们现招募参与者，以开展关于人类在人机协作中交接参数偏好研究。我们寻找年龄在18至99岁之间、无影响卷曲、抓握和举升动作的上肢残疾或损伤、且双手手指均无损伤的个体。 数据收集过程不会超过2小时。参与者需要填写一份人口统计问卷，并参与一系列实验，这些实验涉及与68个物体进行互动。 研究人员将使用Azure Kinect摄像头和Point Grey Blackfly S摄像头记录参与者的动作，以收集有关人体姿势及物体接触区域的数据。这项研究将有助于我们设计出能够感知人类交接偏好的机器人算法，从而确保人机协作的安全性。 所有参与者的安全至关重要。我们要求所有受试者在数据采集前3天内接受COVID-19检测。如果您无法在此时间段内进行检测，我们将为您安排检测。 为遵守CDC、州级及机构关于COVID-19的安全规定，参与者在实验开始前14天内不得离开*县地区。参与者将通过招募方式确定。 --- 如果参与者未出现以下症状，且过去14天内未曾出现这些症状：发热或寒战、咳嗽、呼吸急促或困难、疲劳、肌肉或身体疼痛、头痛、味觉或嗅觉丧失、喉咙痛、鼻塞或流鼻涕、恶心或呕吐以及腹泻，则符合参与条件。 如需参与本研究，请发送邮件至** *@*.。若您希望不再接收后续邮件，请回复说明您不想再收到有关研究参与的邮件。本研究的* IRB批准编号为*，* IRB办公室的联系方式为电子邮件*，电话(*__) *__-____。 参与者到达通知。在到达数据采集现场时，实验人员会向参与者宣读以下内容： 您好，我叫（研究人员姓名），我们正在进行一项研究，旨在了解人类对于实现安全人机协作的交接参数的偏好。 本研究旨在探究物体形态与功能之间的关系，以及人类对交接参数的偏好，例如握持物体的位置、期望的物体递送方向与距离，以及希望在交接的哪个时刻释放物体。我们的研究将有助于设计出能感知人类交接偏好的机器人，从而确保在家庭和工作环境中实现安全的人机协作，例如帮助老年人的辅助机器人。 今天，您将首先阅读知情同意书，随后参与实验：您需要逐一拿起这68个物体（如图所示），并将其递给您的搭档。实验开始时，其中一人将被指定为递送者，另一人则为接收者。递送者需将物体交给接收者，随后双方需在表格（剪贴板）上填写关于此次交接的反馈。采集数据期间，请将剪贴板放在椅子旁。实验进行到一半时，我们会要求您互换递送者与接收者的角色。在某些交接环节中，您可能需要佩戴蓝色丁腈手套。 如前所述，每次交接互动后，你都需要在纸质表格上填写反馈。在这份反馈中，你需要对刚刚发生的互动给出舒适程度评价，评分范围从1（“完全不舒适”）到7（“最舒适——完美的交接”）。你可以将1分理解为勉强完成的交接：此时你可能不得不采用别扭的抓握方式，时机不对，或者物体的位置或朝向并不理想；而7分则代表无法再改进的交接——在你看来，整个过程自然流畅。 在来回传递物体的过程中，我们会全程通过4台Azure Kinect深度传感器和Point Grey Blackfly S高速彩色摄像头对你进行记录，以便捕捉你抓握物体时的身体和手部骨骼信息，从而了解你握持物体的方式和位置。任何物体的最大重量不会超过8磅，大约相当于一加仑牛奶的重量；大多数物体的重量不超过2-3磅，且都是你在家中或办公室可能会用到的物品。 请切记不要过度挤压任何物体，因为有些物品很易碎。只需自然地抓握这些物体即可。我们还要求你遮盖掉颜色与蓝色手套或绿色窗帘相近的衣物（如有需要，我们备有中性色的衬衫）。最后，拍摄期间请尽量避免碰到相机支架，也不要移动椅子或桌子。中途我们会休息一次，更换角色，以便你能站起来活动一下。 为了你的安全，我们要求你遵守所有安全和距离规定，以尽量减少污染风险。 我们的数据集中会移除你的姓名，以免你的数据与个人信息关联。从今往后，你的所有数据都将通过5位数的ID号码来标识。 --- ![Image](images/b1bc61bf1deb8649906258f0da3ff50a664c84911efd1ea636800e22948a6135.jpg)
Figure 3: Template of the form completed by participants during a data collection session. The header changes depending on whether a participant is given the role of GIVER or RECEIVER.
请在本次研究剩余时间内妥善保管这张卡片，以备将来与我们联系之用。如果你在任何时候感到不适并希望终止研究，请告知我，我们会立即中止研究。你有权随时选择退出本研究，届时你的数据会被立刻删除。 如果你有任何疑问，我现在很乐意为你解答。 参与者纸质表格：参与者填写图3中的表格，以反馈他们对每次互动的舒适程度。每次交接互动后，参与者会在对应此前互动的列中标记其舒适程度。每组中标有数字1-7的列代表了每行的评分等级，参与者需在每列中标记一个方格，以此表明其对每次互动的舒适程度。 实验者表格：实验者在数据采集期间填写图4中的表格。表格中会记录传递者和接收者的ID以及他们的座位位置。由于物体是随机选取的，实验者还会记录每次互动所使用的物体ID。编号列则代表互动的序号。 纸质表格数字化模板：每次数据采集结束后，实验者会将参与者和实验者纸质表格中的所有信息录入图5所示的表格中。为确保实验者录入数据的质量，我们编写了代码来验证表格内容，包括检查物体ID、手套数量、传递者和接收者ID以及舒适程度评分。 ---
GiverID:ReceiverID:
right or left:right or left:
Serial no.Object IDSerial no.Object IDSerial no.Object IDSerial no.Object ID
1183552
2193653
3203754
4213855
5223956
6234057
7244158
8254259
9264360
10274461
11284562
12294663
13304764
14314865
15324966
16335067
17345168
Figure 4: Template of the form completed by experimenters during a data collection session.
### 4 数据采集系统 本节我们将详细介绍用于HOH任务的数据采集系统。 摄像头设置。我们的数据采集系统由一套$1.7m \times 1.7m \times 2.0m$ T型槽框架装置构成，配备4台微软Azure Kinect RGB-D传感器和4台FLIR Point Grey Blackfly S高速彩色摄像头。Kinect摄像头被配置为以每秒30帧（FPS）的速度拍摄彩色（$1920 \times 1080$像素）和深度（$640 \times 576$像素）图像。Point Grey摄像头配备2.8-10毫米镜头，能以60 FPS的速率拍摄彩色（$1440 \times 1080$像素）图像。所有提取的彩色图像均以.jpg格式存储，所有提取的深度图像则以16位.png格式存储。Kinect和Point Grey摄像头通过定制加工的3D打印支架被牢固地安装在采集系统的每个角落，安装高度约为地面以上4英尺，直接对准桌面。 如图6所示，每根垂直框架边缘各安装1对Kinect/Point Grey摄像头，框架前方和后方各安装2对。采集环境中放置了一张桌子和两把相对的椅子，摄像头的朝向能够完整捕捉物品交接区域以及两名参与者的面部、手部与身体姿态。Kinect深度传感器在拍摄距离传感器1.5到4英尺之间的目标物时性能最佳，因此将其安装在采集系统的角落，以确保桌面中心处于该范围内。Point Grey摄像头没有此类限制，它们被安装在角落立柱上、Kinect摄像头的上方，直接对准桌面，并经过配置以使尽可能多的场景处于对焦状态。系统顶部还安装了一台Dragon Touch摄像头，用于向采集空间外的实验人员提供实时视频画面，该画面不会被录制，如图7所示。所有Kinect摄像头均由一台高性能计算机控制，该计算机负责指挥摄像头、协调所有录制数据并将其传输至长期存储介质。所有Point Grey摄像头则连接到另一台功能相同的计算机。这种传感器、控制计算机及硬件的配置已经过测试，可支持最长15分钟的连续录制，且帧丢失率始终低于0.2%。 ---
giver id\nobject idright/left\ngiver responsemask? receiver responsi\ngloved?receiver idright/left\nbimanual?mask? stopped here?notes
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Figure 5: Template of the form completed by experimenters after a data collection session. Note that the form is truncated in length for display purposes, but the actual form extends to serial index 68.
网络配置。为了能够同时支持4台Kinect摄像头的录制工作，Kinect控制计算机配备了英特尔酷睿i9-9900k八核CPU和GeForce RTX 2060 Super显卡，同时搭载2块NVMe固态硬盘和3块传统固态硬盘，以满足大量录制数据的写入需求。由于Point Grey传感器无需使用显卡，因此其控制计算机采用了Ryzen Threadripper 1900x八核CPU和GeForce GTX 1080ti显卡；该计算机同样配备了3块NVMe固态硬盘和2块传统固态硬盘，以实现数据的实时写入。Kinect和Point Grey摄像头均通过USB 3.0接口连接到各自的控制计算机。两台传感器控制计算机都使用了独立的PCIe USB扩展卡，以便在数据处理时充分利用主板上的通道资源。两台传感器控制计算机均连接到一台托管在576TB网络附加存储设备（NAS）上的管理型DHCP服务器。该NAS不仅负责实现计算机间的通信，还作为系统采集数据的长期存储介质，其与NAS之间的连接速率为10千兆，可有效避免数据传输瓶颈。图8展示了构成采集系统网络的各设备间的连接关系。 数据同步。来自同一台Kinect的彩色、红外和深度帧在硬件层面是同步的，但不同设备产生的帧之间则没有同步关系。我们利用每次录制中出现的亮绿色闪光来标识彩色图像中的时间步。这种闪光可通过图像差分技术自动检测出来，该技术会计算图像特定区域的绿色强度平均值。当光线熄灭时，该技术能自动识别出帧间绿色强度的显著变化。每台彩色摄像头都能自动检测出光线最后一次熄灭的帧，该帧被视为录制的第一帧。新第一帧的帧索引会被传递到每台Kinect的彩色图像流所对应的深度和红外图像流中。通过人工查看包含各摄像头图像的图块，验证每次录制的同步情况——这些图块展示了同步光熄灭前、熄灭时及熄灭后的三帧图像序列。如果 --- ![Image](images/61a779300bae6c07d235feee164a9a82b50ef2b74ab19e5763413efb5bbe03c0.jpg)
Front View
![Image](images/0e9b3603e61967354fc821194f8009f488ef78f6828c225b1d06ee8fcfd6ad1d.jpg)
Back View
Figure 6: Capture setup showing placement of cameras and seating.
![Image](images/0eb646a16f6c22e05e94201e4966f224f8a5428488e90c6a3c82b81b641dbe69.jpg)
(a)
![Image](images/3b9c1fb03491db19bfa1b4a7ce7a1a827cdc0dee2fbb27cddef8d3897bce362f.jpg)
(b)
Figure 7: (a) DragonTouch camera that provides (b) a live feed into the capture environment.
--- ![Image](images/e16b351bc04cba373ab8ca90851f4bbe6e5c8ae73eac8b7dcc9018f6c7fe655a.jpg)
Figure 8: Networking diagram with Point Grey cameras in red and Kinect cameras in blue. Both camera types are connected to the respective control computers via USB 3.0. The control computers are connected to the NAS, where all data is stored.
![Image](images/4031b695fe04c302b0f23ca601619b1cd973f94a4953ba0d8e9788299641ea7d.jpg)
(a)
![Image](images/1cd50e3b21e000ce004c2e707285538d07b80ae8a57fc99126d7989b11d3cdf8.jpg)
(b)
Figure 9: View of the calibration from the corner 0 (a) Kinect color and (b) Kinect infrared sensors.
图块格式不符合上述要求（此类情况占比不到15%），则需手动调整新第一帧的索引，使其对应各彩色图像流中光线实际熄灭的位置，从而修正同步偏移量。 传感器校准。我们采用类似张氏方法的棋盘格相机校准法[^12]来获取传感器的内部参数以及描述传感器对之间相对位姿的外部参数。所用的棋盘格校准目标为打印在纸上的6×9黑白棋盘图案，该目标被固定在刚性背板上以确保其始终保持平整；棋盘格的边长为30毫米。校准目标上的黑白方块在彩色图像和Kinect红外图像中均具有明显对比度。Kinect红外图像用于校准Kinect深度传感器；我们会在每个角落分别将彩色传感器与Kinect深度传感器进行校准。成对深度传感器也会被一起校准，以便覆盖采集系统的各个角落。这种方案使得采集系统中任意传感器的数据都可通过最多3次外部变换操作转换为其他传感器的数据。每次校准过程中，会有一人在采集系统内移动，同时不断调整 --- ![Image](images/4c8c8593984f2c139ec404ea8dc4dff954cf6fc0cdea236dbfbfafe23c84d865.jpg)
Figure 10: The annotation tool for selecting key events. Inputs are keypresses that correspond to temporal scrolling, frame selection, and saving.
棋盘格的位置，确保被校准的传感器能够看到它，从而使棋盘格覆盖摄像头的整个视野及所有可能的位姿空间。为了准确估算传感器的内部和外部参数，这一过程必须细致完成。内部和外部参数是利用MATLAB中的立体相机校准器应用[^7]计算得出的。 数据采集阶段分为两大参与者组，每组分别接触一组由68个物体组成的物品集。在录制每组数据前都会进行传感器校准，因为此时恰好是录制过程中的自然间歇期，便于开展校准工作。为减少传感器随时间漂移产生的误差，校准会重复多次进行。每次全系统校准包括对每个单独传感器的内部参数估算，以及按照上述方案进行的多传感器对之间的外部参数估算。为确保平均像素误差小于0.5，每次内部校准会使用超过200张图像，外部校准则使用超过1,000张图像。 为了获得最优的点云场景重建结果，我们以Kinect深度传感器0作为参考坐标系，并手动微调外部参数，从而将来自任意深度传感器的数据准确转换到该参考坐标系下。具体做法是应用立体校准得到的外部变换参数，将深度传感器1、2、3所生成的反投影点云，在单次交互中转换到深度传感器0的坐标系下。借助基于Python的vedo库开发的工具[^4]，我们手动旋转和平移点云，同时利用迭代最近点算法来微调其与参考坐标系下点云的对齐程度。这些微调后的变换参数会被保存下来，用于后续的点云融合过程。 ### 5 关于真实值标注和数据处理的补充细节 在本节中，我们将补充介绍主论文第3节中提到的手动标注流程以及用于获取真实值数据的自定义工具的相关细节。同时，我们也会详细说明主论文第3节中介绍的后期处理掩码跟踪任务的实现与执行细节。 关键事件选择。标注人员使用自主研发的工具，手动从每次交互中选取3个时间点作为关键事件，它们分别代表：标志着抓取阶段开始的首次给予者接触时刻，记为G帧；给予者和接收者同时握住物体的时刻，即物体传递阶段的中间点，记为T帧；以及接收者最终接触到物体的时刻，也就是交接阶段的收尾时刻，记为R帧。如图10所示，标注工具… --- ![Image](images/a76a951e5c0d57a3a35f234537835303f297024a285fd1c1201257fc4ca83d9b.jpg)
Figure 11: The annotation tool for selecting masks from the full image segmentation. Inputs are mouse clicks and keypresses which correspond to mask selection and saving, respectively.
该工具利用OpenCV [^1] Python库来显示图像并接收用户输入。标注人员通过按键来选择关键事件，他们还可以按时间顺序浏览录像中的所有图像，从而为所有交互选取关键事件。一旦选定所有关键事件后，它们会被保存为.json文件。 分割掩码选择。对于每次交互中四台Kinect彩色摄像头采集的每一个关键事件，标注人员会使用图11所示的专用工具，从约60个场景分割掩码中选出3个：分别是给予者的手、物体以及接收者的手的掩码。需要注意的是，帧G中不存在接收者的手，帧R中不存在给予者的手，而帧T中则同时包含这三类目标。标注人员通过点击图像中的给予者手、物体或接收者手来选择对应的掩码，程序会高亮显示所选掩码。若掩码正确，标注人员会继续选取下一个掩码；若掩码有误，则需分别通过左键和右键点击更多前景点与背景点来优化该掩码。如果没有标记任何背景点，则认为所点击的掩码是正确的。若同时标记了前景点和背景点，图像会被送入SAM模型，具体来讲是载入默认模型检查点的SamPredictor，以生成仅包含手或物体的掩码，随后标注人员再通过输入的点来进一步细化以得到正确的形状。如果手或物体被摄像头遮挡，则标记为“被遮盖”。无论何种情况，所选的给予者手、物体及接收者手的掩码都会经过严格验证：将所选掩码叠加到各彩色图像上进行视觉审查。在此验证步骤中，由另一名标注人员而非最初为该帧选择掩码的标注人员来判定所选掩码是否正确。其中约15%被判定为错误的掩码后来通过交互式工具得到了修正。所有点击的点以及这些点对应的掩码索引均被保存在.json文件中。 抓取分类体系。正如主论文第4节所述，我们按照Cini等人[^3]提出的抓取分类体系对所有物体抓取方式进行了归类。图12展示了全部28种抓取方式及其图像示例。强力抓取（采用强力握持方式）、精准抓取（采用精细操控方式）以及中间型抓取（同时运用强力与精准操控方式）是三大主要抓取类别。强力抓取和精准抓取又可细分为棱柱形和圆形两种抓取类型，而中间型抓取则分为侧向型、棒状型和书写型。强力棱柱形抓取进一步分为重包裹型、掌面包裹型以及中型和大型包裹型；强力圆形抓取分为两类，一类适用于盘状物体，另一类适用于球状物体。精准棱柱形抓取则根据抓取物体所用的手指数量分为4类。精准圆形抓取除了盘状和球状类别外，还新增了三脚架型类别。每个最底层类别包含1至4种抓取类型，这些类型以字母C或F加数字命名。 --- ![Image](images/750318160356dcbfd36f434c6fcaf4791a6b0f5e66876b11361256c23db79cf7.jpg)
Figure 12: Grasp Type Taxonomy with image examples for all 28 grasp types. The grasp name is under each image.
![Image](images/8d4a01c06c5c2cf8156bffdf372ed29227830b96af75173c950b004ab2e01b22.jpg)
(a)
![Image](images/75b9108e4163bfc3d6adb2d6015b12796404c26449cd6973b1fdb64a2a6ab471.jpg)
(b)
Figure 13: Hand and object mask tracking with the giver's hand in blue, the object in yellow, and the receiver's hand in red. The giver hand mask is increasing up the giver's arm from (a) Frame G, to (b) Frame T.
--- 掩码跟踪。掩码跟踪方法具有鲁棒性，能够生成在某一关键事件标注掩码中可能被遮挡的手部或物体的中间帧轨迹。Track-Anything [^10] 需要输入掩码和一组图像；例如，对于给予者手部轨迹，输入为第G帧的给予者手部掩码以及从G到R的一系列连续帧；对于物体轨迹，输入则为第G帧的物体掩码以及从G到R的一系列连续帧。这种方法在逆时间顺序下同样有效，比如对于接收者手部轨迹，输入为第R帧的接收者手部掩码以及从R到G的一系列连续帧。如果给予者手部、物体或接收者手部在真实标注的关键事件帧中被遮挡，我们会将另一帧关键事件标注传递给跟踪程序。由于实体及其潜在的遮挡源会随时间移动，某个实体在所有标注的关键事件帧中都被遮挡的可能性很低。掩码跟踪误差的一个潜在来源是轨迹会在连续帧中逐渐扩张，尤其是当参与者未穿长袖时，手部掩码更容易出现这种情况，如图13所示。单次交互中涉及的物体、给予者手部和接收者手部的所有跟踪掩码均按时间正向排列（即从G到R的顺序），并保存为压缩的.npz文件。 o2gg和g2rg的网络与训练细节：它们的基础网络PoinTr [^11] 的超参数被用作默认值，即训练300个周期，学习率为0.0005，批量大小则根据PoinTr实现自动确定为24。我们直接采用了PoinTr的原始实现。对于g2rt，学习率保持Informer [^13] 的默认值0.0001，批量大小增至64，训练周期设为1,000。由于我们处理的是空间轨迹生成问题，Informer仅使用了位置编码，而摒弃了时间嵌入。对于o2or，批量大小为24，学习率为0.001；由于网络规模较小，训练误差下降迅速，因此训练周期设为80。在o2or中，原始的PointNet [^8] 编码器用于生成1,024维的全局特征向量，该向量随后被送入结构为(1,024,128,64,4)的多层感知机，以输出旋转四元数的x、y、z和w分量。 ### 6 计算与训练细节 计算资源与标注时间估算。计算资源被用于以下非实验用途：提取与同步过程基于CPU运行，在配备AMD Ryzen 2700X处理器的3台计算机上总计耗时约240小时；对所有Kinect彩色图像进行全场景Segment Anything Model (SAM) [^6] 分割处理，在9块NVIDIA 3090和2块NVIDIA 3090Ti GPU上总计耗时约3,000小时；中间帧实体掩码跟踪在5块NVIDIA 3090 GPU上总计耗时约450小时；点云处理对CPU要求较高，在配备AMD Ryzen 2700X处理器的20台计算机上总计耗时约1,500小时。标注员完成数据集的所有标注工作共耗时约580小时。 用于实验结果的计算资源：我们使用配备四块NVIDIA M40 GPU、两块Intel Xeon E5-2640 v4 CPU以及128GB内存的自有服务器，来训练和测试o2gg与g2rg的神经网络。对于o2or的神经网络，我们则使用两台自有服务器进行训练和测试。第一台服务器配备两块NVIDIA 3090 GPU、两块Intel Xeon E5-2640 v4 CPU以及256GB内存；第二台服务器与第一台配置相同，但内存为128GB。至于g2rt的神经网络，我们采用一台配备一块NVIDIA 3090 GPU、一块Intel i5-10600K CPU以及64GB内存的自有服务器进行训练和测试。 ### 实验的7种额外输出结果 图14至图19展示了在完整数据和部分数据上运行o2gg、g2rg和o2or的进一步可视化结果。这些图像左侧显示的是与真实值接近的结果示例，右侧则是偏离真实值但依然合理的输出示例。 --- ![Image](images/58b2b2c141575c6b7a1b386ae3afa66c67f49dc4a7825f0ca46e1e6dd43eeebf.jpg)
Figure 14: Additional results of o2gg using complete data. Predicted grasp in green versus GT grasp in light gray on input object in dark gray. Examples shown where grasp is close to GT (left) and grasp though deviating from GT is plausible (right).
![Image](images/e60a9dad87af718f74972f766221f9b1d7c86beaa349090ea0d9130483408c27.jpg)
Figure 15: Additional results of g2rg using complete data. Input object and giver are in dark and light gray. Predicted receiver grasp in blue versus GT receiver grasp in medium gray. Examples shown where grasp is close to GT (left) and grasp though deviating from GT is plausible (right).
--- ![Image](images/4788a1bbe2f7ae52b6a27358ade2c81e07f47f3e1d27c06807b34be74fa5c471.jpg)
Figure 16: Additional results of o2gg using partial data. Predicted grasp in green versus GT grasp in light gray on input object in dark gray. Examples shown where grasp is close to GT (left) and grasp though deviating from GT is plausible (right).
![Image](images/1247364e2267109314be208ddfbb0d02c57e883027b6e9c3729903c8fdb2f674.jpg)
Figure 17: Additional results of g2rg using partial data. Input object and giver are in dark and light gray. Predicted receiver grasp in blue versus GT receiver grasp in medium gray. Examples shown where grasp is close to GT (left) and grasp though deviating from GT is plausible (right).
--- ![Image](images/42bfb20808e74877c39ff3745d53187d4c09e2e51ebad0ea0598c9fe7f4c5a53.jpg) 图18：使用完整数据的o2or额外结果。紫色代表预测的方向，橙色代表真实值方向；左侧为方向与真实值相近的示例，右侧为虽偏离真实值但依然合理的方向示例。 ![Image](images/f7706963ca0965cc38a872b2a82e188c94a5e10ade5977efce87297545ee5849.jpg)
Figure 19: Additional results of o2or using partial data. Predicted orientation in purple versus GT orientation in orange, with examples shown where orientation is close to GT (left) and orientation though deviating from GT is plausible (right).
### 8 物体数据集的创建 我们为本研究收集了136个物体。所有物体均为桌面级大小，即能够独立放置在桌面上；重量均不足2.5公斤；至少有一个维度的尺寸小于6英寸，以便人类单手抓取。 其中116个为市售物品，剩余20个是根据微缩模型和易腐物品（如水果）的CAD模型3D打印而成。包括52个市售物品在内的多种日常用品表面光滑或颜色较深，会导致Kinect的红外飞行时间传感器性能不佳，进而产生较差的深度数据。我们对这52个物体中的大多数涂上了白色哑光喷漆，少数喷漆无法附着的部分则用胶带固定。 我们使用Einscan-SP 3D扫描仪搭配EXScan S软件，为116个市售物体获取高保真网格模型，如图20所示。这些网格模型以原点为中心、按标准方向排列在边界框内。我们会在Autodesk Netfabb中对网格进行手动清理，去除实物中不存在的多余部分或扫描瑕疵。图21展示了原始网格与清理后的网格示例。清理后的网格可能存在孔洞，但根据Stutz和Geiger的方法[^9]，其已被处理为密封模型。我们还会将每个网格旋转到人工确定的标准方向。 --- ![Image](images/4d96c4e6ea679b6a3ea325311bbf33f9af5b01eb3208f89bc2011c0d077f4d9f.jpg)
Figure 20: The Einscan-SP 3D scanner (bottom center) with object on turntable being scanned (center right) and EXScan S software compositing the scan (top left).
为方便使用，这些高保真网格会通过二次简化算法统一简化为4万个面。我们在进行二次简化前，会将元数据存储在密封的网格中。我们会用厨房秤测量物体的实际重量。 我们在表3中提供了本研究所用全部136个物体的元数据信息。其中物体116和120的元数据来自Thingiverse上发布的原始网格，如表2所示。图22至图38展示了这136个物体的3D模型渲染图，这些模型按本研究划分的17种宽高比和功能类别归类。 ![Image](images/e4c9f96e17468eda251498e88f5c65c6f47743e5225ad403c67bc3c69e4a9836.jpg)
(a)
![Image](images/53ea411da228ab8c81cd868a8fe20a7867218c534a6a3ff82f9f0dd90b64eae9.jpg)
(b)
Figure 21: (a) Original mesh from scanner and (b) manually cleaned mesh.
---
Table 3: Metadata for each object mesh used in HOH.
IDDescriptionMass (g)VerticesFacesTypeAspect Ratio
100Rubik's Cube small751,449,2552,506,594NFNHV1:1-2:1
102Tennis ball671,249,9992,499,994NFNHV1:1-2:1
1061" PVC Tee671,235,5982,471,414NFNHV1:1-2:1
1071" PVC 90 degree elbow531,249,9992,499,998NFNHV1:1-2:1
1091" PVC Coupling311,249,9992,499,998NFNHV1:1-2:1
1102" PVC Coupling591,249,9952,500,014NFNHV1:1-2:1
114Lint roller refill801,241,7352,483,672NFNHV2:1-3:1
123Joystick2311,250,0072,501,696NFNHV2:1-3:1
T001Doll165854,3751,709,430FNHZ>3:1
132Lady statue176741,2121,482,424NFNHV>3:1
134Power strip tower591374,362748,792NFNHV>3:1
135Incense holder2771,234,1002,468,686NFNHV>3:1
200Playing Card Deck 4pk1031,248,8972,497,828NFNHZ1:1-2:1
201Lifesaver Candy Box2421,228,0212,456,092NFNHZ1:1-2:1
202Ramekin2681,249,9992,499,994NFNHZ1:1-2:1
203Cookie pan9732,034,2114,732,076NFNHZ1:1-2:1
204Cutting board7621,249,9992,499,998NFNHZ1:1-2:1
206Comp. notebook3221,282,8942,715,282NFNHZ1:1-2:1
207Spiral notebook491,249,8182,502,330NFNHZ1:1-2:1
211Gift box1031,249,9952,500,030NFNHZ1:1-2:1
213Butter dish2161,250,0002,499,996NFNHZ2:1-3:1
216Microwave omelet cooker1141,199,0802,398,176NFNHZ2:1-3:1
217Qtip box (2pk)2961,186,8892,373,786NFNHZ2:1-3:1
220Travel palette2301,043,6282,087,264NFNHZ2:1-3:1
222iPhone Case291,095,6912,191,526NFNHZ2:1-3:1
223iPad case3051,246,9342,521,020NFNHZ2:1-3:1
224Level52580,2341,160,500NFNHZ>3:1
225Aluminum foil box181926,6671,853,330NFNHZ>3:1
301Glass jar/lid7381,249,9992,499,994NFNHV1:1-2:1
3031Gal storage container1731,249,9902,500,008FNHV1:1-2:1
304Ball pencil sharpener154249,156498,308FNHV1:1-2:1
305Tin of frosting3861,249,9992,499,998FNHV1:1-2:1
308Picture frame 11x147641,250,0132,500,070FNHV1:1-2:1
309Pringles can (short) (12pk)1041,249,9642,500,044FNHV1:1-2:1
310Campbell's soup 10.75oz (8pk)3511,209,0732,418,368FNHV1:1-2:1
311Wrap bandages 2" 6pk191,249,9972,500,006FNHV1:1-2:1
314Canned Green Beans4731,249,8822,501,408FNHV2:1-3:1
315Whoppers carton3821,249,9952,499,998FNHV2:1-3:1
316Bottle of glue179848,2351,696,478FNHV2:1-3:1
317Laundry crystals513936,8351,873,678FNHV2:1-3:1
318Powerade6321,068,0252,136,090FNHV2:1-3:1
320Soap pump1021,061,8392,153,150FNHV2:1-3:1
322Liquid hand soap 50oz20441,250,0292,500,164FNHV2:1-3:1
323Hand wash pump4151,249,9992,499,998FNHV2:1-3:1
326Spray bottle541,095,5182,191,040FNHV>3:1
328Lysol disinfectant685922,1561,844,316FNHV>3:1
329Pringles can1981,127,3672,254,946FNHV>3:1
330Spray cheese2931,106,3932,213,170FNHV>3:1
332Water bottle 20oz3341,249,3522,499,096FNHV>3:1
333Water bottle 17oz300734,1821,468,372FNHV>3:1
334Tennis ball container471,249,6922,500,012FNHV>3:1
335Salt/pepper shakers1071,195,3772,390,772FNHV>3:1
F001Macaroni & Cheese Box (3pk)3691,249,9972,499,998FNHZ1:1-2:1
402Cheese dip2821,237,9362,476,016FNHZ1:1-2:1
403Pastry scraper204150,0092,300,020FNHZ1:1-2:1
404Salad hands107475,852951,728FNHZ1:1-2:1
406Tupperware medium651,249,9822,500,098FNHZ1:1-2:1
408Wireless comp. mouse511,250,0002,499,996FNHZ1:1-2:1
410Spring clamp671,102,8782,205,778FNHZ1:1-2:1
411Pringles pack (small) 18pk291,237,2262,474,582FNHZ1:1-2:1
4124" paint brush83579,7901,161,096FNHZ2:1-3:1
4156oz can1801,240,3412,480,686FNHZ2:1-3:1
---
416Long tissue box2991,249,9992,499,998FNHZ2:1-3:1
417Peeler37358,598720,790FNHZ2:1-3:1
418Pizza cutter55793,8961,588,056FNHZ2:1-3:1
419Garden trowel187390,889781,782FNHZ2:1-3:1
421Cleaver399380,195760,131FNHZ2:1-3:1
423Hatchet950636,3051,272,694FNHZ2:1-3:1
424Stapler150967,1711,934,418FNHZ>3:1
426Flat iron161481,708963,424FNHZ>3:1
0010Big Eraser2141,237,9992,476,030FNHZ>3:1
430Hand rake228418,414836,844FNHZ>3:1
432Ice pick93324,325648,680FNHZ>3:1
C003Ice Cube Tray1031,241,9452,484,010NFNHZ2:1-3:1
434Rubber scraper39293,714587,428FNHZ>3:1
435Curling iron196370,451740,898FNHZ>3:1
500Measuring cup791,249,9952,500,006FHV1:1-2:1
502Ceramic mug (2pk)3581,249,9992,499,998FHV1:1-2:1
503Clorox 64oz20691,249,9942,500,000FHV1:1-2:1
505Coffee mug (small, handle)2331,249,9942,500,008FHV1:1-2:1
507Cream holder5351,250,0162,500,092FHV1:1-2:1
508Flour sifter1391,229,8752,459,966FHV1:1-2:1
509Hot glue gun861,008,9842,017,984FHV1:1-2:1
511Travel mug 7 (handle)3781,158,3502,316,908FHV1:1-2:1
513Saucepan 26171,118,0182,236,046FHV2:1-3:1
514Hand bell74769,8461,540,082FHV2:1-3:1
516Spatula/turner146316,995610,792FHV2:1-3:1
517Clorox spray bottle739978,0531,956,130FHV2:1-3:1
518Tide spray bottle5001,034,1112,068,234FHV2:1-3:1
519Glass pitcher 60oz6141,249,9992,499,998FHV2:1-3:1
520Travel mug 4 (handle)4251,282,7592,500,002FHV2:1-3:1
522Travel mug 6 (handle)4491,280,8152,499,998FHV2:1-3:1
525Thin flash light55514,7931,029,594FHV>3:1
526Long lighter (6pk)35199,958399,916FHV>3:1
527Coffee press2341,242,8222,485,672FHV>3:1
528Handheld grater/zester93871,3791,846,140FHV>3:1
530Travel mug 3 (handle)3921,249,9942,500,000FHV>3:1
531Travel mug 10 (handle)3741,249,9152,500,098FHV>3:1
533Toilet brush166515,3171,031,586FHV>3:1
534Grill brush313743,9191,488,358FHV>3:1
601Pastry cutter1681,232,1412,465,350FHZ1:1-2:1
602Pizza peel375993,0581,987,112FHZ1:1-2:1
603Paint roller frame212552,5521,105,252FHZ1:1-2:1
605Ping pong paddle (2)132785,6061,571,540FHZ1:1-2:1
606Pickleball paddle (2)2421,258,0152,525,668FHZ1:1-2:1
607Locking c-clamp pliers 6"51906,7251,813,462FHZ1:1-2:1
610Dustpan1201,246,3082,495,334FHZ1:1-2:1
611Brush ^1801,240,3212,480,836FHZ1:1-2:1
701Xbox controller2061,250,0002,499,996other1:1-2:1
702Playstation controller2291,235,3242,470,656other1:1-2:1
703N64 controller1691,249,9992,500,018other1:1-2:1
704Gamecube controller1561,248,3402,496,698other1:1-2:1
706SNES controller (2pk)67935,4431,870,902other1:1-2:1
708Wii classic controller (2pk)1141,250,0312,500,106other1:1-2:1
713Loaf pan9161,250,1112,500,444other1:1-2:1
714Rolling pin573761,8061,525,708other1:1-2:1
104Apple885,64411,285NFNHV1:1-2:1
105Bell pepper8721,09442,184NFNHV1:1-2:1
115Santa41246,876493,744NFNHV2:1-3:1
116Deco vase146103,896207,788NFNHV2:1-3:1
118Column pot545741,144NFNHV2:1-3:1
120Baby yoda statue56778,2921,556,670NFNHV2:1-3:1
121Short spiral ornament2144,75289,500NFNHV2:1-3:1
122Candle lantern11286,431173,082NFNHV2:1-3:1
124Pineapple748,10816,278NFNHV>3:1
126Zucchini42340,012680,020NFNHV>3:1
--- 宽高比：1:1–2:1 NFNHV ![Image](images/8080d56cc9ba3ac742739c0fea82c00549f776b2731c9d985449ca4e28d79fb0.jpg) 魔方 ![Image](images/35c3aa2058500a34f09cb8d7b5b7ce8a6caae1363298e425e2fd6ad23469a075.jpg) 网球 ![Image](images/283651bd8c6f1f990872fe8f7b677fcabf673de9b925b911df6927643f27ef32.jpg) 苹果 ![Image](images/5e25c2e1b2063ef882fcdf66b3e23cd778cd24419d1afa554af4b95356e0ef21.jpg) ![Image](images/2c74cae24010907d120dc7fa820e3ae6bb37409cb9054e9894ebbd7ee68222df.jpg) 甜椒 1英寸PVC管接头 ![Image](images/fca16a4cf50cae9d45c220adc7c393a494288a7e62899d85bf2bac41837c8ab5.jpg) 1英寸PVC三通管件 ![Image](images/b45dd8d19fd16f3c5851e6e5c954bcb5ddd5c7dc06887e386bd730788356eef2.jpg) 1英寸PVC 90度弯头 ![Image](images/1c42eaf4ba8d9e5172ef7375bf8d4759c510c2b2cf2e3d63ee9c7b332ef49792.jpg) 2英寸PVC管接头
Figure 22: Objects from bin 1 which have the aspect ratio 1:1-2:1 and are NFNHV
![Image](images/d8325f0163dffde60f5d8806c4cf3e4bc18c7cc4e8d20a2f44607641c8ff7dc0.jpg) 卷笔刀芯 ![Image](images/4c92b956b72cdcced6c1f90e8c03c26779562a7ecc03fb4b320ea6804638fcff.jpg) 圣诞老人 ![Image](images/16b8376423d63b391b9c9810e282ea711b5177aefff908279f9183a66c1ed67e.jpg) 装饰花瓶 ![Image](images/ac6d3f033608209e0c8e565afcf9e5ad5ea3d10afb67069dcafb735629aff36a.jpg) 烛台灯笼 柱状花盆 ![Image](images/2cd5741f09d8076996942530c631de762742a0447f1d23cdb9b4410d48cc1f52.jpg) ![Image](images/7d2931015795317459e8566ca3109e97aad3478d6bb2eee8d212286a9b7d2480.jpg) 小Yoda玩偶 ![Image](images/a2e86acde4f6b62b827439605e9c9ef263dfc44f54d15311f4c84fa08d482b78.jpg) 螺旋装饰品 ![Image](images/50e308d9ac3076dfdf9dcd9e533a6d373a339a1362d80c9baad1b87c6bfd0d56.jpg) 游戏摇杆
Figure 23: Objects from bin 2 which have the aspect ratio 2:1-3:1 and are NFNHV
127Twist vase351,077,0602,514,160NFNHV>3:1
128Nefertiti head901,249,9992,499,998NFNHV>3:1
129Statue of liberty64101,710203,471NFNHV>3:1
221Balancing bird26317,622635,480NFNHZ2:1-3:1
228Banana535,62511,246NFNHZ>3:1
232Eggplant19276,634153,260NFNHZ>3:1
233Saw blade handle192,5055,014NFNHZ>3:1
234Model A Roadster5158,191118,146NFNHZ>3:1
235Star wars ship model4295,825191,704NFNHZ>3:1
236SUV model3726,01252,036NFNHZ>3:1
### 参考文献 [^1]: G. Bradski. The OpenCV Library. Dr. Dobb's Journal of Software Tools, 2000. ## [^2]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: realtime multi-person 2d pose estimation using part affinity fields. IEEE transactions on pattern analysis and machine intelligence, 43(1):172–186, 2021 --- ![Image](images/3a13cde2c584043193dce642499e52bfe3daa53d7cf292db3a3a53a463542f0a.jpg) 菠萝 ![Image](images/57f05de7904bfb93c2c46164d3c02c0632ef69317ad72623aaa3653e6b9b8993.jpg) 西葫芦 ![Image](images/ace420b16bdb5065ece22694833e3c3389dfe8e10673dca218548aeef6096c01.jpg) 奈菲尔塔利头像 ![Image](images/36c0a7fcc363595e072d9c178dafb2105a4982c9b77be1968bc4b2cc14cf7acf.jpg) 扭纹花瓶 ![Image](images/7dcccba413b66f3b28d0ed0f37ce278684f458c58cf2ade6aaec6a3a56c01e71.jpg) 电源插排塔 ![Image](images/a99588dfeb95bdd63d3e03a44ba94623583d4af61dc7599c8b1b4971d72bd088.jpg) 自由女神像 ![Image](images/d1242eaac5fcc5da81be65f609dd84ab0c8066d6bb6b51a9b3fa372d27690803.jpg) 女士雕像 ![Image](images/2ea9a616241a003ac82928c8d4d9542e1fbdd758ac629e89c57210c598c6bc82.jpg) 香炉
Figure 24: Objects from bin 3 which have the aspect ratio >3:1 and are NFNHV
宽高比：1:1-2:1 NFNHZ ![Image](images/8188ddf3046f366155ed14730d80be2333fa8382ee61a4417ef973dc57677323.jpg) 扑克牌组 ![Image](images/d593851b449b80c08d1e01b60d30a720b0aec533eff1a9aa9b17098979b90a7a.jpg) 救生圈 ![Image](images/9d683b76e8806042595feba36399a628603d60a7f1c2bd14635dc4bacde1c8ba.jpg) 饼干烤盘 ![Image](images/25f37acc7ddb3132c403aee3a789b240670d8e65497dfc3adf439e954fa8638e.jpg) 小烤碗 ![Image](images/a2d74edfc7661506fb38b87ba3a7b6103e3de55c893c9c4af9f3c5f859275ece.jpg) 切菜板 ![Image](images/e0eacfadec143d907a8d403568639d7014b417fda8897c74f8d897165e3e3f9b.jpg) ![Image](images/f89a7d1677b59bf194a251078d5dae233041bb4c27c72661681da83c2b9e398d.jpg) 螺旋笔记本 电脑笔记本 ![Image](images/5cc72041f1623c2af4b356b7d3d02e7c5b46868590ad98bf74e26506f18637eb.jpg) 礼品盒
Figure 25: Objects from bin 4 which have the aspect ratio 1:1-2:1 and are NFNHZ
![Image](images/7a1abd6cc576f81fe20eb942a77b6701329f29975f7bda1d07792cd1a116cb19.jpg) 冰块托盘 ![Image](images/e70aca8b21a15b6384aa4a8d77edf554cbf7065c19f159d850a768ec2169afe4.jpg) 黄油碟 ![Image](images/f7f58281cf493da71345b6498e240881b08b664f3a1685a2313a1093ceab369f.jpg) ![Image](images/c219c0a931759e46b4d4b6512e1f4f47a4aa5f304cb2598fe09a12a5b6915507.jpg) 棉签盒 微波炉煎蛋器 ![Image](images/7f8e96df95f87392d0f7b4af8cd85ee179f5c510e4c0fbcb4cf6f531d50dab6c.jpg) ![Image](images/e31351f7c71d8fe111e8dda9044be23e78473bbd8f009a23432ef11e88fee8ca.jpg) 旅行调色盘 ![Image](images/90132cedce8b79635cf52356e28c6ebbd71afdf484ce653bbc6e47fee88fa9f2.jpg) 平衡鸟摆件 ![Image](images/c7f569321d1d9909252baa93a4b5e44d5ec813dc3a4f18679d7469a5880b23ad.jpg) iPad保护壳
Figure 26: Objects from bin 5 which have the aspect ratio 2:1-3:1 and are NFNHZ
--- 宽高比：>3:1 NFNHZ ![Image](images/07764f8c339cf4afbace462cf38a09ec148543c9da8878b6be6b89727d975f40.jpg) 水平仪 ![Image](images/bac202b9aa4d78bace29176eff7dfcf2e8b970108fab93337845f2ff3f897b22.jpg) 茄子 ![Image](images/7481dbec34a9cbb7a57061db2c603591c1fc062faf2c49c5926ce0cde255ded3.jpg) 铝箔盒 ![Image](images/c12a03803ed42996030616f9dc2ef5cd48603c9602adc2eada275f726651a1ba.jpg) ![Image](images/e0905239e25d221685fc4667c88fbc9e7672aa53fd9d5fc4ef6e3f32870b687d.jpg) 锯片手柄 香蕉 ![Image](images/dab8c5b0896c54f98240f819d42f57ff95c8629a4f3a87b113c9699bbba2aaf0.jpg) ![Image](images/f3a5b708ea80e3e4dc91eb7a1a48625a3bb752c4eb6801e155f327b8c511ba3e.jpg) SW船模 Model A敞篷车 ![Image](images/c73ba5aee19401d726f685f2e0d2a00b9f2d424ce597c2069cd2d703f482a4d1.jpg) SUV模型
Figure 27: Objects from bin 6 which have the aspect ratio >3:1 and are NFNHZ
宽高比：1:1-2:1 FNHV ![Image](images/44feb75934b0992ec0d9fe6b20770db4596de14fc423c262ff0b2f17f2978574.jpg) 玻璃罐/盖子 ![Image](images/14c32802a43c5a60aedf79aaf6e6d6ed56615cc489adcc2419a2cf7ffd883114.jpg) 1加仑储物容器 ![Image](images/192a583969dc664e6cab3ce795f9542c76d74935814ebef20e98f4f2a11be2db.jpg) 球形铅笔削笔刀 ![Image](images/e089b4d076d0cdfd08df8d57f474002f9c17b0126f9b6b9bba8c261d8755c547.jpg) 金宝汤罐头 ![Image](images/44dc9f289c6c2e7a4fefe95296c2a101036dffa88745825ea7b3e304bfb2421e.jpg) 糖霜罐 ![Image](images/2edbb0670bc5072bbf2fbf90b1c58cf6fb95ab032cf8f5ae59750fac36d86c59.jpg) 相框 ![Image](images/735a30e0f4f174dc5613cbaabfe14cd9ebb65787272dab7bee7820b6ac77412c.jpg) 品客薯片罐 ![Image](images/ddf33ec623e778d19008879e5bed3d48cb680b5376aabec38c377bf263a524b0.jpg) 绷带卷
Figure 28: Objects from bin 7 which have the aspect ratio 1:1-2:1 and are FNHV
宽高比：2:1-3:1 FNHV ![Image](images/bb7d2cd33fd3d27daf20fe4d042232fea3f5cf9cdcb6caff07c7849f7c2e6c7b.jpg) 罐装青豆 ![Image](images/b15b09965fc229a460148c4cc2c49f2de761549e5db4e64fb425bcad4792fe09.jpg) 沃珀斯饼干盒 ![Image](images/e956fd4b2f1ec03b74e5573d57e33ef9834677f1dde9510e932ad9b64014cb8d.jpg) 胶水瓶 ![Image](images/fc41f93048bf4a031d5d0a7b27a4222cdeb905fb423a9bece2acd2e0e7fe546a.jpg) 液体洗手液 ![Image](images/783a692c8470c1773c048b30114c65c1888dddefa5c4f205462dcb043bf2b392.jpg) 洗衣晶 ![Image](images/4989f124514cd66b4e9e519733a59d7b4a862f11c805f56d3f8a9757892a4ec9.jpg) 宝矿力水特 ![Image](images/da1feed1fc1aea4168c02c85b4d2dc1377c2bffd9496382ae3d26938c73dac98.jpg) 肥皂泵 ![Image](images/c5780c55256beaea9e802c1f6bcd1db7b199d8692aeb9f231e5add0860e80327.jpg) 洗手液泵
Figure 29: Objects from bin 8 which have the aspect ratio 2:1-3:1 and are FNHV
--- 宽高比：>3:1 FNHV ![Image](images/0823324e5582a9cfea1870f4b09cfe3fe7871fcf4ce5b6dd5e1c9e9b506df314.jpg) 喷雾瓶 ![Image](images/7961c965ef7cc4b50f1e3eeb75000efa289ad5bab9aa8ff2294d40edbf0ef7a9.jpg) 来苏消毒剂 ![Image](images/f57294537783509857156f0d418bff524a7c5191b9ca9257451ef1b35b5b1243.jpg) 品客薯片罐 ![Image](images/7215bde5f54e75490a1460402d798c651d1288d7e658a2520fecc3e389ed9d2b.jpg) ![Image](images/37f250ee64f3909dbfbcb65b9ce90bc4bbb0119f4dc9d8c972aab3edd568a620.jpg) 网球收纳盒 喷雾奶酪 ![Image](images/dd059bfd90ea734b426293e24e0486185388dbb9ed322edba9e84c93997ceb68.jpg) 30盎司水瓶 ![Image](images/2bb63b00249cf11358fd371456a8b21bdadabef1f7b0797c6edcd3ddb553c3c6.jpg) 17盎司水瓶 ![Image](images/5490a8c1e57c1552b1f73258ac308bc98d3c7c4195fa0e1c8dfafdf3902e822e.jpg) 盐/胡椒瓶
Figure 30: Objects from bin 9 which have the aspect ratio >3:1 and are FNHV
![Image](images/dd55a06b5208686550061af5fe3fac674f36b5b2f673ecb7055c9b744e696268.jpg) 通心粉和奶酪盒 ![Image](images/3d6263da12b52f15230ce62498d2f3440d701fd0532bc6edbf272f59d092c5b3.jpg) ![Image](images/63cf114c2f2b10cb0fbd82787de895fa198b11f3ae027a9eccba9a35e768636e.jpg) 沙拉夹手 ![Image](images/baa07ffca4c131faf138dc09f1e029384b72e38012a2f3acac8f7f6235b2ce5e.jpg) ![Image](images/b50070559f5a63c4b28e12201ac27c01d48f49efe051bac8db48943acb818221.jpg) 糕点刮刀 中型乐柏美保鲜盒 ![Image](images/18195f3979a14c12e685176a9cef362a6f9de0709071e2351347c89e8fdcb151.jpg) ![Image](images/5b7996111d8298809c229d76326048bd82bf5de507a53942bb446fa96015e176.jpg) 无线电脑鼠标 ![Image](images/2e3f3b31a22af04e9136a4f510556c2f69542527c8570ce35317bbb775bf05bd.jpg) 品客薯片包装
Figure 31: Objects from bin 10 which have the aspect ratio 1:1-2:1 and are FNHZ
![Image](images/901487f34896195c451cfd7ace94bb6c4d950ab17e74b46a1b991d5777817002.jpg) 削皮器 ![Image](images/91b576bbd656e838d2a63c7bde32638bbeb9431a7f88f3f29575a211d535ba14.jpg) 披萨切割刀 ![Image](images/68e46fc643c7370ffd60dfc0f0844c592777e3e188041397ab5b10cdc4eeb973.jpg) 大号橡皮擦 ![Image](images/bd090a88ce8f250c57dba8e5dc7ff768631ab768abbb9c2db4cf6b31731d4814.jpg)
Figure 32: Objects from bin 11 which have the aspect ratio 2:1-3:1 and are FNHZ
--- ![Image](images/705cfd810c9d74088142dc7688c897314f62fc3ce4088c76c08026406afd790f.jpg) ![Image](images/41b499150b823bf9e9250da11fece76ea36bf5dee9ce6c6e5e62272a6bffc00f.jpg) 手摇耙 ![Image](images/886fb13b9a1f27d0d383806729d7329367c06daebef1e03e23d548a23b6dc850.jpg) 熨斗 ![Image](images/d5f1710c5f3855b7029a034e10911bbbeb3abb8b01a32425e6289ac678a5ff80.jpg) 冰镐 ![Image](images/093922a2a419150c934f14d588f8335323974879ac948d1ac6cdeba8b5989271.jpg) ![Image](images/39d8d957f94c683343a14061b8fb44211fec29271abff71702336b2dfd61bac7.jpg) 玩偶 ![Image](images/8df088a5afde12e3287b46d019096c57db3a3103a1291c860fb45b01fe2c0921.jpg)
Figure 33: Objects from bin 12 which have the aspect ratio >3:1 and are FNHZ
![Image](images/129cfb9db4b74e6f54b50297a32e0b0e68e972d2e3985d5964aaf55ac5aed578.jpg) 量杯 ![Image](images/6391194a0339375ee2979b7b6a8ae312d3b2a3d26480572c0e8628b5910117b9.jpg) 陶瓷马克杯 ![Image](images/4bbb2b12ba0fac6e584effbd6cce1a978c235f5246501f8f75794d68d5f5b10d.jpg) 咖啡杯 高乐氏消毒液（64盎司） ![Image](images/61f1be696765b47fd877a69c06ca93c35d264eb16c8c3d388e65f62fbdd86937.jpg) ![Image](images/fe1f0827249c00ee67494abfec4e36eaa343e99b22320d604d0303a3b41a8e96.jpg) 奶油存放盒 ![Image](images/9e118250dfe3c54062d5e730241758b375f43b0f8cde8854b10f1fe29a191af3.jpg) ![Image](images/f7d55293d33c3be5f930c7ac79dd686afb33ee45b82105145d65210d5f07e8cf.jpg) 面粉筛 ![Image](images/eb45396d28057ba8284816e56e78b7b803d75e1f19bd901a02765f574b733d5f.jpg) 便携马克杯7
Figure 34: Objects from bin 13 which have the aspect ratio 1:1-2:1 and are FHV
![Image](images/571c609e75f4849c1c207d667f1678d36e592972c9d45f3f3b61c643d04caef6.jpg) ![Image](images/fccb07deb499df2f16e241a29e76c0cddb0b51ae33e2f179c8236aa8a51b40a5.jpg) ![Image](images/c048a1a7c2af5e485d51053f76ca82eea807fcf3e27baeaa691bc2e551027a06.jpg) 刮刀/锅铲 ![Image](images/e50724bec4e92ceb4e0c986639459e3e9a9f7a5a876a3363a15222878616f08d.jpg) 高乐氏喷雾瓶 ![Image](images/a4b94bcf9ac99e50562035ffb51033f0e5c16158b3c8d2665ec14827eba61c86.jpg) 汰渍喷雾瓶 便携马克杯6 ![Image](images/64d9fa97998f0f10a7981780ad06f2b754c2e861ca338dc4fa9a6439369777ca.jpg) 玻璃水壶 ![Image](images/49a4721b60e8aa590c39b480d7b3b4481eb348d277bf3fe5980e23e873fb8b48.jpg) 便携马克杯4 ![Image](images/8dfe8a8f1e836024817c1db42ce5265705a444c9e7d2d0b5e76925b0700783d5.jpg)
Figure 35: Objects from bin 14 which have the aspect ratio 2:1-3:1 and are FHV
--- ![Image](images/4ce4297980517616bd97dab238031260b06eac7c132d55f63f154023daa72db6.jpg) 细长手电筒 ![Image](images/7726029883d599a9aeda3e8f2469b29243ca455debabfb2c0db83f9b0a8ec4af.jpg) 长柄打火机 ![Image](images/caa3b6e4f06365f98765d02106f831de71c173c4f60a539707a0735541fca431.jpg) 咖啡压滤壶 ![Image](images/baec36bb6db74d47bf00a8d9cbcb5fc150aa99de2ad8a66c58d518c7ace8f0ac.jpg) ![Image](images/8f630a58bcbcfbde5da2468fa33cb004bc4232a9d0ad0556e16fc4339ca6446c.jpg) 烧烤刷 手持磨碎器/刨丝器 ![Image](images/e1531be1006bb59c63447a2293a7ab10a66f09e7d1c217c601327609de339105.jpg) 便携马克杯3 ![Image](images/24f820c0566cca6a456a33e7ded9ee8f94d1643d010f8f58ce32082cf33b38b4.jpg) 便携马克杯10 ![Image](images/7d57e7d47cf2cb2dcfe7a55545d48a28805a740092d21ab95c950a1dfcd2df4b.jpg) 马桶刷
Figure 36: Objects from bin 15 which have the aspect ratio >3:1 and are FHV
![Image](images/a63848166e83e39395a4f35a863f8ac362fa1784891bbb85fd4984699495e389.jpg) 乒乓球拍 匹克球拍 6英尺带锁C型钳
Figure 37: Objects from bin 16 which are FHZ
--- 造型奇特、双把手等 ![Image](images/58397cd17ff1de91155589f6d8ff261759fc24668399d92ed2eed368996a5d35.jpg) Xbox手柄 ![Image](images/8826ea8caa0e1b4fbe134f74b2c374f2ff787e12a22542045bd22055d17dd95e.jpg) PlayStation手柄 ![Image](images/624cfd8b01738796939cd7184b2c8a8ccf1166d36e35b4d796d9bd8f30a27c1d.jpg) GameCube手柄 ![Image](images/96522085ecf65a247f2ec7b307b13097f5d1ecd874b04c76dc7ebf6b04d4dcfc.jpg) N64手柄 ![Image](images/6a6fb1424e2dc58f3a0aa2e05b422de39a06bb22fb4cb0f4aa6551540d51249f.jpg) 面包烤盘 ![Image](images/24dc32862957aa4486c75842d69dac865e53bdeb2bd4ff3a79dfca69175f57bc.jpg) SNES手柄 ![Image](images/f2da347ba9181632ca99032edc2c23125bf43648f95981184aad40d0abcbb2e6.jpg) Wii经典手柄 ![Image](images/3849658e2ed8bc54845555999b78f4817549eef2b6c6d04b06ef708edeb4150c.jpg) 擀面杖
Figure 38: Objects from bin 17 which are classified as "other"
[^3]: F Cini, V Ortenzi, P Corke, and MJSR Controzzi. On the choice of grasp type and location when handing over an object. Science Robotics, 4(27), 2019. [^4]: M. Musy et al. vedo, a python module for scientific analysis and visualization of 3D objects and point clouds. [^5]: Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna M. Wallach, Hal Daumé III, and Kate Crawford. Datasheets for datasets. CoRR, abs/1803.09010, 2018. [^6]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, and Ross Girshick. Segment anything. arXiv:2304.02643, 2023. [^7]: MATLAB. version 7.10.0 (R2010a). The MathWorks Inc., Natick, Massachusetts, 2010. [^8]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016. [^9]: David Stutz and Andreas Geiger. Learning 3d shape completion from laser scan data with weak supervision. In CVPR, pages 1955–1964, NJ, 2018. IEEE. [^10]: Jinyu Yang, Mingqi Gao, Zhe Li, Shang Gao, Fangjing Wang, and Feng Zheng. Track anything: Segment anything meets videos, 2023. [^11]: Xumin Yu, Yongming Rao, Ziyi Wang, Zuyan Liu, Jiwen Lu, and Jie Zhou. Pointer: Diverse point cloud completion with geometry-aware transformers. In CVPR, pages 12498–12507. IEEE, 2021. [^12]: Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330–1334, 2000. [^13]: Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, and Wancai Zhang. Informer: Beyond efficient transformer for long sequence time-series forecasting. In Proceedings of the AAAI conference on artificial intelligence, volume 35, pages 11106–11115, 2021.