{
  "paper_id": "3f907e361fb0220007c863c99b8b8171",
  "paper_title": "A 4.45 ms Low-latency 3D Point-cloud-based Neural Network Processor for Hand Pose Estimation in Immersive Wearable Devices",
  "paper_authors": [
    "Dongseok Im",
    "Sanghoon Kang",
    "Donghyeon Han",
    "Sungpill Choi",
    "Hoi-Jun Yoo"
  ],
  "publication_date": "",
  "publication_venue": "2020 IEEE Symposium on VLSI Circuits",
  "abstract": "提出一种面向低延迟手部姿态估计（HPE）系统的三维点云神经网络（PNN）处理器。该处理器采用异构核心架构，同时加速卷积层（CL）和采样-分组层（SGL）。基于窗口的采样-分组（WSG）直接从流式深度图像中采样并分组三维点，使吞吐量提升2.34倍；最大池化预测（MPP）预测64选1和128选1最大池化输出，带来1.31倍吞吐量提升；基于分块数据的MPP（TMPP）利用分块输入执行MPP以隐藏其延迟。最终，该处理器在HPE系统上实现4.45 ms延迟。\n",
  "keywords": [
    "三维点云",
    "神经网络处理器",
    "手部姿态估计",
    "低延迟",
    "沉浸式可穿戴设备",
    "异构核心架构",
    "基于窗口的采样分组",
    "最大池化预测",
    "分块最大池化预测"
  ],
  "paper_institutions": [
    "韩国科学技术院（KAIST）电子工程系"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:51.877004Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向HMD和AR/VR等沉浸式可穿戴设备的自然用户界面，系统需要以低于5 ms的延迟估计手部关节的三维位置，否则用户会感到交互响应不自然；已有Hand PointNet等点云神经网络在GPU上的延迟为20.5 ms，并且每次推理包含2.1 GOP卷积计算，FPS、BQ和SNE等采样-分组算法也难以并行。论文提出一种65 nm PNN处理器，采用SGC、CC和MPPC异构核心架构：SGC直接处理流式深度图，32个SGC并行生成并滑动8×8窗口，WSG在局部窗口内完成均匀采样、BQ和SNE，其核心分组判据为点到窗口中心的距离小于阈值，即||p-p_c||<r，随后将相对坐标与法向量送入CC；CC使用8位权重完成卷积，MPPC利用权重符号位执行二值卷积并预测64选1和128选1最大池化候选，TMPP则将CL1沿空间x方向切成4块，使MPPC的候选预测与CC的下一块卷积重叠执行。实验选用MSRA15数据集，因为它提供21个手指关节标注，可验证HPE精度；候选数K在ConvNet0、ConvNet1和ConvNet2中设为8-8-32，并在150 MHz、1.2 V下测量端到端延迟和功耗，在40 MHz、0.78 V下评估高能效工作点，分别验证实时交互能力和穿戴设备的能量约束。结果显示，处理器实现4.45 ms HPE延迟，比GPU快4.61倍，HPE误差为8.24 mm，系统功耗266 mW，卷积加MPP峰值吞吐为737.3 GOPS，最高能效达5.62 TOPS/W；这些结果支撑了WSG、MPP和TMPP三项创新，其中WSG减少97.6%计算量和58.6%外部存储访问、精度损失低于0.5%并带来2.34倍吞吐提升，MPP带来1.31倍吞吐提升，TMPP隐藏其余3块的MPP延迟并降低54.2%的整体ConvNet延迟。该设计适用于深度传感器驱动的移动端沉浸式手势交互，主要约束是8位数据、特定PNN层结构、64 nm工艺以及低于5 ms和低功耗预算，后续可在保持精度的前提下探索更低功耗、更多手势与关节场景的泛化，以及对不同点云网络的可重构支持。\n\n### 关键要点\n\n- 面向HMD和AR/VR可穿戴设备的自然用户界面，处理器目标是为3D手部关节姿态估计提供低于5 ms的响应。\n- 点云神经网络在GPU上的软件实现延迟为20.5 ms，且每次推理包含2.1 GOP卷积计算，FPS、BQ和SNE等采样-分组操作原本难以并行。\n- 处理器集成SGC、CC和MPPC三类核心，分别加速采样-分组层、8位卷积层和最大池化预测，并通过片上存储和IOMEM组织数据流。\n- WSG利用深度图中相邻像素的排列关系，由32个SGC并行生成8×8窗口并按流式方向滑动，在窗口内完成采样、距离判断和法向量计算。\n- WSG把搜索范围限制在局部窗口而非整个点云，可减少97.6%计算量和58.6%外部存储访问，精度损失低于0.5%。\n- WSG使HPE系统吞吐量提升2.34倍，并支持采样、分组和法向量计算的流水线并行。\n- MPP使用二值卷积预先搜索最大池化候选，只让CC计算候选索引对应的卷积输出，从而预测64选1和128选1结果并获得1.31倍吞吐提升。\n- TMPP将CL1沿空间x方向分成4个分块，CC完成一块后MPPC立即处理该块，使MPP与后续卷积重叠，隐藏其余3块的MPP延迟。\n- TMPP可降低54.2%的整体ConvNet延迟，解决MPPC等待CC完成CL1而产生的空闲问题。\n- 处理器采用65 nm CMOS工艺，面积为16 mm²，集成362 KB片上SRAM，工作电压为0.78–1.2 V，频率为40–150 MHz。\n- 在MSRA15数据集21个手指关节、K=8-8-32设置下，系统HPE误差为8.24 mm；150 MHz和1.2 V下延迟为4.45 ms、功耗为266 mW，较GTX 1080的20.5 ms快4.61倍。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}