叉车机器人托盘定位技术研究进展
添加时间: 2022-04-30
来源:
2022年长春理工大学电子与信息工程学院联合中国科学院长春光学精密机械研究所等单位联合在《 Journal of Robotics and Mechanical Engineering》发表题为《Pallet Localization Techniques of Forklift Robot: A Review of Recent Progress》的综述研究论文，英文链接：https://crgjournals.com/robotics-and-mechanical-engineering/articles/pallet-localization-techniques-of-forklift-robot-a-review-of-recent-progress。现将论文主要内容简要翻译供同行参考。
叉车机器人托盘定位技术研究进展
Yongyao Li1 2 , Xiaohe Chen1 2 , Guanyu Ding3 , Chao Li 3 , Sen Wang1 2 , Qinglei Zhao4 and Qi Song2 3
1 School of Electronic and Information Engineering , Changchun University of Science and Technology , China
2 Suzhou Institute of Biomedical Engineering and Technology , Chinese Academy of Sciences , China
3 , Pilot AI Company , China
4 Changchun Institute of Optics, Fine Mechanics and Physics , Chinese Academy of Sciences , China
摘要：
托盘在仓库和零售商店中被广泛使用，叉车机器人和托盘分拣设备对托盘定位和检测的自动化非常需要和研究。由于托盘类型在实践中变化很大，因此很难开发单一的解决方案来检测所有类型的托盘。本文综述了工业叉车机器人和托盘拾取仪的托盘识别和定位技术。回顾和比较了一些现代计算机视觉技术。特别是，深度神经网络（DNN）方法通常用于检测和定位RGB图像中的托盘。使用点云方法在二维范围数据中标记感兴趣区域（RoI），并提取托盘的特征，该方法能够提供托盘的精确定位。本文介绍了托盘识别与定位算法（PILA）策略，该方法利用RGB图像和点云数据，以低成本硬件平衡定位精度和运行时间，无需任何人工辅助，即可提供高精度的托盘定位角度和中心位置。实验结果表明，在3米的距离上，托盘可以定位，三维定位精度为1厘米，角度分辨率为0.4度，运行时间小于700毫秒。PILA是自动托盘分拣仪器和自动驾驶叉车应用的一个有前途的解决方案。
关键词：托盘识别；托盘本地化；深度神经网络；RGBD摄像机
0、引言
近几十年来，无人驾驶工业自动化技术引起了足够的重视，尤其是在物流应用中。随着2019冠状病毒疾病大流行的持续并在全球范围内传播，无人叉车机器人和AGV拣货变得更加理想[1]。托盘检测和定位的主要挑战有：1.托盘中心的x、y和z值以及方向角。2.保证托盘分拣的“实时”操作要求。3.在实践中，托盘类型和尺寸可能会发生巨大变化，而典型的基于模型的托盘定位方法无法正确处理所有情况。
托盘检测和定位问题从80年代开始研究。在非常早期的阶段，使用红外传感器或RFID提供托盘的距离，只能在叉车上进行点对点测量[2]。利用嵌入式系统硬件开发的视觉技术，使用目标检测算法定位人工特征，以便更精确地识别和定位托盘。然而，这种方法很难在仓库中实施，因为它需要进行重大修改，并将大幅增加成本[3,4]。2D激光测距仪或3D深度相机是另一种定位托盘的方法。然而，从2D深度信息中获取足够的特征可能是一个挑战[5-8]。或者，3D点云数据上的平面分割可以通过模板匹配方法提供更精确的结果[9]。遗憾的是，该方法受检测速度的限制，识别精度受到托盘类型和点云数据质量的严重影响，这可能对深度图像硬件和计算单元提出严格要求。据我们所知，所有现有的托盘识别和定位方法，使用单一数据源，如RGB图像或点云，都可能导致错误定位的高概率，或者消耗大量计算能力并大幅提高成本。第三部分介绍了基于二维图像目标检测和三维点云处理的第三种方法，该方法能够提供精确的定位数据。这种流水线策略，我们称之为托盘识别和定位算法（PILA），使用低成本硬件，只需要少量计算资源。在这个管道中，深度神经网络（DNN）[10,11]方法用于检测RGB图像中的托盘，点云数据与RGB图像的感兴趣区域（RoI）对齐。然后利用点云数据提取的几何特征提取托盘的位置和角度。综上所述，DNN方法旨在以较高的识别率识别托盘，并利用点云数据以较少的计算时间或资源提供精确的定位结果。结果表明，在三维定位精度在1cm以上，姿态估计误差在0.4度以下的情况下，该算法在托盘识别中具有良好的性能。
本文第二节介绍了托盘的视觉检测技术和一些中性网络模型，如RCNN、Fast RCNN、SSD和YLO。在这一部分中，还详细描述了托盘训练数据集。第3节介绍了点云方法，并举例说明。第4节介绍了PILA模型的流水线策略，实验结果表明，PILA在某些方面优于其他两种方法（图1）。
图1 普通托盘的前表面视图
一、托盘数据集
如图1所示，仓库中使用的托盘通常包括ISO托盘、欧洲托盘和北美托盘，尺寸范围为800×600至2240×2740。塑料托盘和木托盘是实践中最常见的托盘。如图2所示，数据集中针对不同场景和条件收集了五种以上类型的托盘，包括机架上的箱子、地面上的箱子、带卡盒的箱子或小角度的箱子。此外，还包括不同照明条件、地板条件和部分遮挡的托盘图像，以匹配仓库中的真实环境。一般来说，有双向口袋和四向口袋托盘，这使得叉车可以从双向或四向方向进行拾取。我们在数据集中收集了这两种类型，以使模型更通用。托盘组件信息如表1所示。托盘数据集包含1000多张图片。
图2 托盘训练数据集类型
表1 数据集中托盘类型的信息
二、基于视觉的托盘检测
作为计算机视觉领域最热门的课题之一，目标检测几十年来一直被认为是最热门的课题之一，并开展了大量的研究活动。传统的基于模型的目标检测技术需要手动设计策略来分割托盘的几何结构并识别每个块。这个过程需要大量的人力，比如挑选特征描述符，比如类Haar特征和Ad boost算法来级联多分类器[12]。然而，基于深度学习的目标检测器层次特征生成是一个自动过程，与其他方法相比，在识别和分类方面显示出巨大的潜力。通常有两种主要的目标检测体系结构。一种是单级探测器和单次多盒探测器（SSD），你只看一次（YOLO）。另一种是两级检测器作为区域建议网络（RPN）方法，R-CNN和更快的R-CNN[13]。单级检测器包含一个前馈全卷积网络，直接为目标分类提供处理区域。两级检测器通常由单个区域提议和分类阶段组成。特别是，参考锚用于定位多个候选对象的拟议感兴趣区域（RoI）。在第二阶段，对RoI的内容进行进一步分类，并对位置进行微调。两阶段架构能够提供更精确的结果，同时需要更长的运行时间[14]。
托盘识别的神经网络结构
作为一种典型的单级检测器，YOLO将整个目标检测问题视为一个回归问题。输入图像被划分为一组网格单元。每个网格单元预测一个固定数量的具有置信度得分的边界框，该置信度得分是通过将目标检测概率与联合上的交点（IoU）相乘来计算的，其中IoU是预测的边界框面积与地面真实边界框面积之间的重叠率，边界框的类别概率最终来自IoU得分。如等式（1）所示，如果IoU分数大于0.5，则匹配值m为1，这意味着正匹配。相反，零匹配或负匹配表示是否检测到对象。
与YOLO不同，SSD接收整个图像作为输入，并将其传递到多个卷积层，利用卷积特征映射预测边界框。该模型生成用于预测边界框的对象类概率向量。本例中使用的架构如图3所示，这是一个VGG-16模型，在图像网络上预训练用于图像分类。使用前馈卷积网络生成一组固定大小的边界框，并对这些框中存在的对象类实例进行评分。SSD模型没有预测潜在对象的得分值，而是直接给出边界框中存在类的可能性。
更快的R-CNN是一种两阶段架构，利用多任务学习过程，通过结合分类和边界盒回归来解决检测问题。该系统通常包括两个阶段，一个是区域建议网络，另一个是快速R-CNN报头网络，该报头网络使用卷积主干从输入图片中提取高级特征。更快的R-CNN取代了RPN原始算法中的选择性搜索方法[15]。在第一阶段，为了生成建议，RPN在主干网生成的特征图上使用了一个滑动窗口。在特征图上使用多尺度锚来预测多个候选框。锚定以各种比例和纵横比定义，以识别任意对象。判断函数决定锚是前景还是背景，然后使用边界回归对其进行修改，以获得精确的区域建议。使用从特征提取程序的中间层派生的RoI池层对排名靠前的候选对象进行下一次裁剪，该层可以处理不同大小的特征映射被输入到具有完全连接层的网络的问题。在第二阶段，每个提案都要经过最终的分类和方框细化程序[16,17]。
广泛的结果表明，与YOLO相比，更快的R-CNN和SSD的性能可以提供更好的检测精度。然而，YOLO比SSD和R-CNN更快。
图3 SSD模型架构图
种托盘的识别率如表2所示。平均回收率在98%以上，对于仓库操作来说非常耐用。图4显示了带有托盘标记RoI的托盘检测结果。无论卡盒是否存在，都可以很好地识别场景中是否存在多个托盘，或者托盘是否倾斜。
表2 SSD模型的托盘识别结果
图4 SSD模型识别结果
三、基于点云的托盘形状检测
通常，2D LRF主要用于移动机器人SLAM。随着在无人机器人导航中的广泛应用，基于LRF设备的托盘检测和定位方法越来越多。与基于视觉的解决方案相比，这种方法不会出现成像失真、照明条件或缩放问题，从而导致错误检测或特征误检测。在早期的工作中，激光扫描数据被用于场景分割、目标检测和目标识别。该方法用于基于3D点云数据的3D对象检测和分类[18]。然而，3D解决方案对硬件和算法的要求更为严格，并且会大幅增加成本。
为了利用成熟的目标检测技术并获得快速处理，2D距离数据被转换为2D图像，可以使用DNN技术[19,20]。图5显示了带有2D量程数据[21]的托盘检测管线。它包括数据准备、培训和测试以及托盘跟踪三个阶段。数据准备阶段用于将2D激光扫描仪数据转换为2D图像。然后，训练和测试阶段将2D图像作为输入。一旦对模型进行了微调和验证，就会执行跟踪阶段，以检测并保持对现场所有可能托盘的跟踪。用于获取范围数据的2D激光扫描仪如图6（a）所示，带有范围数据的托盘跟踪RoI如图6（b）所示。距离数据采集后转换为位图，由训练后的模型进行检测。如果大于某个阈值，则将其标识为托盘。
图5 2D激光雷达托盘识别流程
图6 托盘点云数据
算法1：在线图像创建
四、基于RGB和深度图像的托盘检测技术
该部分介绍了PILA流水线策略的两阶段体系结构。图7显示了PILA的管道流程图。深度神经网络用于从可用场景的RGB图像中识别可能的托盘。该模型由离线训练生成，传递的模型用于摄像机的在线检测。该算法分为3个功能阶段。在第一阶段，检测托盘，并给出检测的置信度评分。在第二阶段，RGB深度图像用于将RGB图像中的托盘与深度图像对齐。在第三阶段中，使用点云数据提取托盘正面平面，并提取线段以定位托盘中心的“T形”。特别是，根据托盘形状检测托盘边缘的水平（x）和垂直（y）线段，不同托盘类型的托盘形状可能不同，此处使用的决策规则旨在找到更通用、更松散的解决方案，即托盘中心的“T形截面”。最后，可以得到托盘面的中心位置和方向角的x、y和z值。
图7 托盘定位流程图
点云数据处理
在这一部分中，如算法2所述，处理点云数据以实现更精确的托盘定位[22]。经过过滤、分割和提取等一系列操作后，点云数据变得更干净。通过这种算法设计，可以高效地提高计算速度和定位精度。
算法2：点云处理策略
过滤点云数据，并从平滑数据中提取水平（x）和垂直（y）线分段，以定位托盘袋部分。首先，通过直通过滤器执行点云数据，以保护Z值（距离）在0.5 m和3 m之间的所有点。该步骤的目的是避免叉车臂、行人或地面反射激光束造成高度遮挡。然后移除大纲视图，并平均出曲面数据。最后，采用下采样的方法来降低计算量。由于叉车机器人总是处理位于地面或机架上的托盘，因此需要提取垂直面作为托盘的正面。提取垂直面的管道如图8所示。在Pint云分割后，从Z方向的投影滤波进气道中提取一个或多个二维平面，根据质心得分找到最可能的平面。点云数据的质心计算是确定最可能托盘平面的关键方法。在此步骤之前，对二维点云进行下采样以加快计算过程。
最后，发现口袋处的x和y线形成“T形”，并确定托盘中心位置。作为该方法的关键部分，我们提出了一种基于托盘一般几何关系的通用决策规则。“T形”是根据托盘顶部的底线（x线）和中间立柱的外部边界（y线）组合而成的。管线提取和托盘位置决策如图9所示。提取x和y方向的水平边界点和垂直边界点。然后用KdTree搜索方法提取x和y直线，x和y直线段中的点数必须分别大于阈值。对所有x和y线进行排序后，发现最靠近粗糙中心点的x线和y线在图10（d）中形成“T形”。这将带来托盘中心决策的慷慨性和稳健性，而不考虑任何特定的托盘几何形状。最后，如图10（d）所示确定A点、B点（相交点）和C点，图10是PILA四个主要步骤的图示。（a）和（b）是RGB图像和点云数据，以及（c）和（d）通过托盘识别和点云处理生成，以定位托盘中心。
图8 托盘垂直面提前流程
图9 托盘特征线提取
图10 PILA四个主要步骤流程
实验结果表明，PILA能够在3D中识别和定位托盘，平均绝对误差在1cm左右或表3中的0.65度以内。每个位置花费的平均时间高达700毫秒，因此可以满足叉车机器人操作的“实时”要求。在实验上，PILA的精度和速度比使用专用数据源作为RGB图像或用于托盘定位的深度数据的精度和速度要高得多[23-25]。表3显示了PILA与工业机器人市场主要商业解决方案的比较，PILA在速度、精度和工作距离方面表现良好。
表3 识别结果比较
五、结论与讨论
本文综述了托盘识别技术，包括基于视觉的托盘检测、点云方法和基于目标识别和点云相关技术相结合的托盘识别与定位算法（PILA）。在视觉方法方面，我们简要回顾了DNN方法识别RGB图像的方法。详细介绍了YOLO、SDD和更快的RCNN作为典型示例。然后将RGB和深度图像技术相结合，建立三维托盘颜色模型，以获得更精确的定位性能。PILA已经在实际的托盘拣选仪器和自动叉车应用中得到实施和验证，并在精度、速度和工作距离方面表现出卓越的效率。结果表明，托盘识别率高达90%，托盘中心定位误差和方向角误差小于1cm或0.4度。此外，与大多数基于计算机视觉或深度图像的解决方案相比，PILA已被证明适用于叉车机器人在实际物流仓库中的应用。
参考文献：
1. Song Q, Zhao Q, Wang S, et al. Dynamic Path Planning for Unmanned Vehicles Based on Fuzzy Logic and Improved Ant Colony Optimization. IEEE Access. 2020;8:62107-62115.
2. Aref MM, Ghabcheloo R, Mattila J. A Macro-Micro Controller for Pallet Picking By an Articulated-Frame-Steering Hydraulic Mobile Machine. IEEE Int Conf Rob Autom. 2014:6816-6822.
3. Wang S, Chen XH, Ding GY, et al. A Lightweight Localization Strategy for LiDAR-Guided Autonomous Robots with Artificial Landmarks. Sens. 2021;21:4479.
4.Seelinger M, Yoder JD. Automatic Pallet Engagment by A Vision Guided Forklift. Proceedings of the 2005 IEEE International Conference on Robotics and Automation. 2005:4068-4073.
5.Mohamed IS, Capitanelli A, Mastrogiovanni F, et al. Detection, Localization and Tracking of Pallets Using Machine Learning Techniques and 2D Range Data. Neural Comput Appl. 2019;32:1-18.
6.Molter B, Fottner J. Real-Time Pallet Localization with 3d Camera Technology for Forklifts in Logistic Environments. 2018 IEEE International Conference on Service Operations and Logistics, and Informatics (SOLI). 2018:297-302.
7. Bellomo N, Marcuzzi E, Baglivo L, et al. Pallet Pose Estimation with LIDAR and Vision for Autonomous Forklifts. IFAC Proc Volumes. 2009;42:612-617.
8. Varga R, Nedevschi S. Robust Pallet Detection for Automated Logistics Operations. VISIGRAPP. 2016;4:470-477.
9. Xiao J, Lu H, Zhang L, et al. Pallet Recognition and Localization Using an RGB-D Camera. Int J Adv Rob Syst. 2017;14(6):1729881417737799.
10. Canziani A, Paszke A, Culurciello E. An Analysis of Deep Neural Network Models for Practical Applications. arXiv preprint arXiv:1605.07678. 2016:1-7.
11. Li T, Huang B, Li C, et al. Application of Convolution Neural Network Object Detection Algorithm in Logistics Warehouse. J Eng. 2019;23:9053-9058.
12. Syu JL, Li HT, Chiang JS, et al. A Computer Vision Assisted System for Autonomous Forklift Vehicles in Real Factory Environment. Multimed Tools Appl. 2016.
13. Zou Z, Shi Z, Guo Y, et al. Object Detection in 20 Years: A Survey. arXiv preprint arXiv:190505055. 2019:1-39.
14. Carranza-García M, Torres-Mateo J, Lara-Benítez P, et al. On the Performance of One-Stage and Two-Stage Object Detectors in Autonomous Vehicles Using Camera Data. Remote Sens. 2021;13: 89.
15. Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Trans Pattern Anal Mach Intell. 2017;39:1137-49.
16. Sultana F, Sufian A, Dutta P. A Review of Object Detection Models Based on Convolutional Neural Network. Intelligent Computing: Image Proc Based Appl. 2020:1-16.
17. Du, Lixuan, Rongyu Zhang, et al. Overview of Two-Stage Object Detection Algorithms. J Phys Conf Ser. 2020;1544.
18. Monica R, Aleotti J, Rizzini DL. Detection of Parcel Boxes for Pallet Unloading Using a 3D Time-of-Flight Industrial Sensor. 2020 Fourth IEEE International Conference on Robotic Computing (IRC). 2020.
19. Ihab S Mohamed. Detection and Tracking of Pallets using a Laser Rangefinder and Machine Learning Techniques. Rob. 2017.
20. JY Oh, Choi HS, Jung SH, et al. Development of Pallet Recognition System using Kinect Camera. Int J Multimedia and Ubiquitous Eng. 2014;9:227-232.
21. He Z, Wang Y, Yu H. Feature-to-Feature Based Laser Scan Matching in Polar Coordinates with Application to Pallet Recognition. Procedia Eng. 2011;15:4800-4804.
22. Rusu RB, Cousins S. 3D is here: Point Cloud Library (PCL). 2011 IEEE international conference on robotics and automation. 2011:1-4.
23. Cui G, Lu L, He Z, et al. A Robust Autonomous Mobile Forklift Pallet Recognition. 2nd International Asia Conference on Informatics in Control, Automation and Robotics (CAR 2010). 2010;3:286-290.
24. Mohamed IS, Capitanelli A, Mastrogiovanni F, et al. 2D Laser Rangefinder Scans Dataset of Standard EUR Pallets. Data Brief. 2019;24:103837.
25. Baglivo L, Biasi N, Biral F, et al. Autonomous Pallet Localization and Picking for Industrial Forklifts: A Robust Range and Look Method. Meas Sci Technol. 2011;22:085502.
26. Casado F, Losada DP, Santana-Alonso A. Pose Estimation and Object Tracking Using 2d Images. Procedia M. 2017;11:63-71.
地 址: 合肥市马鞍山路1000号
电 话: 0551-62902652
Q Q: 23435547
邮 箱: hfyhir@163.com
