毕业设计我帮你

基于机器人视觉的快递分拣系统设计与试验

摘要

随着电子商务行业的发展，包裹递送量不断增加，使传统的分拣自动化机器人面临压 力，并限制了它们跟上需求的能力。作为回应，将视觉智能系统与这些机器人集成可以提 高效率并降低成本。对此，本文提出了一种基于机器视觉和机器人技术的快递箱自动分类 系统，实现快递盒的自动分拣和分类，可以分拣不同尺寸的快递盒，提高分拣效率和准确 性。本文主要研究内容主要集中于以下几个方面：

(1)   研究采用 HALCON 视觉软件获取快递箱的深度信息，进而提取出快递箱的长度、 宽度、高度和体积等信息，并通过九点标定算法和仿射变换得出快递箱的坐标信息，通过 socket 通信将坐标信息传输给 ABB 机器人，实现机器人的精确抓取和分类。

(2)    实现对快递盒的自动分类，编写一套控制机器人动作的程序，开发相应的软件程 序来实现这一 目标，程序将指引机器人对快递盒进行自动分类。这些程序需要与摄像头、 传感器和其他设备协调，以确保分拣操作顺利进行。

(3)   使用 C#语言开发 WinForm 界面，实现对整个快递分类流程的控制。利用 C#语言 创建 WinForm接口，用于控制整个快速分类过程。让快递自动分类更简单流程化。

使用 ABBIRB1410 型号的工业机器人、工业相机、光源、光源控制器、主控电脑等硬  件组成了机器人分拣系统，提出了一种基于机器视觉和机器人技术的快递箱自动分类系统， 将视觉智能系统和机器人技术集成，以应对快递递送量不断增加的挑战。本文的研究成果  可以代替人工进行快递分拣搬运，提高快递盒的自动分拣和分类效率和准确性，具有广阔  的应用前景和市场价值。

关键词：机器视觉；快递分拣；工业机器人；C#；工作站集成设计。

 

目录

1  引  论 1

1.1  研究目的及意义 1

1.2  国内外研究现状 2

1.3  设计的主要内容 3

1.4  章节安排 4

2  机器人视觉的快递分拣系统设计 6

2.1  视觉分拣系统方案设计 6

2.2  系统软硬件集成设备选型 6

2.3  光学方案设计 12

3 Halcon 视觉图像处理 15

3.1 Halcon 视觉软件工作总体流程 15

3.2  相机的标定 20

3.3  系统的通信方式 23

3.4  快递的定位转换 25

4 VS2019 的 WinForm 窗体设计 30

4.1  上位机开发功能要求 30

4.2  以 C#格式导出 Halcon 程序 30

4.3  配置环境 30

4.4 Winform 界面设计 34

4.5  窗体界面的显示逻辑 35

5 ABB 机器人路径算法设计 37

5.1 ABB 机器人工作总体流程 37

5.2 ABB 机器人 Halcon 通讯设置 37

5.3 ABB 机器人离线程序设定 39

6  工作站联合调试试验 41

6.1  程序调试 41

6.2  软件打包发布 41

7  结  语 46

参考文献 47

致  谢 48

附  录 49

附录一：Halcon 机器视觉算法设计及说明 49

附录二：ABB 机器人详细离线程 54

附件三：VS2019 的 WinForm 算法设计及说明 59

附  图 79

附图一：UI 界面图 79

 

1   引论

1.1    研究目的及意义

近年来快递量的持续增长，物流服务的质量和水平仍有待提高。要提高我国邮政业的发 展水平和国际竞争力，必须在邮政业实行全面、精细化的管理。智能分拣系统由物流自动化 设备、信息传输、仓储控制、管理系统组成，是快递物流系统的重要组成部分，也是保障整 个物流系统高效运行的重要基础设施。其主要功能包括自动拣选、 自动包装、 自动分拣，可 由计算机远程监控或管理。研究快递物流分拣环节自动化技术，可以为邮政行业的自动化生 产提供新技术、新产品，提高企业的经济效益。视觉识别技术是机器人分拣系统的核心组成 部分，涉及计算机采集图像信息、分析图像信息、提取有价值的信息等关键技术。通过分析 与研究图像特征与分类之间的关系，进而获取目标区域特征信息进行识别和分类，下面是分 拣机器人正在在进行分拣作业。

机器人视觉作为一种新兴技术，可以应用于自动化生产领域，用于物体识别、跟踪、分 类和计数。机器人视觉的关键在于实现物体识别和定位、跟踪，并确定目标物体的位置和运 动方向，主要任务是目标对象检测和分割。主要包括：（1）获取和处理图像中的颜色、灰度、 纹理等各种信息;（2）对加工目标进行分类;（3）对检测到的目标对象进行计数和识别等基本 操作。在分拣过程中，机器人视觉不仅可以对货物进行分拣，还可以对自动分拣系统中各种 传感器检测到的各种产品的规格和尺寸进行准确判断和分类。实现不同产品之间或单个项目 之间的信息相互传递，部门之间的指令和信息传递，也需要不同的技术手段。机器人视觉可 以检测并自动分类不同的产品或相同的产品。它在分拣过程中起着至关重要的作用，不仅实 现了自动化物流系统中货物的分拣功能，而且按照一定的程序和规则将货物分拣或运输到指 定位置。

本文设计一种可以应用于自动识别分拣小物件快递盒和快速分拣系统。在进行货物分类 处理时，快递公司的工作人员将先前已经分好相同地区的商品再进行分配，快递公司的工作 人员将产品放到传送带上，经过机器视觉识别器扫描后，将商品放到自动运输机器上，到了 出货站台后自动运输机器会把托盘升起使机器上的商品落到出货口，集中配送。

通过对快递包装进行图像采集，采用了图像处理中常用的阈值分割方法、边缘检测、形 态学操作、阈值分割、形态学操作以及特征提取方法来对包裹和包装箱进行分类识别。根据 用户对快递单信息录入要求，设计了一种用于处理快递数据信息并且能对快递图像数据信息 进行处理的系统模块；该智能分拣系统可以自动识别单快递盒和包装箱等不同类别和不同大 小的物品进行分拣；

1.2    国内外研究现状

自 20 世纪以来，快递行业飞速发展，智能物流发展迅速，国家政策也在不断出台鼓励创 新。国内也在不断学习技术并进行开发，以保证物流行业的高速发展。随着人工智能技术在 各企业间的推广应用，机器人视觉技术的发展也逐步成熟。我国研究的自主式智能快递机器 人系统由三部分组成：控制中心、末端执行器、服务机器人。机器人视觉技术在各行各业得 到广泛应用，主要是为了提高生产效率和自动化程度，并且能有效避免人为失误；其次是降 低人工成本、减轻劳动强度、实现机器换人等特点。随着人工智能和信息科技的不断发展， 机器人系统被广泛运用于物流、仓储等领域中， 目前已有很多优秀品牌采用了自主研发机器 人来代替人工对货物进行分拣作业。国内快递行业正处于快速发展时期且各大快递公司均在 不断投入大量资金完善设施设备。[2]

目前国内已经有了许多分拣中心与自动化设备供各大快递公司使用，并且已经取得了良 好成效。随着人工智能技术和信息科学技术的迅速发展，机器人系统可以有效代替人工工作 并降低人力成本；同时也是对传统的机械化流水线进行升级改造的过程。近年来随着物流行 业快速发展使得快递行业业务量激增而机器人系统无法满足日益增长的快件数量所造成的设 备及人工成本增加是导致我国快递分拣中心智能化水平不断提高的重要原因之一；同时我国 物流业快速发展、物流业相关服务体系不断完善也是对物流行业转型升级、提高物流行业自 动化程度起到促进作用。 目前我国已经有了许多专业从事物流设备研发与生产、运营管理等 方面工作人员。其中就包括从事机器人系统研究、开发、制造及技术服务等工作人员；同时 从事机械自动化工程设计人员；从事相关设备研究及应用开发人员以及从事物流企业相关从 业技术与管理人员等；这些人通常拥有高学历和扎实的专业技能与技术经验。

与国外的机器视觉和人工智能领域进行比较，我们可以对国外几种典型视觉识别系统进 行分析和应用研究：

美国：Eclipse 公司的自动分拣系统（Automatic Segmentation System, ASS），通过基于图 像的信息识别技术，实现自动分拣和货物定位。

日本：丰田物流公司的仓储设备中，利用机器视觉识别系统技术来对分拣出来的货物进 行分类。

德国：Deeplearningen 公司通过计算机视觉识别系统来实现对货物的分拣。

法国：Eclipse 公司使用工业相机和机器视觉技术来实现货物的识别。

澳大利亚：Australian Technology 公司开发出一种可以将计算机视觉技术与 RFID 相结合 使用并集成到机器人拣选中的机器人系统。科技都方便了人们日常生活和快递行业的发展。

尽管国内快递行业已经取得了一定的成效，但是有些企业采用的是传统的人工分拣方式，成本高、效率低，同时易出现人为失误，影响服务质量。所以提高快递分拣中心的速度，降 低成本，提高服务质量，是快递行业需要解决的问题。

目前国内的物流企业已经开始进行自主研发机器人快递系统，例如顺丰、圆通、中通等。 这些公司不断引入新技术，提高其设备和机器人的智能化程度，提高快递分拣中心的自动化 水平。在这些企业的带动下，中国快递业的自动化水平也在不断提高。

总的来说，随着人工智能技术和信息科技的不断发展，机器人系统将在物流、仓储等领 域中被广泛运用，快递行业也将会实现从人工分拣到机器人分拣的转变。我国快递行业还需 要不断加强技术研发和人才培养，提高自主创新能力，以适应快速发展的市场需求，推动快 递行业的转型升级和可持续发展。

1.3    设计的主要内容

（1）机器人视觉快递分拣系统设计与测试方案，讨论研究的目标以及对高效准确的快递 包裹分拣系统的需求，为研究所需的实验工作场景选择合适的软硬件设备，建立工作操作平 台，连接系统与集成系统形成整体。设计系统的关键部件，包括摄像头和视觉分拣一体化的 空间布局，开发可靠高效的系统，可以准确分拣快递包裹。

（2）快递分拣系统光学平台的设计与构建，确定需要分拣的快递员的尺寸范围，选择合 适的硬件和软件来设计和构建光学平台，选择光学载物台的三个主要组成部分：光源、相机 和镜头，再校准相机以获得快递尺寸和位置的准确测量值，确保快递可以清晰地成像和提取， 以便在后续章节中进一步处理。

（3）设计基于 HALCON 机器视觉的快速定位与抓取算法，描述 Halcon 软件的整体工作 流程，利用处理图像的算法提取快递的深度信息，得到快递的长度、宽度和高度，以及快递 的体积，使用九点标定算法获取快递的坐标点，就可以通过 socket 通信发送到机器人的交互 端，实现快递盒分拣和快递盒的定位。

（4）使用 C#作为编程语言工具，编写基于 Halocn 程序的 VS2019 WinForm 界面设计

配置打包 Halocn程序并配置语言环境，根据实验要求设计 Winform 界面，控制快递分拣 全过程。

（5）快速定位和抓取的机器人工作流程，详细介绍 ABB 机器人的工作流程，包括机器 人坐标系的建立、机器人的轨迹规划、机器人的抓取和放置，针对快递箱的不同尺寸和重量 调整机器人的工作参数，编写相应的程序来控制机器人的动作，实现机器人的自动分类功能， 与摄像头、传感器等设备协调，确保机器人的分拣作业能够顺利完成。

1.4    章节安排

第一章，首先介绍研究的目的和意义，解释了该主题的研究方向，通过研究目的介绍了 机器人视觉快递分类的研究进展，并总结了国内外快递分类技术的发展和实现方向。

第二章本章主要探讨机器人视觉快递分拣系统的设计和测试方案。研究的目标是开发一 个高效准确的系统,能够快速分拣各种大小和形状的快递包裹和递分拣系统光学平台的设计和 构建。为了实现这个目标,我们针对研究所需的实验工作场景,具体选取了合适的软硬件设备。 光学平台是系统的关键组件, 因为它捕获快递的图像以进行进一步处理。为了确保准确高效的 分拣,我们首先确定需要分拣的快递的尺寸范围。根据实验的要求,选择合适的硬件和软件来设 计和构建光学平台。光学平台由三个主要部件组成：光源、相机和镜头。光源为快递提供照 明,其选择对于最大限度地减少快递表面的阴影和反射至关重要。根据快递的尺寸、分辨率和 相应的视觉算法选择相机。选择镜头以优化图像质量,并确保在相机的视野中准确捕获快递。 选择硬件后,我们校准相机以获得快递尺寸和位置的准确测量值。校准过程包括测量相机的固 有和外在参数并获得失真系数。校准结果用于校正相机捕获的图像,使其更准确并适合进一步 处理。根据快递的高度、分辨率和相应的视觉算法进行特殊设计。这确保摄像头能够捕捉清 晰准确的快递图像,从而基于大小和形状进行精确的分拣。此外,规划视觉分拣集成的空间布局, 以确保系统的效率和准确性得到优化。这包括摄像头、照明和其他组件的摆放, 以确保整个快 递分拣过程顺畅无缝。机器人视觉快递分拣系统的设计和测试方案考虑了实验的具体需求和 要求,开发出可靠高效的系统,能够准确地分拣快递包裹。通过设计和构建光学平台,我们确保可 以清晰地成像和提取快递, 以便在后续章节中进一步处理。

第三章，视觉图像处理、算法流程、视觉中标定的介绍，基于 HALCON 机器视觉的快递 定位抓取，本研究的主要目的是通过应用图像处理算法从快递包裹中提取深度信息。具体来

说，这些算法旨在确定快递的长度、宽度和高度，以及其整体体积。有了这些深度信息，系 统就可以利用九点校准算法和仿射变换来获得快车的精确坐标。这项工作是自动分类和分拣 系统的关键组成部分，对系统的整体成功至关重要。

第四章，基于 Halocn 程序进行 VS2019 的 WinForm 窗体设计。该设计主要以 C#作为编 程语言工具。概述了自动分类和排序系统中窗体设计开发的功能要求。它涵盖了窗体设计必 须具备的关键特性和功能，以有效控制和监视系统的运行。介绍了以 C#格式导出 HALCON 程序的过程。这是开发 WinForm接口的关键步骤，因为它支持将 HALCON 程序与接口的 C# 代码集成。还有开发 WinForm接口所需的环境配置。它涵盖了软件和硬件要求，以及必要的 设置和配置。首先打包好 Halocn程序，以及配置好语言环境，再根据实验的要求设计 Wimform 界面，释界面的显示逻辑，该逻辑决定了各种组件在屏幕上的显示方式。本节涵盖了管理不 同元素的显示并确保界面响应迅速且用户友好的代码。做好控制快递分拣整个流程。

第五章，在本章中，将全面介绍 ABB 机器人的工作流程，包括坐标系建立、轨迹规划、 抓取和放置等关键步骤。再针对不同尺寸和重量的快递箱，将对机器人的工作参数进行优化， 以实现最佳分类效果。为实现机器人的自动分类功能，还将编写相应的程序，控制机器人的 运动。在程序设计中，我们将充分考虑机器人的安全性、精确性和效率等因素。同时，我们 还需要与相机和传感器等设备进行协调，以确保机器人的分类操作能够顺利完成。研究重点 在于如何实现机器人的精准定位和分类功能，解决机器人在处理快递时可能遇到的尺寸差异 和重量不同等问题，提高机器人的分类效率和准确性。

第六章，本章分为两部分，重点介绍此过程涉及的关键步骤。重点是识别和修复系统软 件组件中的错误所需的步骤。介绍如何使用调试工具和技术（如断点、变量检查和错误日志 记录）来识别和解决软件中的问题。还有自动分类和排序系统的软件打包和发布过程。它涵 盖了将软件组件打包为可分发格式（如安装程序或zip 文件）所需的步骤。更是介绍了发布过 程，包括版本控制、文档和测试。强调了彻底测试和文档编制的必要性，以确保系统部署和 运行成功。主要目的是描述系统的联调过程。

第七章，论文的结语提供了研究工作的总结，从获得的结果中得出结论，提出了未来研 究的可能方向，并强调了研究结果的实际意义。最后的发言表达了对那些为这项研究做出贡 献的人的感谢，并以对该领域未来研究的希望声明结束。

 

结语

在本论文中，我们设计并实现了使用机器人视觉技术的快递分拣系统。该系统的研发， 我们取得了以下成果：首先，我们为基于机器人视觉的快递分拣设计并构建了完整的硬件和 软件系统，包括设备的选择和集成，算法的设计和优化，以及用户界面的开发。其次，我们 提出并实现了一种基于 HALCON 机器视觉的快递精准定位抓取新算法，该算法可以准确提取 快递包裹的深度信息，并为机器人抓取和分拣包裹提供精确的坐标。我们成功地将 HALCON 算法与 ABB 机器人控制系统集成，并进行了实验，验证了系统的准确性和可靠性。

虽然这项研究取得了成功，但仍有其他问题需要解决。例如， 目前的系统主要侧重于快 递分拣，而不考虑包裹重量、连包快递、易碎性或特殊处理要求等其他因素。此外，该系统 还不适合大规模应用，需要进一步优化和改进，以增强其可扩展性和鲁棒性。

未来，我们计划在以下方向继续研究：首先，我们将探索将额外的传感器和模块集成到 系统中，例如重量传感器、条形码阅读器和机械手，以实现更智能和自动化的快递分拣。

最后，感谢导师本科抽检教授在整个研究项目中的指导，鼓励和支持。还要感谢智能制 造研究院为我提供了优质的研究环境和丰富的学术资源。我希望本文中提出的结果和见解能 够激发快递分拣系统领域的进一步研究和开发，并为提高快递服务的效率和准确性做出贡献。

 

参考文献

陈 美玲 , 朱 温涵 ,刘佳 成 , 郑 阳 . 基 于机器视 觉 的 垃圾 分拣 系 统 设计 [J].现代信 息科技,2023,7(04) :18-21+28.

新型交叉带分拣系统的设计与研究[D].马继成.安徽理工大学,2020.

分拣机器人无线电能传输系统拓扑结构的研究[D].杨行.河北工业大学,2020.

韦志文.基于机器视觉的分拣机器人设计与研究[D].安徽理工大学,2022.

王成 军 , 韦 志文,严晨 .基 于机器视 觉技术 的分拣机器人研 究综述 [J].科 学技术 与工程,2022,22(03):893-902.

代瑞恒.基于视觉的电子元器件分拣机器人关键技术研究[D].山东理工大学,2021.

韦志文.基于机器视觉的分拣机器人设计与研究[D].安徽理工大学,2022.

陈艺海,黎莲花,谢昊璋,卢思琪,董晋瑜.基于机器视觉的垃圾分拣机器人[J].仪器仪表与分析监测,2022(01):30-35.

刘新颖,金守峰,严楠.面向分拣机器人的珍珠形状视觉检测方法[J].计算机测量与控制,2022,30(02):79-83.

王成军,韦 志文,严晨.基于机器视觉技术 的分拣机器人研 究综述[J].科学技术与工程,2022,22(03):893-902.

魏 哲 , 王 盼 . 面 向 珍 珠 分 拣 机 器 人 的 形 状 视 觉 检 测 方 法 [J]. 机 械 与 电子,2021,39(08):68-71+76.

刘 星 余 . 面 向 物 流 仓 储 分 拣 机 器 人 的 多 目 标 视 觉 识 别 与 定 位 方 法 研 究 [J]. 粘接,2021,47(07):109-112.

宋宇.基于深度学习的发动机缸盖分拣机器人视觉检测方法研究[D].湘潭大学,2021.

姚涛.基于机器视觉和并联机器人的纽扣电池分拣系统[D].广东工业大学,2021.

代瑞恒.基于视觉的电子元器件分拣机器人关键技术研究[D].山东理工大学,2021.

陈苗苗.面向金属废料的机器人视觉分拣技术研究[D].南京航空航天大学,2021.

李健凯.基于深度学习的视觉机器人垃圾分拣系统设计[D].天津工业大学,2021.

储琴.基于机器视觉的工业机器人分拣控制系统探究[J].电子制作,2021(04):41-43.

Cong Vo Duy. Visual servoing control of 4-DOF palletizing robotic arm for vision based sorting robot     system[J].     International     Journal     on      Interactive     Design     and     Manufacturing(IJIDeM),2022, 17(2).

Guo ZiChen,Wang KaiLong,Lu Fang. Sorting robot based on fuzzy PID and machine vision[P].Zhengzhou Univ. (China),2022.

Han Song,Liu Xiaoping,Wang Gang. Visual Sorting Method Based on Multi-Modal InformationFusion[J]. Applied Sciences,2022, 12(6).