基于机器人视觉的快递分拣系统设计与试验

《基于机器人视觉的快递分拣系统设计与试验》由会员分享，可在线阅读，更多相关《基于机器人视觉的快递分拣系统设计与试验（84页珍藏版）》请在装配图网上搜索。

1、 本科毕业论文（设计） 论 文 题 目 ：基于机器人视觉的快递分拣系统设计与试验 本科毕业论文（设计）专用 摘 要 随着电子商务行业的发展，包裹递送量不断增加，使传统的分拣自动化机器人面临压 力，并限制了它们跟上需求的能力。作为回应，将视觉智能系统与这些机器人集成可以提 高效率并降低成本。对此，本文提出了一种基于机器视觉和机器人技术的快递箱自动分类 系统，实现快递盒的自动分拣和分类，可以分拣不同尺寸的快递盒，提高分拣效率和准确 性。本文主要研究内容主要集中于以下几个方面： (1) 研究采用 HALCO

2、N 视觉软件获取快递箱的深度信息，进而提取出快递箱的长度、 宽度、高度和体积等信息，并通过九点标定算法和仿射变换得出快递箱的坐标信息，通过 socket 通信将坐标信息传输给 ABB 机器人，实现机器人的精确抓取和分类。 (2) 实现对快递盒的自动分类，编写一套控制机器人动作的程序，开发相应的软件程 序来实现这一目标，程序将指引机器人对快递盒进行自动分类。这些程序需要与摄像头、 传感器和其他设备协调，以确保分拣操作顺利进行。 (3) 使用 C#语言开发 WinForm 界面，实现对整个快递分类流程的控制。利用 C#语言 创建 WinForm 接口，用于控制整个快速分类过程。让快递自动分类更

3、简单流程化。 使用 ABBIRB1410 型号的工业机器人、工业相机、光源、光源控制器、主控电脑等硬 件组成了机器人分拣系统，提出了一种基于机器视觉和机器人技术的快递箱自动分类系统， 将视觉智能系统和机器人技术集成，以应对快递递送量不断增加的挑战。本文的研究成果 可以代替人工进行快递分拣搬运，提高快递盒的自动分拣和分类效率和准确性，具有广阔 的应用前景和市场价值。 关键词：机器视觉；快递分拣；工业机器人；C#；工作站集成设计。 Abstract As the e-commerce industry grows, package delivery volumes

4、are increasing, putting traditional sortation automation robots under pressure and limiting their ability to keep up with demand. In response, integrating visual intelligence systems with these robots could improve efficiency and reduce costs. In this regard, this paper proposes an automatic sor

5、ting system for express boxes based on machine vision and robot technology to realize automatic sorting and classification of express boxes, which can sort express boxes of different sizes and improve sorting efficiency and accuracy.The main research content of this paper mainly focuses on the fol

6、lowing aspects: (1) The study uses the HALCON vision software to obtain the depth information of the express box, and then extracts the length, width, height and volume of the express box, and obtains the coordinate information of the express box through the nine-point calibration algorithm and af

7、fine transformation. The socket communication transmits the coordinate information to the ABB robot to realize the precise grasping and classification of the robot. (2) Realize the automatic classification of express boxes, write a set of programs to control the movement of the robot, and develo

8、p corresponding software programs to achieve this goal. The program will guide the robot to automatically classify the express boxes. These procedures need to be coordinated with cameras, sensors and other equipment to ensure that sorting operations run smoothly. (3) Use C# language to develop

9、 the WinForm interface to realize the control of the entire express classification process. Create a WinForm interface using C# language to control the entire quick classification process. Make the automatic classification of express delivery easier and more streamlined. A robot sorting system

10、is composed of ABB IRB1410 industrial robot, industrial camera, light source, light source controller, main control computer and other hardware, and a express box automatic sorting system based on machine vision and robot technology is proposed. Integrate with robotics to meet the challenge

11、 of increasing express delivery volume. The research results of this paper can replace manual express sorting and handling, improve the efficiency and accuracy of automatic sorting and classification of express boxes, and have broad application prospects and market value. Key words: machine vi

12、sion; Express sorting; industrial robots; C#；Workstation-integrated design. 本科毕业论文（设计）专用 目 录 1 引 论 1 1.1 研究目的及意义 1 1.2 国内外研究现状 2 1.3 设计的主要内容 3 1.4 章节安排 4 2 机器人视觉的快递分拣系统设计 6 2.1 视觉分拣系统方案设计 6 2.2 系统软硬件集成设备选型 6 2.3 光学方案设计 12 3 Halcon 视觉图像处理 15 3.1 Halcon 视觉软件工作总体流程 15 3.

13、2 相机的标定 20 3.3 系统的通信方式 23 3.4 快递的定位转换 25 4 VS2019 的 WinForm 窗体设计 30 4.1 上位机开发功能要求 30 4.2 以 C#格式导出 Halcon 程序 30 4.3 配置环境 30 4.4 Winform 界面设计 34 4.5 窗体界面的显示逻辑 35 5 ABB 机器人路径算法设计 37 5.1 ABB 机器人工作总体流程 37 5.2 ABB 机器人 Halcon 通讯设置 37 5.3 ABB 机器人离线程序设定 39 6 工作站联合调试试验 41 6.1 程序调试 41 6.2

14、 软件打包发布 41 7 结 语 46 参考文献 47 致 谢 48 附 录 49 附录一：Halcon 机器视觉算法设计及说明 49 附录二：ABB 机器人详细离线程 54 附件三：VS2019 的 WinForm 算法设计及说明 59 附 图 79 附图一：UI 界面图 79 本科毕业论文（设计）专用 1 引 论 1.1 研究目的及意义 近年来快递量的持续增长，物流服务的质量和水平仍有待提高。要提高我国邮政业的发 展水平和国际竞争力，必须在邮政业实行全面、精细化的管理。智能分拣系统由物流自动化 设备、信息传输、仓储控制、管理系统组成，是快递

15、物流系统的重要组成部分，也是保障整 个物流系统高效运行的重要基础设施。其主要功能包括自动拣选、自动包装、自动分拣，可 由计算机远程监控或管理。研究快递物流分拣环节自动化技术，可以为邮政行业的自动化生 产提供新技术、新产品，提高企业的经济效益。视觉识别技术是机器人分拣系统的核心组成 部分，涉及计算机采集图像信息、分析图像信息、提取有价值的信息等关键技术。通过分析 与研究图像特征与分类之间的关系，进而获取目标区域特征信息进行识别和分类，下面是分 拣机器人正在在进行分拣作业。（图 1.1） 图 1.1 产线上的视觉分拣机器人 机器人视觉作为一种新兴技术，可以应用于自动化生产领域，用于物体识别

16、、跟踪、分 类和计数。机器人视觉的关键在于实现物体识别和定位、跟踪，并确定目标物体的位置和运 动方向，主要任务是目标对象检测和分割。主要包括：（1）获取和处理图像中的颜色、灰度、 纹理等各种信息;（2）对加工目标进行分类;（3）对检测到的目标对象进行计数和识别等基本 操作。在分拣过程中，机器人视觉不仅可以对货物进行分拣，还可以对自动分拣系统中各种 传感器检测到的各种产品的规格和尺寸进行准确判断和分类。实现不同产品之间或单个项目 之间的信息相互传递，部门之间的指令和信息传递，也需要不同的技术手段。机器人视觉可 以检测并自动分类不同的产品或相同的产品。它在分拣过程中起着至关重要的作用，不仅实 现了

17、自动化物流系统中货物的分拣功能，而且按照一定的程序和规则将货物分拣或运输到指 定位置。 本文设计一种可以应用于自动识别分拣小物件快递盒和快速分拣系统。在进行货物分类 处理时，快递公司的工作人员将先前已经分好相同地区的商品再进行分配，快递公司的工作 人员将产品放到传送带上，经过机器视觉识别器扫描后，将商品放到自动运输机器上，到了 出货站台后自动运输机器会把托盘升起使机器上的商品落到出货口，集中配送。[7] 9 本科毕业论文（设计）专用 通过对快递包装进行图像采集，采用了图像处理中常用的阈值分割方法、边缘检测、形 态学操作、阈值分割、形态学操作以及特征提取方法来对包裹和包装

18、箱进行分类识别。根据 用户对快递单信息录入要求，设计了一种用于处理快递数据信息并且能对快递图像数据信息 进行处理的系统模块；该智能分拣系统可以自动识别单快递盒和包装箱等不同类别和不同大 小的物品进行分拣； 1.2 国内外研究现状 自 20 世纪以来，快递行业飞速发展，智能物流发展迅速，国家政策也在不断出台鼓励创 新。国内也在不断学习技术并进行开发，以保证物流行业的高速发展。随着人工智能技术在 各企业间的推广应用，机器人视觉技术的发展也逐步成熟。我国研究的自主式智能快递机器 人系统由三部分组成：控制中心、末端执行器、服务机器人。机器人视觉技术在各行各业得 到广泛应用，主要是为了提高生产效率和

19、自动化程度，并且能有效避免人为失误；其次是降 低人工成本、减轻劳动强度、实现机器换人等特点。随着人工智能和信息科技的不断发展， 机器人系统被广泛运用于物流、仓储等领域中，目前已有很多优秀品牌采用了自主研发机器 人来代替人工对货物进行分拣作业。国内快递行业正处于快速发展时期且各大快递公司均在 不断投入大量资金完善设施设备。[2] 目前国内已经有了许多分拣中心与自动化设备供各大快递公司使用，并且已经取得了良 好成效。随着人工智能技术和信息科学技术的迅速发展，机器人系统可以有效代替人工工作 并降低人力成本；同时也是对传统的机械化流水线进行升级改造的过程。近年来随着物流行 业快速发展使得快递行业业务

20、量激增而机器人系统无法满足日益增长的快件数量所造成的设 备及人工成本增加是导致我国快递分拣中心智能化水平不断提高的重要原因之一；同时我国 物流业快速发展、物流业相关服务体系不断完善也是对物流行业转型升级、提高物流行业自 动化程度起到促进作用。目前我国已经有了许多专业从事物流设备研发与生产、运营管理等 方面工作人员。其中就包括从事机器人系统研究、开发、制造及技术服务等工作人员；同时 从事机械自动化工程设计人员；从事相关设备研究及应用开发人员以及从事物流企业相关从 业技术与管理人员等；这些人通常拥有高学历和扎实的专业技能与技术经验。 与国外的机器视觉和人工智能领域进行比较，我们可以对国外几种典型

21、视觉识别系统进 行分析和应用研究： 美国：Eclipse 公司的自动分拣系统（Automatic Segmentation System, ASS），通过基于图 像的信息识别技术，实现自动分拣和货物定位。 日本：丰田物流公司的仓储设备中，利用机器视觉识别系统技术来对分拣出来的货物进 行分类。 德国：Deeplearningen 公司通过计算机视觉识别系统来实现对货物的分拣。 法国：Eclipse 公司使用工业相机和机器视觉技术来实现货物的识别。 澳大利亚：Australian Technology 公司开发出一种可以将计算机视觉技术与 RFID 相结合 使用并集成到机器人拣选中的机器人

22、系统。科技都方便了人们日常生活和快递行业的发展。 尽管国内快递行业已经取得了一定的成效，但是有些企业采用的是传统的人工分拣方式， 成本高、效率低，同时易出现人为失误，影响服务质量。所以提高快递分拣中心的速度，降 低成本，提高服务质量，是快递行业需要解决的问题。 目前国内的物流企业已经开始进行自主研发机器人快递系统，例如顺丰、圆通、中通等。 这些公司不断引入新技术，提高其设备和机器人的智能化程度，提高快递分拣中心的自动化 水平。在这些企业的带动下，中国快递业的自动化水平也在不断提高。 总的来说，随着人工智能技术和信息科技的不断发展，机器人系统将在物流、仓储等领 域中被广泛运用，快递

23、行业也将会实现从人工分拣到机器人分拣的转变。我国快递行业还需 要不断加强技术研发和人才培养，提高自主创新能力，以适应快速发展的市场需求，推动快 递行业的转型升级和可持续发展。 1.3 设计的主要内容 （1）机器人视觉快递分拣系统设计与测试方案，讨论研究的目标以及对高效准确的快递 包裹分拣系统的需求，为研究所需的实验工作场景选择合适的软硬件设备，建立工作操作平 台，连接系统与集成系统形成整体。设计系统的关键部件，包括摄像头和视觉分拣一体化的 空间布局，开发可靠高效的系统，可以准确分拣快递包裹。 （2）快递分拣系统光学平台的设计与构建，确定需要分拣的快递员的尺寸范围，选择合 适的硬件和软件来

24、设计和构建光学平台，选择光学载物台的三个主要组成部分：光源、相机 和镜头，再校准相机以获得快递尺寸和位置的准确测量值，确保快递可以清晰地成像和提取， 以便在后续章节中进一步处理。 （3）设计基于 HALCON 机器视觉的快速定位与抓取算法，描述 Halcon 软件的整体工作 流程，利用处理图像的算法提取快递的深度信息，得到快递的长度、宽度和高度，以及快递 的体积，使用九点标定算法获取快递的坐标点，就可以通过 socket 通信发送到机器人的交互 端，实现快递盒分拣和快递盒的定位。 （4）使用 C#作为编程语言工具，编写基于 Halocn 程序的 VS2019 WinForm 界面设计 配置

25、打包 Halocn 程序并配置语言环境，根据实验要求设计 Winform 界面，控制快递分拣 全过程。 （5）快速定位和抓取的机器人工作流程，详细介绍 ABB 机器人的工作流程，包括机器 人坐标系的建立、机器人的轨迹规划、机器人的抓取和放置，针对快递箱的不同尺寸和重量 调整机器人的工作参数，编写相应的程序来控制机器人的动作，实现机器人的自动分类功能， 与摄像头、传感器等设备协调，确保机器人的分拣作业能够顺利完成。 1.4 章节安排 图 1.2 技术路线流程图 第一章，首先介绍研究的目的和意义，解释了该主题的研究方向，通过研究目的介绍了 机器人视觉快递分类的研

26、究进展，并总结了国内外快递分类技术的发展和实现方向。 第二章本章主要探讨机器人视觉快递分拣系统的设计和测试方案。研究的目标是开发一 个高效准确的系统,能够快速分拣各种大小和形状的快递包裹和递分拣系统光学平台的设计和 构建。为了实现这个目标,我们针对研究所需的实验工作场景,具体选取了合适的软硬件设备。 光学平台是系统的关键组件,因为它捕获快递的图像以进行进一步处理。为了确保准确高效的 分拣,我们首先确定需要分拣的快递的尺寸范围。根据实验的要求,选择合适的硬件和软件来设 计和构建光学平台。光学平台由三个主要部件组成：光源、相机和镜头。光源为快递提供照 明,其选择对于最大限度地减少快递表面的阴影和

27、反射至关重要。根据快递的尺寸、分辨率和 相应的视觉算法选择相机。选择镜头以优化图像质量,并确保在相机的视野中准确捕获快递。 选择硬件后,我们校准相机以获得快递尺寸和位置的准确测量值。校准过程包括测量相机的固 有和外在参数并获得失真系数。校准结果用于校正相机捕获的图像,使其更准确并适合进一步 处理。根据快递的高度、分辨率和相应的视觉算法进行特殊设计。这确保摄像头能够捕捉清 晰准确的快递图像,从而基于大小和形状进行精确的分拣。此外,规划视觉分拣集成的空间布局, 以确保系统的效率和准确性得到优化。这包括摄像头、照明和其他组件的摆放,以确保整个快 递分拣过程顺畅无缝。机器人视觉快递分拣系统的设计和测试

28、方案考虑了实验的具体需求和 要求,开发出可靠高效的系统,能够准确地分拣快递包裹。通过设计和构建光学平台,我们确保可 以清晰地成像和提取快递,以便在后续章节中进一步处理。 第三章，视觉图像处理、算法流程、视觉中标定的介绍，基于 HALCON 机器视觉的快递 定位抓取，本研究的主要目的是通过应用图像处理算法从快递包裹中提取深度信息。具体来 说，这些算法旨在确定快递的长度、宽度和高度，以及其整体体积。有了这些深度信息，系 统就可以利用九点校准算法和仿射变换来获得快车的精确坐标。这项工作是自动分类和分拣 系统的关键组成部分，对系统的整体成功至关重要。 第四章，基于 Halocn 程序进行

29、 VS2019 的 WinForm 窗体设计。该设计主要以 C#作为编 程语言工具。概述了自动分类和排序系统中窗体设计开发的功能要求。它涵盖了窗体设计必 须具备的关键特性和功能，以有效控制和监视系统的运行。介绍了以 C#格式导出 HALCON 程序的过程。这是开发 WinForm 接口的关键步骤，因为它支持将 HALCON 程序与接口的 C# 代码集成。还有开发 WinForm 接口所需的环境配置。它涵盖了软件和硬件要求，以及必要的 设置和配置。首先打包好 Halocn 程序，以及配置好语言环境，再根据实验的要求设计 Wimform 界面，释界面的显示逻辑，该逻辑决定了各种组件在屏幕上的显示方

30、式。本节涵盖了管理不 同元素的显示并确保界面响应迅速且用户友好的代码。做好控制快递分拣整个流程。 第五章，在本章中，将全面介绍 ABB 机器人的工作流程，包括坐标系建立、轨迹规划、 抓取和放置等关键步骤。再针对不同尺寸和重量的快递箱，将对机器人的工作参数进行优化， 以实现最佳分类效果。为实现机器人的自动分类功能，还将编写相应的程序，控制机器人的 运动。在程序设计中，我们将充分考虑机器人的安全性、精确性和效率等因素。同时，我们 还需要与相机和传感器等设备进行协调，以确保机器人的分类操作能够顺利完成。研究重点 在于如何实现机器人的精准定位和分类功能，解决机器人在处理快递时可能遇到的尺寸差异 和重

31、量不同等问题，提高机器人的分类效率和准确性。 第六章，本章分为两部分，重点介绍此过程涉及的关键步骤。重点是识别和修复系统软 件组件中的错误所需的步骤。介绍如何使用调试工具和技术（如断点、变量检查和错误日志 记录）来识别和解决软件中的问题。还有自动分类和排序系统的软件打包和发布过程。它涵 盖了将软件组件打包为可分发格式（如安装程序或 zip 文件）所需的步骤。更是介绍了发布过 程，包括版本控制、文档和测试。强调了彻底测试和文档编制的必要性，以确保系统部署和 运行成功。主要目的是描述系统的联调过程。 第七章，论文的结语提供了研究工作的总结，从获得的结果中得出结论，提出了未来研 究的可能方向，并

32、强调了研究结果的实际意义。最后的发言表达了对那些为这项研究做出贡 献的人的感谢，并以对该领域未来研究的希望声明结束。 2 机器人视觉的快递分拣系统设计 2.1 视觉分拣系统方案设计 视觉分拣机器人设计由多个系统组成，包括快递传输、视觉采集、图像和信息处理、机 器人和控制器等。不同尺寸的快递通过托盘随机放置在传送带上。（图 2.1）CCD 摄像设备捕 捉到图像在工业生产过程中，使用 Halcon 软件识别目标物体的类型，通过算法提取实时坐标， 并将坐标信息传输给工业机器人。然后，机器人对工件进行相应的分类。 控制器 CCD 光源 快递盒 PC 工业机器人 图 2.

33、1 基于视觉机器人分拣系统示意图 快递的输送单元由输送机履带和步进电机组成。快递箱均为棕色，具有光泽，与工件传 输跟踪箱托盘形成明显的颜色对比。这种色差有利于快递箱的识别和精确定位。 视觉部门包括工业相机、光学镜头和照明设备。视觉光源作为平台的照明设备安装在传 送带的两侧。充足的照明设备对于提高目标的成像效果，克服环境光干扰，确保图像稳定性， 消除工件上的阴影至关重要。工业相机在传送带上连续捕获目标工件，获得的信息由 Halcon 软件处理，以便工业机器人进行后续分类，把 Visual Studio 作为操作软件界面。该接口可轻 松控制和监控整个系统，使包裹的分拣和交付更加高效和有效。

34、2.2 系统软硬件集成设备选型 本次视觉分拣机器人中的控制单元与视觉设备选型分为两种，一是硬件选型，二是软件 选型。硬件选型为：工业机器人、控制柜、示教器、海康相机、条形光源、光源控制器、红 外线感应器、继电器。软件选择为：Halcon17.12 完成（图 2.2）。Halcon 与 VS2019 开发完成 （图 2.3）。 图 2.2 HALCON12 开始界面 图 2.3 VS2019 开启界面 本课题选择了中国 ABB 机器人分公司的一款名为 IRB-1410 型号机械手臂（图 2.4）。该 机器人手臂具有卓越的性能，工作周期短，运行可靠，精度高，机器人手腕

35、荷重为 5kg。此外， 机器人上管还提供了独有的 18kg 附加荷重。根据 ABB 官方网站提供的信息，该机器人末端 加上吸盘可以吸取的最大重量为 10 公斤，该项目中使用的工业机器人是一个多功能且适应性 强的系统，能够容纳一系列工艺设备。得益于其先进的定位技术，它拥有卓越的速度和精度， 可以进行调整以适应每个制造过程的独特要求。此外，这种坚固可靠的机器人以其低噪音排 放、长使用寿命和最低维护要求而闻名。其广泛的工作范围、长范围和紧凑的设计使其成为 高效的选择，即使在狭窄或具有挑战性的工作空间中也是如此。凭借其卓越的性能和适应性， 该工业机器人非常适合满足该项目的需求。 图 2.

36、4 IRB-1410 机器人 IRB1410 还配备了相应的机器人控制柜，如图 2.4 所示。该控制柜支持以太网和串口通信。 同时，示教器功能也非常强大，包括通信暂停、功能复位、触摸屏无效化和机器人系统重启 等功能。机器人示教器是一种用于编程和控制工业机器人的工具，由一个手持式设备和一个 用户界面组成，可以让用户直接控制机器人的运动和操作，而不需要编写复杂的程序代码。 使用机器人示教器，操作人员可以将机器人的动作记录下来并保存为程序，然后这些程序可 以在后续的操作中被重复使用。这使得机器人的编程和操作变得更加简单和高效，同时也提 高了生产线的灵活性和适应性。（图 2.4） 图 2.5

37、示教器 机器人的末端执行器可以配备不同的组件，例如真空吸盘（如图 2.6 所示）和机械夹持器。 在该系统中，真空吸盘比机械夹具更实用、更高效。夹持器/吸盘工具是一种多功能复合工具， 可以将活塞销的外圆表面夹在夹持器端的内侧，并将卡展开以将连杆夹在外侧。此外，当完 全关闭时，该工具的前端可以将活塞销推入到位。 图 2.6 真空吸盘 另一方面，吸盘工具用于夹紧活塞部分的上端面。吸盘的使用需要空气压缩机（如图 2.9 所示）、真空发生器（如图 2.8 所示）和电磁阀（如图 2.7 所示）。空气压缩机和真空发生器 为真空吸盘产生吸力，而电磁阀控制气体通道的打开和关闭。该系统选择了常

38、用的 NMPC 三 位两位三通电磁阀。当机器人的吸盘用于抓取快递时，电磁阀打开，当工业机器人将快递放 下时，电磁阀关闭。 图 2.7 电磁阀 图 2.8 真空发生器 图 2.9 空气压缩机 海康威视相机 MV-CA050-12GC（图 2.10）是一款高性能的工业相机，主要用于工业自动 化、机器视觉、数字图像处理等领域。以下是对其详细介绍： 分辨率和帧率：MV-CA050-12GC 采用 500 万像素的 CMOS 图像传感器，最大输出分辨 率为 2448×2048 像素，帧频为 23.5fps@2448×2048 Mono8，可以实现高速捕捉和处理图像数 据。 接口和输出：该相机

39、支持 GigE Vision 接口，传输速率高达 1Gbps，具有较高的数据传输 稳定性和可靠性。并输出格式支持 RAW、BMP、JPEG 等多种格式。 光学性能：该相机使用了高品质的镜头和滤光片，能够提供高质量的图像捕捉。此外， 它还支持多种自动曝光、自动白平衡等功能，可以适应不同的光线环境，并能够实现自适应 亮度和对比度调节，使得图像更加清晰和真实。 硬件和软件支持：MV-CA050-12GC 相机可以通过 SDK 和 API 进行编程和控制，此外， 该相机还具备多种应用程序，如捕捉、触发、调试等，方便用户进行图像处理和数据分析。 （图 2.12）。 图 2.10 外形

40、尺寸 图 2.11 MV-CA013-20GC 相机 图 2.12 12mm 镜头 在本课题中，我们需要选用合适照明设备。这种照明设备是条形光源，它有两种形态： 高均匀性线性光源和复合线性光源。前者是照亮大型方形物体的理想选择，而后者则提供了 根据需要组合颜色的灵活性。条形光源的长度和照明角度可调，适用于各种成像场景，尤其 是快递包裹等涉及大型物品的场景。由于其多功能性，条形光源是这些领域专业人士的宝贵 工具。条形光源是任何需要高质量照明才能产生准确结果的机器视觉系统的关键组件。本次 试验也是采用 WD MM 型号:DSL-144-22 条形光源（图 2.13）。

41、19 图 2.13 DSL-144-22 条形光源 图 2.13 光源照度参考图 条形光源具有高亮度 LED，其照明水平可以根据照度参考图进行调整，同时可以灵活修 改照明角度以满足特定要求。此外，增加的扩散板可确保更均匀、更柔和的光输出。 本研究使用红外传感器（图 2.14）来感应物体是否有无等其他参数。当红外传感器发出 信号时，信号要么被周围物体吸收，要么被反射，传感器根据反射时间和强度计算物体的位 置和距离。在本项目中，红外传感器用作硬触发器，在必要时通过向相机发送信号来捕获图 像。 图 2.14 红外线传感器 光源控制器：海康光源控制器，型号为“MV-

42、VB2210-120G”（图 2.15），主要负责控制光 源的亮度和开/关状态。它配备了英特尔 E3845 SoC，配备 1.91GHz CPU，4GB DDR3L 内存和 高可靠性 SSD 存储。它还支持多个光耦合器隔离输入和输出，并可通过光源接口控制光源的 开/关状态和亮度。内置触发器是一个数字输入模块，用于检测外部信号，例如按下按钮或光 传感器检测物体，并向光源控制器发送信号以触发相应的操作。控制器的尺寸如下（图 2.16） 图 2.15 光源控制器 2.3 光学方案设计 图 2.16 光源控制器尺寸 检测快递盒

43、以及标准，产品名称：快递盒（图 2.17），产品尺寸：直径长宽<50cm,产品 结构如下图所示,产品检测姿态：定点检测，无运动。检测标准:检测快递盒的长宽高，精度不 低于 0.1cm。 尺寸 24.7X17.2X43cm 图 2.17 快递盒尺寸 光学排布图的设计，使用海康威视相机 MV-CA050-12GC 和 12mm 镜头与海康威视光源 控制器和条形灯一起（图 2.18），FOV 是 80*60cm，单次曝光，10ms，相机安装孔做成 U 型 长孔可进行适当的距离调整，光源支架做 C 型孔可进行适当的角度调整，

44、两个相机中心分别 正对两侧快递盒表面中心且光学聚焦面为快递表面；光学排布图可能会根据现场机构实际状 态做优化调整，左侧为正视图，右侧为侧视图。（图 2.19） 图 2.18 dome 平台 图 2.19 光学排布图 视觉检测流程，首先快递盒移动到相机下，触发红外线传感器进行拍照，随后通过软件 对图像进行处理，对产品进行定位等操作，发送给 ABB 机器人一个信号，随后机器人进行抓 取分拣。流程图如下。 图 2.20 视觉方案流程图 3 Halcon 视觉图像处理 3.1 Halcon 视觉软件工作总体流程 在本设计中主要的图像处理流程如下： (

45、1) 首先读取图像:使用读取图像函数 read image，并将其存储在 lmage1 中。图像路径为 C:/Users/32923/Desktop/毕业设计/1.jpg”。 (2) 将 RGB 图像转换为灰度图像:使用 rgb1 to_gray 函数将 lmage1 转换为灰度图像，并将结 2 果存储在 Graylmage 中。 (3) 腐蚀处理: 使用 gray erosion rect 函数对 Graylmage 进行腐蚀处理， 并将结果存储在 26lmageMin 中。 (4) 膨胀 处理: 使用 gray dilation rect 函数 对 ImageMin 进行

46、膨胀处 理， 并 将结果 存储在 ImageMax 中。 (5) 闽值处理:使用 threshold 函数对 ImageMax 进行闽值处理，并将结果存储在 Regions 中。 (6) 连 通 域 处 理 : 使 用 connection 函 数 对 Regions 进 行 连 通 域 处 理 ， 并 将 结 果 存 储 在 ConnectedRegions 中. (7) 选择形状: 使用 select shape 函数从 ConnectedRegions 中选择符合“ 面积在 734291 和 1.47756e+006 之间”的形状，并将结果存储在 SelectedRegi

47、ons 中。 (8) 填充区域:使用 fill up 函数对 SelectedRegions 进行填充，并将结果存储在 RegionFillUp 中。 (9) 形状 转换 : 使用 shape trans 函数 将 RegionFillUp 转换 为凸 包形 状， 并 将结 果存储 在 RegionTrans 中。 (10) 10.矩形开放:使用 opening rectangle1 函数对 RegionTrans 进行矩形开放，并将结果存储在 RegionOpening 中 (11) 边 界 处 理 : 使 用 boundary 函 数 提 取 RegionOpening 的

48、内 部 边 界 ， 并 将 结 果 存 储 在 RegionBorder 中 (12) 最小矩形处理:使用 smallest rectangle2 函数提取 RegionBorder 的最小矩形，并分别将结果 存储在 Row、Column、Phi、Length1、Length2 中。 在进行图像处理之前，第一步先要对快递进行标定（图 3.1），我们采用的方法是九点标 定，先要拍取实际标定板的图像，得到的图像通过预处理和 blob 分系得到九点的中心坐标， 这里使用中心点(x,y)。用工业机器人移动机械臂旋转中心依次到第一个点，并且保存机器当 前坐标(X,Y),然后按照顺序移动到第二个点，

49、保存坐标，以此类推，到最后一个点,坐标全部保 存起来利用刚刚保存的九点坐标和机器坐标，再用算子 vector_to_hom_mat2d 求出矩阵，把像 素坐标转化成实际坐标，就可以确定相机镜头下的物体具体坐标，机械臂就可以实现精准抓 取。 图 3.1 标定方法 第二步建立机器人与相机通讯（图 3.2）。本次试验中使用 socket 通讯，机器人充当服务 器，Halcon 充当客户端。服务器使用 Sockek 对象创建侦听连接，并通过 Bind 方法将其绑定 到一个 EndPoint 上。然后，使用 Listen 方法开始侦听连接请求。当客户端请求连接时，服务 器将创建一个新的

50、Socket 对象，并使用 Accept 方法开始通信。通信结束后，需关闭连接。客 户端需要先创建一个 Socket 对象，然后使用指定的服务器 IP 地址和端口号创建一个 EndPoint 对象，以建立连接。接下来，使用 Connect 方法将连接请求发送到服务器，使用先前创建的 EndPoint 对象作为参数。 图 3.2 建立通讯 成功连接后，客户端使用 socket 对象方法向服务器发送信息（如图 3.3 所示）。然后，客 户端使用 socket 对象的 Receive 方法来接收服务器发送的信息。通信完成后，关闭套接字。一 旦 ABB 机器人收到 Halcon 发送的坐

51、标，它就会继续抓取目标。在进行实验以确定目标是否 已准确定位后，如有必要，对 X 或 Y 轴进行调整，直到到达中心点。 图 3.3 信息接收 第三步是确定快递盒的中心坐标。为此，首先对快递盒像进行预处理，然后使用中值滤 波和高斯滤波、阈值分割、连接区域、区域选择和区域填充运算符等过滤技术，以获得快递 的最小边界矩形，也就是快递件的矩形区域，随后用 area_center 算子就可以求出快递件中心 坐标，再通过中心坐标求出机器坐标 affine_trans_point_2d(HomMat2D,物体 Row,物体 Column, 得到机器 X,机器 Y）。同时另外一个相机拍照得到

52、高度 Z,Z 的实际值求出后，先计算机器人 基坐标中 Z 坐标在快递平台的高度，根据上升多少多少坐标与实际上升高度成比列进行转换， 具体要根据现场调试，经过比列计算转换成参数给到 Halcon 求出的实际高度，进行比列转换 得到相应的高度坐标，之后统一把 X、Y、Z 通过字符发送机器人，便形成相应的空间坐标。 （图 3.4） 图 3.4 中心坐标转换 举例：快递实际高度为 Q，快递平台的高度在机械手臂中基坐标 Z1 为 200，平台高度加 上快递高度在基坐标中为 200+X，则计算快递在平台中机械手臂坐标高度 X 比快递实际高度 Q，得到的比例 X\Q，就可以根据 X\Q，再检测

53、其他快递的高度转换成新机械臂坐标高度：z+Z1， 根据 X\Q，检测其他快递的高度转换成新机械臂坐标高度：z+Z1。（图 3.5） 图 3.5 高度计算流程图 第四步是 Halcon 图像处理对快递件的大小进行确定，实现不同大小进行分仓处理，先通 过 Halcon 对快递进行预处理，再通过求出的最小矩形得到快递盒的长宽大小，；另外一台相 机同样以这种方法得到快递件的高度，这样我们通过 Halcon 求体积的算法求出快递件的体积。 Volume 为体积，根据像素数转换为实际长、宽、高进行求体积。 具体程序如下： *求最小矩形 smallest_rectangle2 (Reg

54、ionBorder, Row, Column, Phi, Length1, Length2) *显示产生任意方位的矩形-Length1 是矩形短边（宽度）-Length2 是矩形的长边（长度） *根据像素数，实际长度与图像长宽计算出，实际长度为 15cm：real_length1:= Length * resolution resolution:= 0.01941 a:=Length1 b:=Length2 real_length1:= a * resolution real_length2:= b * resolution *快递盒实际表面积为 area:=real_length

55、1*real_length2 *下一步计算体积 *resolution 为像素比 resolution:= 0.01941 c:=Length2 *实际的高度 real_length3:= c * resolution *real_length3 为实际高度，在基坐标中桌面高为 Z1（根据现场设置），坐标高/快递实际 高比等于实际高度比 *设置平台高坐标 Z=200,实际高度比 Heightratio=1.2,高坐标 Highcoordinates=平台坐标高 High platform coordinates+实际高度比 Heightratio*实际的高度 real_length

56、3 Heightratio:=1.2 Highplatformcoordinates:=200 Highcoordinates:=Highplatformcoordinates+Heightratio*real_length3 *求体积的循环 volume volume := area * real_length3 随后按不同体积进行分拣，识别完之后 Halcon 会给 ABB 机器人发送不同信号，机器人 通过不同信号进行编程，把快递件搬运至不同信号的指定位置。 首先通过海康相机连续触发拍照得到快递件的图像，试验总共是三个快递件分为，长宽 高各不相同。求体积的循环 volume 条

57、件一：体积大于等于 1500，高小于等于 15 执行 0 条件 二：体积小于 1500，高小于等于 15 执行 1 条件三：体积大于等于 1500，高大于等于 15 执行 2。 具体程序如下： *条件一：体积大于等于 1500，高小于等于 15 执行 0 if(volume>=1500 and real_length3 <= 15) Summ := '0' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif

58、 *条件二：体积小于 1500，高小于等于 15 执行 1 if(volume < 1500 and real_length3 <= 15) Summ := '1' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) *条件三 ：体积大于等于 1500，高大于等于 15 执行 2 endif if (volume >= 1500 and real_length3 > 15) Summ := '2' tuple_add (Hig

59、hcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif 之后通过 tuple_add 算子把需要输出的 xyz 坐标和相应的执行条件进行统一输出，后面会 通过 ABB 机器人进行接收。（图 3.6） 图 3.6 坐标输出 3.2 相机的标定 在本文中，相机校准过程使用九点标定方法（图 3.7），这是机器视觉中机器人技术的一 个重要方面，因为它向机器人手臂提供有关操作对象的关键信息。物体识别与计算机视觉有 一些相似之处，但其他两个方

60、面是机器视觉独有的。相机校准是决定相机和机器人手臂之间 的相对位置和方向，姿态估计涉及计算物体在相机坐标系中的位置和方向，使机器人手臂能 够准确抓取它。此校准过程对于将物体的世界坐标系转换为机械臂坐标系至关重要，从而实 现准确的产品识别、定位和抓取。 摄像机 标定板 机械臂末端 机器人基座 图 3.7 相机标定 九点标定的基本原理是将物体放置在工作区内的 9 个位置，并使用相机捕获图像以获得 这 9 个点的机械和像素坐标。然后使用 halcon 运算符 vector_to_hom_2d 和 affine_trans_point_2d 计算仿射矩阵，前者获得变换矩阵关系，后者执行

61、实际转换。为确保准确的 2D 校准，确保相 机平面和物体平面尽可能平行且角度相同非常重要。 手眼校准过程是一个成熟的领域，旨在确定相机、工具、机器人手臂和世界坐标系之间 的变换矩阵。这是必要的，因为物体识别通常依赖于世界坐标系，而机械臂操作需要了解物 体在机器人手臂坐标系中的真实位置。如果机械臂包含夹持器，则需要进行额外的变换才能 将机械臂坐标系转换为工具坐标系。因此，手眼校准涉及在机器人手臂的工作空间内捕获不 同位置和方向的物体图像，然后使用这些图像来确定与不同坐标系相关的仿射变换矩阵。确 保相机平面和物体平面尽可能平行非常重要，以最大程度地减少二维校准过程中的误差。手 眼标定分为两类（图

62、 3.8）： (1) Eye to Hand：相机在机器人外部固定，不用随机械臂的运动而运动。 24 (2) Eye in Hand：相机在机械臂上，跟随机械臂运动。 图 3.8 Eye to Hand 及 Eye in Hand 标定 本课题中使用 Eye to Hand，就是眼在手外。 (1) 首先自己画九个点（图 3.9），点的中心是为了用于机械臂旋转中心定位。 图 3.9 九点标定板 (2) 把刚刚放图打印出的标定纸进行拍照（图 3.9）。 (3) 使用 halcon 把刚刚拍的标定板图片进行图像处理,获取九个点的坐标，这里只使用了中心 点

63、(X,Y)。（图 3.10） 图 3.10 九点坐标 (4) 移动机械臂旋转中心依次到第一个点，并且保存机器当前坐标(X,Y),然后按照顺序移动到 第二个点，保存坐标，以此类推，到最后一个点,坐标全部保存起来。（图 3.11） 图 3.11 九点中机器人坐标 (5) 利用刚刚保存的九点坐标和机器坐标，求出矩阵 vector_to_hom_mat2d(九点行,九点列,机 器 X,机器 Y,HomMat2D) (6) 之 后 拿 个 物 品 ， 再 用 halcon 求 出 物 体 的 坐 标 ， 拿 着 物 品 坐 标 求 出 机 器 坐 标 affine_tr

64、ans_point_2d (HomMat2D, Row, Column, X, Y)。（图 3.12） 具体程序如下： *实际的坐标点 Qx:=[-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,142.77] Qy:=[64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27] vector_to_hom_mat2d (Column, Row, Qx, Qy, HomMat2D) affine_trans_point_2d (HomMat2D, 1572, 1770, Qx1, Qy1)

65、 *求快递区域面积和中心点位置 area_center (Rectangle, Area, Row2, Column2) *坐标的转化 affine_trans_point_2d (HomMat2D, Column2, Row2, Qx1, Qy1) tuple_string (Qx1, '-0.1f', String) tuple_string (Qy1, '-0.1f', String1) tuple_add (String+';', String1+';', Sum1) 图 3.12 转换坐标 X 和 Y (7) 机械臂移动到刚刚求出来的机器 X，机器 Y 即可，

66、如果有角度需求，直接补偿计算出来 的角度即可，当前移动以及定位的精度和机械臂的重复定位精度和相机畸变较大关系有关系， 常规的工业相机畸变并不是很大，但是标定后会造成累积的边缘误差，导致边缘的器件误差 增大，同时机械臂重复定位精度会导致在标定时，移动的点位坐标出现误差，从而也会累积 为随机的系统误差，所以现场需要根据实际误差来进行最终调试。 3.3 系统的通信方式 本课题用 PC 普通计算机，用 socket 通信连接 ABB 机器人。看 ABB 机器人如何用 socket 与 Halcon 相连接，（图 3.13）可以看到 socket 的基本用法，socket 的声明、服务端与客户端 的建立等等。Socket 通讯的流程： (1) 原始套接字的一种 TCP/IP，需要选项 616-1PC Interface (2) 先创建服务器端监听，再创建客户端连接服务器端； (3) 服务器端与客户端建立端口对端口连接以后，就可以互相收发数据； 注意事项： (1) 无字符串终止符，而不是回车换行符/r/n (2) 消息的意外合并，注意发送数据留有间隙，或增加握手互传信号 (3)