毕业设计我帮你

基于HALCON机器视觉的药板缺陷检测系统设计

与本课题有关的国内外研究情况：

机器视觉是以计算机与工业相机等机器来替代人眼对待检目标进行跟踪 和检测、识别和理解，是研究计算机模拟生物宏观视觉功能的科学与技术。 主要应用于产品检测如现疵检测、识别定位、精密控制、医学检测和人们无 法工作的危险区域的机器人等。机器视觉也可以称为工业视觉，也可以将其 归属于计算机视觉的工业应用的一条分支，与人类、动物的视觉根本上不 同。它的组成可以分为:图像的获取、图像分析与处理还有输出显示控制三个 部分组成;从硬件上分主要由镜头、CCD、采 集卡组成，不过这只是狭义地分 析它的系统硬件组成，其实硬件部分还包括光源、 电脑和外围运动控制部 分。 自动化和计算机技术是机器视觉进入工业生产线的关键因素。在很多情 况下人类视觉越来越不能满足工业需求，比如高速、高精、超视、微距和客 观、无疲劳环境限制等，因此机器视觉逐步取代了人工视觉。它的核心部分 是图像处理、图像理解以及模式识别。

机器视觉技术的研究和工业应用仍然处于很新生的阶段，它的出现至今 也才不到四十年的时间，图像的处理、理解与识别等很多理论与技术仍非常 不成熟，同时图像采集系统也存在相当多的局限性，比如高速图像采集技术 以及其敏感元件的制造难度和成本非常高。所以导致图像分辨率不能满足要 求，图像的灵敏度低以及体积巨大的原因导致的自适应图像不能获取等，因 此机器视觉技术距离成熟还很遥远，发展空间很大。

在国外，机器视觉的发展历程最早是在上个世纪五十年代才提出的概 念，真正开始发展是在七几年，到九十年代才发展逐渐趋于成熟。它开始是 在对机器人的研究过程中发现发展出来的.上世纪七十年代由于CCD图像传感 器的出现,使得CCD相机替代了硅靶摄像，它是机器视觉技术发展历史上的重 要转折点，到八十年代CPU和DSP等数字图像处理的硬件技术发展迅猛.使机器 视觉技术也得以飞速发展。国外的机器视觉技术的应用集中在半导体与电子 行业电子制造、汽车、制药和包装机械占据了近70%的市场份额有四五成在半 导体行业，比如PCB印刷电路和单双面多层线路板、电子封装设备与技术、丝 网印刷设备、SMT表面贴装相关的各种电子及元整件生产加工、成型、集成电 路制造等设备以及电子工模具等,并且非常普遍地应用在了质量检测的各个方面，其产品也在应用之中占有非常大的一片领地。此外机器视觉系统也 在农 业、航空、气象、天文、安保、军事还有科研等国内各个行业和领域都有一 席之地。

国内机器视觉在20世纪90年代才进入发展期，在继北美、欧洲还有日本 之后.近几年随着全球制造中心向中国转移才还渐开始加速发展。 目前我国正 逐渐成为全世界生产加工的中心，许多的生产线也在逐步或已经迁人中国， 同时非常多的全球先进的机器视觉技术逐步渗入我国，我们国家也将成为全 球的发展机器视觉技术最活跃的地区之一。在国内由于许多的行业都是新兴 的行业，同时也因为机器视觉的产品的技术还不能普遍，所以在很多的行业 都没有应用，就算有应用也几基本上没有应用于高端方向。不过在中国，我 们配套的基础建设不断完善，经济实力越来越推厚，于是很多行业对与采用 机器视觉技术的工业自动化以及对高新技术的创新之需求越来越多.中国很多 相关高校研究中心和企业在近几年对机器视觉技术进行非常积极地研究、探 索、创新，逐渐将其应用在工业现场，药品检测分装、印刷、瓶盖检测还有 色形检测、产品缺陷检测等方面已经营遍应用。不过大部分都是应用在比较 低端的方面。所以相关行业应用的空间非常大，其他领域也有相当大的发展 空间。

最近几年中国在做有关机器视觉的研究，还有相关产品的销售与应用的 企业是非常少的，排除所有高校和研究所。国内有四十多个这些企业主要做 产品的销售或者系统集成：首都附近的几个机器视觉公司在产品销售方面最 好，大概占全国机器视觉产品销售的百分之六十；广东和江南地区的企业主 要做系统集成。不过直接应用现成的机器视觉产品的公司就有不少了，他们 基本都从外国直接引进整套设备，设备包含有机器视觉系统，伴随着这些引 进，国内的机器视觉技术逐步发展起来，还有许多本地采购计划导致做系统 集成的许多企业远渐增加，大致包含了光源、智能高速工业相机、CCO镜头、 图像采集卡等范围的全部机器视觉的产品，有很多系统集成企业中的CEO与高 级工程师都反映最近两年比往年的客户需求量正在快速地增长，预示着机器 视觉已经在我国逐步崛起并扎根。

本课题研究的主要内容及方法：

本课题研究的主要内容：

1、查阅相关资料，熟悉药品包装检测系统 (含上位机及软件、电气主控 单元、传送带、光源、相机及其他辅助部件) 的组成、基本原理和工作 流程。

2、掌握图像处理的基本原理和常用基本算法。

3、在Halcon的开发环境中通过样本图片，实现药板瑕疵识别算法的仿真 和验证。主要瑕疵包括：药板大小、药板上的异物 (折痕、头发丝等) 、药片缺粒或部分缺损、药片上的污渍异物等。                 

4、将在Halcon中验证过药板原型算法移植到C++中，并配合硬件 (机械 传动结构) 在真实应用场景下，从相机中实时获取药板图片，在C++程序 中进行算法处理并将结果传送给执行机构，验证算法的准确性和有效性。

主要课题研究的主要方法：

1、到论坛或数据库收集相关资料，并对收集到的资料进行分析归纳，做 好理论知识的积累，通过对相类似的案例提高对课题的认知程度。

2、熟悉HALCON开发平台，学习并掌握图像处理的基本原理、工作流程和 常用基本算法。

3、学习C语言编程基础，参考C语言项目开发进行软件编程，在此基础上 对算法进行深入学习和研究

4、通过平台实验对设计的Halcon相关视觉检测算法进行实验测试并改良。

本课题所需要解决的问题：

1、深入学习C 语言和机器视觉，掌握图像处理的基本原理、工作流程和 常用基本算法。

2、在 Halcon 的开发环境中，设计实验方案并编写相关视觉检测算法来 实现药板瑕疵识别的仿真和验证。

3、进行真实平台实验，在 Halcon 中验证过的药板原型算法移植到C++

中，并配合硬件 (机械传动结构) 在真实应用场景下，从相机中实时获取药 板图片，在 C++程序中进行算法处理并将结果传送给执行机构，验证算法的准 确性和有效性，分析问题并修改算法进行调试。

预期结果及其意义：

预期结果：

1、设计方案并编写Halcon相关视觉检测算法并将其验证成功。在   Halcon的开发环境中，通过样本图片，能够检测药板大小、药板上的异物 (折痕、头发丝等) 、药片缺粒或部分缺损、药片上的污渍异物等主要瑕 疵，实现药板瑕疵识别算法的仿真。

2、进行真实平台实验，将在Halcon中验证过药板原型算法移植到C++

中，并配合硬件 (机械传动结构) 在真实应用场景下，从相机中实时获取药 板图片，在C++程序中进行算法处理并将结果传送给执行机构，成功验证算 法的准确性和有效性。

本课题的设计意义：

本课题主要研究目的是对制药包装流程后道工序中铝塑封装到装盒之前 的圆形片剂药板成品进行瑕疵检测。传统的办法是通过人工肉眼来判断瑕疵 品，存在效率低、成本高、各种因素导致的失误 (主要是漏判) 等不利因  素。通过视觉算法，对流水线上每一块药板图像进行处理识别，找出其中有 缺陷的瑕疵品并通知执行机构予以剔除，可以达到每分钟判断数百板的速  度，且准确率高于人工，可以大幅度提升生产线效率和降低企业成本，具有 很强的社会经济意义。

完成课题的各阶段工作具体安排

起止日期 本阶段的工作安排

2.16-3.7 查阅相关文献资料，理解毕设要求，撰写开题报告和 提交外文文献翻译

3.8-3.14 根据任务书的要求，熟悉系统功能，确定设计方案

3.15-3.28 熟悉图像处理基本原理和算法，熟悉HALCON开发平 台

3.29-4.25 根据设计方案编写、验证Halcon相关视觉检测算法

4.26-5.09 将Halcon平台原型算法移植到C++中，进行真实平 台实验，调试修改算法，记录并分析问题，得到有 效结论

5.10-5.23 总结并撰写毕业设计论文

5.24-5.30 修改并提交毕业设计论文

5.31-6.06 评阅答辩归档

 

目录

摘要 1

Abstract 2

第一章 绪论 1

1.1 课题的研究背景及意义 1

1.2 国内外研究现状和发展趋势 1

1.3 论文的研究内容及结构安排 2

第二章 检测系统的总体设计 4

2.1 系统的硬件组成 4

2.2 系统的开发软件 4

2.2.1 系统开发软件 Visual C++ 5

2.2.2 图像处理开发软件 Halcon 6

2.3 检测系统的构成及其工作原理 7

第三章 药板瑕疵检测算法的研究 9

3.1 药板瑕疵检测算法流程 9

3.2 图像预处理 12

3.2.1 灰度图转换 12

3.2.2 阈值分割 13

3.2.3 形态学处理 14

3.3 样本模板处理 16

3.3.1 样本预处理 16

3.3.2 矫正样本图片 17

3.3.3 框选泡罩区域 19

3.3.4 区域分割与样本特征提取 20

3.4 待测图像的预处理 21

3.5 分割瑕疵与特征提取 22

3.5.1 泡罩内部瑕疵 22

3.5.2 药板点瑕疵和块瑕疵 24

3.5.3 药板线瑕疵 25

3.6 瑕疵判断及显示设置 27

3.6.1 瑕疵判断 27

3.6.2 瑕疵显示设置 27

第四章 检测系统的实现 30

4.1 软件平台的搭建 30

4.2 系统运行流程介绍 34

4.3 检测结果 35

总结 37

展望 39

致  谢 51

参考文献 41

附录 42

 

总结

本课题为基于机器视觉的药板瑕疵检测算法研究。待测药板都是在生产、运输和再加 工中造成的缺损，这些缺损直接造成企业经济损失，甚至危害使用者。为了杜绝此类产品 对生产和生活中的影响，本人通过查阅相关资料、比较方案后，设计出满足实验需求的药 板瑕疵检测方案，基本消除了瑕疵药板带来的安全隐患。本论文针对以下几个方面展开研究工作:

( 1)根据第二章设计出一套机器视觉药板瑕疵检测系统的方案，介绍系统硬件和软件组 成部分。硬件方面包括镜头、光源和工业相机等选取要，软件方面使用机器视觉软件 Halcon 研究检测算法和软件开发平台 VC++开发药板瑕疵检测系统。

(2)基于 Halcon 的药板瑕疵检测中核心算法的研究，调用 Halcon 软件中适用的算子， 针对药板的泡罩、药片和药板区域的瑕疵分类，设计对应的检测方案，可较好检测出瑕疵， 不至于造成过多漏检和错检。多次实验改善得到相对合格的瑕疵检测流程，从而实现了对药板图像的处理和检测。

(3)  实现基于 VC++的药板瑕疵检测系统，软件系统的搭建需结合了 Halcon 机器视觉 软件检测算法，使用 VC++封装药板瑕疵检测系统，设计系统界面，将检测流程与界面操 作结合起来，可以根据实际操作环境具体要求，调节系统参数设置，设计出的操作界面简 洁易操作，能获取实时的图像信息，达到基本的人机交互效果，实现检测系统的智能化。

根据以上实验结果表明，待测药板通过系统检测完整性，均已满足检测标准，验证了 系统性能。基于 VC++的药板瑕疵检测系统具有采集清晰且质量好的图像并处理的能力， 检测出的缺陷清晰可见，每个缺陷处均有检测和标注，系统检测精度达到预期的指标，界 面直观，操作简单，方便检测人员使用。本人对有瑕疵的药板和合格药板进行复检，发现 本药板瑕疵检测系统对于大部分的瑕疵情况可以检测出来，但在检测药片缺角、裂缝和泡 罩异常时存在着误检的情况，但基本上实现了预期检测的目标。

由于条件限制，本人设计的检测系统还存在许多有待改善的地方，想实际地将该系统 应用于药厂生产线上的使用，还有漫长的一段路要走，改进算法和消除影响来减小误差。 后续仍可以从以上几方面继续深入研究，利用不同的技术编写算法，在算法的稳定性上进一步改善算法，开发出其他瑕疵检测的算法方案；系统界面方面也可深入研究，引进更多 实时参数来改善操作界面，提高界面数据的准确性与实时性，使其功能更全面，操作更简 单，满足多种情况的要求。

 

参考文献

[ 1]  鸣磊 张. Pointer Instrument Recognition Based on Halcon Template MatchingOptimization[J]. Crossref,  出版年缺失,  卷缺失(2): 123- 130.

[2]  周田田.  基于机器视觉小麦叶片含水量检测研究[D].  山东农业大学, 2017.

[3] Xuebin xu,Xinman zhang,Jiuqiang han,等. HALCON application for shape-based matching[J]. Crossref,  出版年缺失,  卷缺失(期缺失):  页码范围缺失.

[4] Guanghua yao,Xuncheng wu. Halcon-Based Solar Panel Crack Detection[J]. Crossref,  出版年 缺失,  卷缺失(期缺失):  页码范围缺失.

[5]  姚敏茹,负江剑.机器视觉检测技术在药片包装检测中的应用[J].价值工程，2011 ，2(08)：13.

[6]  吴婉.  机器视觉中泡罩药品包装缺陷检测算法研究[D].  湖南工业大学, 2014.

[7]  吉军,严立甫,张辉,李艳红.  基于 HALCON 和 VC++混合编程的视觉测量系统设计[J].  咸 阳师范学院学报, 2011,  卷缺失(期缺失): 20-24.

[8] 李鹏飞,朱鹏飞,张蕾,王晓华,刘秀平.  基于 HALCON 和 VC++的双目机器人织物抓取系统 设计[J].  西安工程大学学报, 2016,  卷缺失(期缺失): 772-777.

[9]  陈治杉.  基于机器视觉的晶圆缺陷检测系统分析与设计[D].  贵州大学, 2019.     
[ 10] 王丹丹.  药品检验生产线自动化系统控制实验与研究[D].  长春理工大学, 2015.

[ 11] 李光晨.  基于机器视觉的药品泡罩包装缺陷检测技术的研究[D].  天津科技大学, 2014. [ 12] 卞桂平.  基于机器视觉的电容器表面缺陷检测系统的研究与开发[D].  江苏科技大学,2016.

[ 13]  陈涛.  基于 HALCON 的表面贴装电子组件检测系统的研发[D].  华南理工大学, 2011.

[ 14] Qingfeng peng,Shifeng yang. Research on VisualInspection System of Waterproof Breathable Membrane Based on HALCON[J]. Crossref,  出版年缺失,  卷缺失(期缺失): 42036.

[ 15] 远民 黄. Surface Defects Inspection of Solar Cell Based on Halcon[J]. Crossref, 0,  卷缺失 (4): 118- 122.