毕业设计我帮你

摘要

现有基于机器视觉的智能检测技术是实现其生产质量快速、 自动检测与控制的新型重 要手段。本课题主要研究对象是制药包装流程后道工序中铝塑封装到装盒之前的圆形片剂 药板成品瑕疵的检测算法。传统的办法是通过人工肉眼来判断瑕疵品，存在效率低、成本 高、各种因素导致的失误 (主要是漏判) 等不利因素。通过视觉算法，对流水线上每一块 药板图像进行处理识别，找出其中有缺陷的瑕疵品并通知执行机构予以剔除，可以达到每分钟判断数百板的速度，且准确率高于人工，提升生产线效率。

Halcon 是德国 Mvtec 公司开发的一套非常完善的机器视觉算法包，提供了自身的第三 方开发语言及集成开发环境 HDevelop ，缩短了软件的开发周期。本课题在 Halcon 的开发 环境中通过样本图片，利用 Halcon 提供的基础图像处理算子库，结合应用场景、外部条件 和瑕疵种类，进行综合和改进，以提升算法的准确性、适应性和鲁棒性，实现了药板瑕疵 识别算法的仿真和验证。

接着将在 Halcon 中验证过的药板原型算法移植到 VC++中，联合编程搭建药板瑕疵检 测系统，设计检测检测界面。在真实应用场景下，运行检测系统，从相机中实时获取药板 图片，在 VC++程序中进行算法处理并将结果传送给执行机构，进行实际系统验证，验证 了算法的准确性和有效性。

关键词:  机器视觉  HALCON    瑕疵检测  图像处理

人类认识外界信息的80%来自于视觉，而机器视觉就是用机器代替人眼来做测量和判断，机器视觉的最终目标就是使计算机像人一样，通过视觉观察和理解世界，具有自主适 应环境的能力。作为-一个新兴学科，同时也是-一个交叉学科，机器视觉是通过对相关的 理论和技术进行研究,从而建立由图像或多维数据中获取“信息”的人工智能系统，其特 点是可提高生产的柔性和自动化程度。 目前机器视觉技术已经在很多工业制造领域得到了 应用，并逐渐进入我们的日常生活。机器视觉的诞生和应用，大幅解放了人类劳动力，同 时提高了生产自动化水平，装备的使用效率、可靠性及稳定性等。随着新技术、新理论在 机器视觉系统中的应用，机器视觉将在国民经济的各领域申发挥更大作用，其应用前景广 阔，并为社会的发展带来了新的技术革命。

一、机器视觉的概念

为了能够解决人工检测的缺陷问题，给机器人安装人的视觉模拟系统，可以采用机器 视觉替代人眼的功能进行工作。机器视觉是一个包括数字图像处理技术、机械工程技术、 控制技术、光源照明技术、光学成像技术、传感器技术、人工智能、模拟与数字视频技术、 计算机软硬件技术、人机接口等多领域综合和交叉的领域。机器视觉就是用计算机来模拟 人的视觉功能从客观事物的图像中提取信息，进行处理并加以分析，最终用于实际检测和 测量来获取所需信息或控制机器运动的技术。

机器视觉系统是指通过机器视觉产品(即图像摄取装置，分 CMOS 和 CCD 两种)将被摄 取目标转换成图像信号,传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息， 转变成数字信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的 结果来控制现场的设备动作。而且机器视觉易于实现信息集成，是实现计算机集成制造的 基础技术。机器视觉有较强的适用性，运用光学设备和非接触传感器自动接收，能够适应 工业现场恶劣的环境，但是要有合理的性价比、通用的工业接口、较高的容错能力和安全 性，并具有较强的通用性和可移植性，它更强调实时性和要求高精度和高速度。

机器视觉的应用包括工业应用和科学研究两大方面,由于工业应用的视觉环境是可控 的,机器视觉的任务是明确的，所以机器视觉在工业应用中所取得的成果比所获取信息不 明确的科研领域更为丰硕。机器视觉在工业应用中主要是工业检测和机器人视觉。机器视 觉系统可以快速获取和自动处理大量信息，也易于同设计和加工控制信息集成，所以机器 视觉被广泛用于工业检测。机器视觉检测功能包括有外观检查、缺陷检测、面积检测、数 量检测和尺寸测量等。检测结果是控制生产过程的重要指标，对生产效率和质量都有着直接的影响。机器人视觉用于指导机器人进行大范围的操作比如料斗拣取问题,小范围的操 作还需传感器技术。在科学研究中，机器视觉主要用于分析目标的运动和变化规律、材料 分析和生物分析等。机器视觉许多行业都有着广泛的应用，机器视觉几乎可以用到所有需 要人眼的场合。机器视觉的应用有 40%以上用在半导体和电子行业，比如电镀不良检测、 器件污点检测、仪表按键位置错误检测。在包装行业中，机器视觉可用于污点检测、二维 码读取和OCR 字符识别等。在医疗行业机器视觉用于医学图像分析、染色体分析、内窥镜 检查和外科手术等。在交通行业中,机器视觉可以用于流动电子警察、十字路口电子警察, 电子卡口和治安卡口等。在军事上，机器视觉用于武器指导、无人机和无人战车的驾驶等 机器视觉在各行业中充分发挥无可比拟的优越性,极大地提升行业的技术水平。

二、机器视觉相关技术

1、图像采集技术——机器视觉的基础

图像采集部分一般由光源、镜头、数字摄像机和图像采集卡构成。采集过程可简单描 述为在光源提供照明的条件下,数字摄像机拍摄目标物体并将其转化为图像信号，最后通 过图像采集卡传输给图像处理部分。在设计图像采集部分时,要考虑到多方面的问题，主 要是关于数字摄像机、图像采集卡和光源方面的问题。

(1)光源照明

照明是影响机器视觉系统输入的重要因素,其直接影响输入数据的质量和应用效果。 到目前为止，还未有哪种机器视觉照明设备能通用各种应用，因此在实际应用中，需针对 应用选择相应的照明设备以满足特定需求。在光源照明方案选择过程中，应尽可能地突出 物体特征，在物体需要检测的部分与不重要部分之间尽量产生明显的区域，增加对比度， 同时还应保证足够的整体亮度，而物体位置的变化不应影响成像的质量。

照明系统按其照射方法可分为:背向照明、前向照明、结构光和频闪光照明等。其中， 背向照明是指将被测物放在光源和摄像机之间，以提高图像的对比度。前向照明是光源和 摄像机位于被测物的同侧，其优点是便于安装。结构光照明是将光栅或线光源等投射到被 测物上，并根据其产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉 冲照射到物体上,摄像机拍摄要求与光源同步。

(2)光学摄像头

光学摄像头的任务就是进行光学成像,一般在测量领域都又专门的用于测量的摄像镜头，因为其对成像质量有着关键性的作用。摄像头需要注意的一个问题是畸变。这个就需要使用相应的畸变校正方法， 目前也开发出了很多自动畸变自动校正系统。

(3)CCD 摄像机及图像采集卡

CCD(Charge Coupled Device)摄像机及图像采集卡共同完成对目标图像的采集与数字 化。 目前 CCD、CMOS 等固体器件的应用技术，线阵图型敏感器件，像元尺寸不断减小，阵 列像元数量不断增加，像元电荷传输速率也得到大幅提高。在基于 PC 机的机器视觉系统 中，图像采集卡是控制摄像机拍照来完成图像的采集与数字化，并协调整个系统的重要设 备。图像采集卡直接决定了摄像头的接口为:黑白、彩色、模拟、数字等形式。         2、图像处理与分析——机器视觉的核心

用于机器视觉的图像处理与分析方法的核心是，解决目标的检测识别问题。为此，提 出方法的思想中心是如何获得可正确描述目标物与非目标物的特征。当所需要识别的目标 比较复杂时,就需要通过几个环节,从不同的侧面综合来实现。

对目标进行识别提取的时候，首先是要考虑如何自动地将目标物从背景中分离出来。 目标物提取的复杂性一般就在于目标物与非目标物的特征差异不是很大，在确定了目标提 取方案后，就需要对目标特征进行增强。增强方法有颜色特征的增强、累计特征的增强等。 经过特征增强后，最后就是目标物的提取了。这里也有很多不同的方法，比如伪目标删除 方法、 自适应阈值方法、逐步骤类方法、多信息融合方法等。

随着计算机技术、微电子技术以及大规模集成电路的发展，图像信息处理工作越来越 多地借助硬件完成，如 DSP 芯片、专用的图像信号处理卡等。软件部分主要用来完成算法 中并不成熟又较复杂或需不断完善改进的部分。这一方面提高了系统的实时性，同时又降 低了系统的复杂度。

三、国内外研究现状

机器视觉的研究始于 20 世纪 50 年代二维图像的模式识别。60 年代，美国学者罗伯兹 提出了多面体组成的积木世界概念，其中的预处理、边缘检测、对象建模等技术至今仍在 机器视觉领域中应用。70 年代，David Marr 提出的视觉计算理论给机器视觉研究提供了一 个统一的理论框架;同时,机器视觉形成了目标制导的图像处理、图像处理和分析的并行算 法、视觉系统的知识库等几个重要分支。20 世纪 80 年代，机器视觉的发展逐渐进入正轨, 20 世纪 90 年代发展趋于成熟, 90 年代后高速发展。纵观机器视觉的发展,有 3 个标志性发 展点：第一，“机器人”的研制即机器人的最先应用是基于机器人的研究；第二，20 世纪 70 年代 CCD 图像传感器的出现,使 CCD 摄像机代替硅靶，这是机器视觉发展历程中的一个重要转折点；第三，20 世纪 80 年代 CUP 、DSP 等图像处理硬件技术的不断进步，促进 了机器视觉的发展。80 年代以来，对机器视觉的研究形成了全球性热潮,处理器、图像处 理等技术的飞速发展带动了机器视觉的蓬勃发展。新概念、新技术、新理论不断涌现,使得 机器视觉技术日久弥新,一直是非常活跃的研究领域。机器视觉技术应用广泛,涵盖了工业、 农业、医药、军事、交通和科学研究等许多领域。

在国外，最先进的机器视觉技术仍然由欧美、日本等国拥有,针对工业现场的应用开发 出了相应的机器视觉软硬件产品。机器视觉的应用主要体现在半导体及电子行业，其中大 概 40%~50%都集中在半导体行业，具体如 PCB 印刷电路、  SMT 表面贴装、电子生产加 工设备。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应 用中占据着举足轻重的地位。而在中国，机器视觉技术的应用开始于 90 年代，以上行业 本身就属于新兴的领域，再加之机器视觉产品技术的普及较晚，导致机器视觉在以上各行 业的应用几乎空白,我国在机器视觉方面的发展与世界先进水平相比还有一定差距。但随着 中国加工工业的发展，众多先进的生产线逐渐迁移至中国,  许多具有国际先进水平的机器 视觉系统进入了中国国内的机器视觉企业也在与国际机器视觉企业的良性竞争中不断茁  壮成长。

随之带来了先进的机器视觉系统， 目前中国正处于由劳动密集型向技术密集型转型的 时期，对提高生成效率、降低人工成本的机器视觉方案有着旺盛的需求，中国正成为当今 机器视觉发展最为活跃的地区之一，长三角和珠三角成为国际电子和半导体技术的转移地， 同时也就成为了机器视觉技术的聚集地。 目前在我国随着配套基础建设的完善，技术、资 金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现， 国内有关院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的 尝试，逐步开始了工业现场和其它领域的应用。

机器视觉被认为是自动化业的一个前景光明的细分市场。 目前全球机器视觉市场总量 大概在 70~80 亿元,按照每年 8.8%的速度增长。在中国,2010 年和 2011 年中国机器视觉市 场迎来了爆发式增长，市场规模分别达到 8.3 亿元和 10.8 亿元，其中智能相机、软件、板 卡、工业相机的增长速度都远超中国整体自动化市场的增长速度。机器视觉市场 70%的市 场份额由电子、汽车、制药和包装业占据。据《2013-2017 年中国机器视觉产业发展前景 与投资预测分析报告》数据显示，我国机器视觉市场规模达到 8.3 亿元，同比增长 48.2%。 加工制造业的发展对机器视觉的需求逐步上升制造业劳动力相对不足、人工成本高涨、高 级技工严重缺乏等诸多问题的呈现，使得电子制造厂商采购大量自动化设备来取代人工。

四、国内发展趋势

目前中国视觉市场饱和度低发展空间大,整个机器视觉市场自动化产品应用水平偏低,   市场远未饱和。在机器视觉赖以普及发展的诸多因素中，有技术层面的，也有商业层面的。 高端的配件和软件算法仍由国外企业垄断，国内厂商多停留在系统集成和服务阶段,  但制 造业的需求是决定性的。机器视觉在电子制造业、汽车制造业、包装业、机械制造业等相 关行业的发展空间还比较大，在各行业的发展速度在不断加快。制造业的发展带来了对机 器视觉需求的提升，也决定了机器视觉将由过去单纯的采集、分析、传递数据，判断动作， 逐渐朝着开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融合。随 着产业化的发展，机器视觉系统的价格在持续下降，同时市场需求迅速扩大，功能逐渐增 多，应用领域会更加广阔。

嵌入式的机器视觉系统将成为发展趋势,嵌入式视觉系统是将先进的计算机技术、半导 体技术、电子技术和各个行业的具体应用相结合后的产物。嵌入式系统可以进行实时视觉 图像采集、视觉图像处理控制，具有结构紧凑、成本低、功耗低的特点。对于有处理速度 和成本要求的专用机器视觉控制系统可以不需要使用计算机,使得系统具有安装方便、配置 灵活、便于携带等优点。嵌入式系统绝大多数都采用C 语言进行开发,开发效率高、周期短， 产品可靠性高、易于维护和升级。机器视觉系统与其他传感技术相融合。多传感器信息融 合是利用计算机技术将来自多传感器的信息和数据进行分析和综合的信息处理过程实际  上是对人脑处理复杂问题的一种功能模拟。与单传感器相比，多传感器技术在探测、跟踪 和目标识别方面能够提高系统的可靠性和健壮性,增强数据的可信度,提高精度,增加系统的 实时性。机器视觉系统易于向多传感器信息融合技术拓展，解决单一视觉系统的局限性。

机器视觉的发展有集成化、数字化、智能化和实时化的趋势，统一开放的标准是机器 视觉发展的原动力，标准化一体化解决方案是机器视觉发展的必经之路。机器视觉的数字 图像处理、LED 光源控制器和目标识别等方面都需要数字化。在智能专用装备领域,机器视 觉在智能化大型施工机械和农业机械方面的应用都在稳步发展，而流水线对机器视觉的实 时性要求都很高。随着机器视觉技术及其相关技术的不断提升，弄懂人的视觉机制，机器 人与正常人之间的视觉能力差距在不断缩小，视觉技术的成熟和发展会使其在制造企业中 得到越来越广泛的应用。

对于人类来说，识别和理解周围场景是一件非常容易的事，但对于机器人来说，却是 一件很困难的事。主要困难有一下几个方面:

(1) 稳定性问题

现实中的环境因素是多变的，场景中的诸多因素，包括照明、物体形状、表面颜色、 摄像机以及空间关系变化都会对生成的图像有影响。比如用于智能交通检测的设备,如何 保证其在恶劣天气下依旧保持较高的稳定性就是一个很难解决的问题。                (2)构造出性能良好的识别算法

图像处理与分析技术是机器视觉的核心，所以构造出一个良好的、适应相关领域应用 的识别算法显得尤为重要。而且现在的应用领域越来越要求检测设备具有准确、高速地识 别出目标的能力，如果我们不能构造出一个更好的识别算法，就不能适应不断增长的需求。 (3)数据量大

机器视觉所获取的数据量非常非常大的。比如用于手机上的人脸识别功能，识别一次 要投射多大几万个红外线点，这是一个庞大的数据。再比如交通检测方面看，一天累积下 来的数据量也是惊人的。所以如何处理如此大的信息量是个难题。不过随着硬件技术的发 展，这个问题将来会逐步得到解决。

六、课题研究的背景及意义

最近几年以来铝塑泡罩包装在中国药品包装行业发展非常快，原因是该包装方式具有 其他包装所不具有的众多优点，比如患者可以按其自身的一次所需而自行选择一次服药所 需的剂量，这样即为患者带来了方便同时又很具经济性。除此之外，药品铝塑泡罩包装还 具有成本低、携带方便、取药卫生、储运方便、贮存期长、生产速率快和保护性能好等优 点，药品铝塑包装越来越被制药企业和消费者所认可并受到很好的欢迎，正在逐步取代以 前使用的散装、袋装以及玻璃瓶等包装方式，成为各种胶囊、片剂等固体类药品包装的主 流包装方式。

在巨大的市场环境下，药品企业除了要注重药效之外，还要注重药品包装质量。铝塑 泡罩药品从药品加工制作到药板包装完成一般要经过搅拌、成形、给药、热封、压痕和冲 裁等多个步骤，易出现漏装、漏粉、缺损、夹杂异物等问题，这些质量问题不仅影响药品 的药效和卫生，还会影响药品公司的品牌形象，而且会因质量不合格而面临销售危机。因 此，面对如今严格的药品质量标准和药品行业巨大的市场竞争压力，能否及时并准确剔除 存在这些缺陷的不合格产品已成为考验制药企业的关键环节，也是保证药品质量的关键。

药品的包装检测工作一般具有重复性、连续性以及精度高的特点。如今国内主要通过 称重和人工挑选这两种方法来检测泡罩药品包装过程中出现的缺损和异物等质量问题。人 工挑选法虽然比机器更具灵活性，但是工人要时刻监测生产流水线上的包装药板，发现不 合格产品即予以剔除。由于工人受情绪、环境、 自身视力等因素影响，加上劳动强度大， 会降低检测效率，致使部分不合格产品无法及时剔除，难以广泛推广。而只根据称重来判 断是否存在缺陷，对于药片缺损，裂纹等缺陷无法做出判断，也不能满足药品质量检测的 精度要求。随着人们对健康和卫生标准的要求越来越严格，在高效率、高精度的现代化生 产模式下，称重和人工挑选法已无法满足药品生产的需求。所以，基于整个药品包装市场 的需求，同时兼顾药品包装缺陷检测准确性，提升药品生产质量和提高企业生产效率的目 的，将自动检测方法引入到药品质量检测中，实现药品检测的自动化，专门开发一套药品 缺陷检测系统已势在必行。

一部分制药厂家应用光电自动检测的方式，但这种方式也只能检测到泡罩里面药片缺 装的情况，不能检测出药片缺损等其他情况，最主要的是这种光电自动检测方式要求每一 种药型都配备有与其对对应的光电检测模具，很显然，这种需要不断地更换模具的方式在 药品生产线上会带来很大的不便。还有一部分制药厂家应用重量验测法，这种方法是通过 检测药品的重量以区分药片包装是否合格，但这种重量验测方法极其容易受到工业现场机 器等的微小震动的干扰，从而非常容易造成漏检或误检，这种重量验测法同样无法检测到 泡罩包装内的缺片，因此这种方法同样存在很大弊端，从而不能很好地得到推。

许多药厂的制药装备都在更新换代，但是目前我国的制药机械自动化行业还处于初级 阶段，只是简单的改制和组装，缺乏产品自主创新性， 目前高端先进的药厂机械装备还局 限于世界上的欧美国家等。现在我国与国外在制药装备领域的发展水平相比，要落后 10~20 年左右”。这些整套的进口装备价格不菲，中小型的药厂无力承担进口设备的引进以及后 期的维护费用。综合考虑只有改进现存的生产线，才能使得检测系统与之配套使用，进而 提高检测效率。因此，开发和研究具有自主知识产权的应用型视觉系统和图像处理算法对 打破国外相关设备的垄断，突破国外技术封锁，减少对国外技术的依赖、促进本土视觉技 术成长，改变国内中小型企业对类似奢侈设备可望不可及的状态，提高相关产业设备国产 化水平都具有十分重要的意义。对国内制药企业来说，基于机器视觉的药品包装缺陷在线 检测系统的研制和应用，为企业提供了一个新的产品质量评价工具，对促进企业改善产品 质量水平，提高企业信息化水平，改善生产工艺，提高劳动生产效率，降低原材料消耗和 减轻劳动强度，提高产品市场竞争力。

机器视觉由于具有良好的非接触性、速度快、适用性强、精度高等优点，被广泛应用 于实时检测技术中。基于机器视觉的药品包装缺陷检测技术，采用的是图像处理技术,利 用工业相机实时捕获待测药品的图像,传入计算机中进行图像处理， 自动判断偏差和测量， 从而判断该药品是否存在缺陷， 自动剔除不合格药板。只要安装并调试好药品缺陷检测系 统，并适当进行维护保证机器的性能，就能具有较高的稳定性。很大程度上降低了工人的 劳动强度和雇佣费，提高了检测的准确率和效率，增加企业的经济利润，提升企业的市场 竞争力，不会因外界和主观因素造成干扰，具有可靠性和鲁棒性。但是大规模、高精度的 检测要求给视觉系统带来了庞大的数据量，如何提高系统对海量信息的处理和利用效率成 为一个制约视觉系统发展的瓶颈问题。图像处理算法的实时性水平决定了基于机器视觉的 检测系统的实时性，高实时性、高可靠性的高速图像处理算法的研制成为机器视觉应用中 一个非常关键的课题，也是图像处理理论的重要研究方向。缺陷检测算法是药品包装缺陷 检测的核心，对其相关算法的研究对图像处理理论有促进和完善作用，能进一步促进机器 视觉理论的发展和应用。对机器视觉理论技术的研究最终会为企业创造更大的经济利益和 社会效益，促进药品包装检测行业的自动化与智能化，推动整个行业长足发展具有深远的 意义。

 

参考文献

[1]    鸣 磊  张 .  Pointer  Instrument  Recognition  Based   on  Halcon  Template  Matching Optimization[J]. Crossref,  出版年缺失,  卷缺失(2): 123- 130.

[2]  周田田.  基于机器视觉小麦叶片含水量检测研究[D].  山东农业大学, 2017.

[3]   Xuebin   xu,Xinman   zhang,Jiuqiang   han,  等 .   HALCON   application   for   shape-basedmatching[J]. Crossref,  出版年缺失,  卷缺失(期缺失):  页码范围缺失.

[4] Guanghua yao,Xuncheng wu. Halcon-Based Solar Panel Crack Detection[J]. Crossref,  出版 年缺失,  卷缺失(期缺失):  页码范围缺失.

[5]  姚敏茹,负江剑.机器视觉检测技术在药片包装检测中的应用[J].价值工程，2011 ，2(08)：13.

[6]  吴婉.  机器视觉中泡罩药品包装缺陷检测算法研究[D].  湖南工业大学, 2014.

[7]  吉军,严立甫, 张辉,李艳红.  基于 HALCON 和 VC++混合编程的视觉测量系统设计[J]. 咸阳师范学院学报, 2011,  卷缺失(期缺失): 20-24.

[8]  李鹏飞,朱鹏飞,张蕾,王晓华,刘秀平.  基于 HALCON 和 VC++的双目机器人织物抓取系 统设计[J].  西安工程大学学报, 2016,  卷缺失(期缺失): 772-777.

[9]  陈治杉.  基于机器视觉的晶圆缺陷检测系统分析与设计[D].  贵州大学, 2019.      [ 10]  王丹丹.  药品检验生产线自动化系统控制实验与研究[D].  长春理工大学, 2015.

[ 11]  李光晨.  基于机器视觉的药品泡罩包装缺陷检测技术的研究[D].  天津科技大学, 2014.
[ 12]  卞桂平.  基于机器视觉的电容器表面缺陷检测系统的研究与开发[D].  江苏科技大学,2016.

[ 13]  陈涛.  基于 HALCON 的表面贴装电子组件检测系统的研发[D].  华南理工大学, 2011.

[ 14]   Qingfeng  peng,Shifeng   yang.   Research   on   VisualInspection   System   of  Waterproof Breathable Membrane Based on HALCON[J]. Crossref,  出版年缺失,  卷缺失(期缺失):42036.

[ 15]  远民 黄. Surface Defects Inspection of Solar Cell Based on Halcon[J]. Crossref, 0,  卷缺 失(4): 118- 122.