毕业设计我帮你

摘要：随着城市经济的快速发展，火灾事故频发，对生态环境，社会经济都造成了严重影响， 因此，火灾检测具有重要意义和价值。火灾的初发阶段是整个火灾过程中最容易控制的阶段，传 统的火焰检测方法和设备在相应的灵敏度方面表现欠佳，为了达到对火焰的实时检测，提出利用 新的深度学习算法来进行火焰检测。通过高斯混合模型运动检测方法对视频中的动态目标进行提 取，再经过 HSI 与 RGB 结合的颜色模型进行筛选，得到疑似火焰目标，对提取的目标进行多目标 跟踪算法跟踪，最终对稳定存在的目标通过 CaffNet 模型进行判别，得到火焰判别结果；实验证 明，本算法实现了对视频火焰的准确检测，能对火焰进行有效识别，对火焰视频数据集上的平均 识别精度达到 98.79％ ，并能适应实时检测火灾的需求。
关键词：深度学习；火焰识别；卷积神经网络
 
1 前言

火灾事故的频发给社会造成不必要的财富损失以及人员伤亡，在当今这个社会 消防也是收到越来越多的注视。火焰所带来的髙温会损坏物体并对人体造成严重的 烧伤。而且，火灾事故发生的频率也并不低。由于火灾的突发性、频发性和危害性， 人们一直在寻找更加及时有效的火灾检测方法。火灾在发生初期是很容易控制的， 因此，如何在对可能发生灾害的场所进行有效监控，使得潜在的损失危害降到最低 是当前研究的重点内容。传统的火灾探测系统存在探测范围有限，误报率高，安装 密度大，可拓展性不强，智能化程度较低等缺点。近年来，随着视频监控的普及视 频图像处理技术和计算机视觉技术的发展，视频火焰识别一直是火灾检测领域的热 点。
近几年来发生的一些严重的火灾事故，造成了许多不必要的人力还有物力的损
失，更伤及到了许多无辜的人，我们必须要提高防火意识，防患于未然，最大限度 的杜绝或降低火灾事故的发生。但是，相较于一些不可避免的自然灾害，比如地震、 泥石流等等，如果能够准确和快速对火灾进行预警，最终造成的损害还是可以降低 的，甚至也可以完全规避。而对火灾进行预警实际就是对火灾所产生的火焰进行识 别和检测任务，其中火焰的识别任务就是判断监测区域是否发生了火灾，检测任务

 
相对识别任务而言不仅要能够识别出是否发生了火灾，同时还需要精确定位到火灾 发生的具体区域位置。
 
 
 
1.1 研究背景及意义
 
火灾预警对人民生活和工业安防具有重大意义。火灾具有突发性、火焰燃烧蔓 延较快的特点，同时火灾对人民的生活、财产等造成了严重的威胁。火焰所带来的 髙温会损坏物体并对人体造成严重的烧伤，而且，火灾事故发生的频率也并不低。 随着经济社会的快速发展和工业原料的多样化，火灾造成的危害正在逐步增加。表 1-1 统计了近几年来所发生的一些严重火灾事故，主要包括了火灾事故发生的时间、 地点和损失。
 
 

时间	地点	损失
2014 2015	浙江温岭大东鞋业公司 云南大理拱辰楼	16 人死亡，5 人受伤 600 年历史的古建筑拱辰楼被烧毁，过火 面积约 300 平方米
2022	江苏镇江工地宿舍	过火面积约 200 平方米，造成 7 人死亡， 4 人受伤

表 1-1 严重火灾事故
 
 
与此同时，火灾常伴随着大量的二氧化硫，一氧化碳以及氮氧化物等多样有害 气体产生，从而环境和空气造成极大的破坏，影响生态平衡。因此，如何识别火焰， 并进行早期的预警和认为干预，显得尤为重要。传统的基于物理传感器的火灾识别 方法，多数采样用烟雾传感器、温度传感器、紫外线传感器等进行实时监控区域的 物理信号状态，从而达到火焰检测的效果，然而该类方法对环境的依赖性较强，且 识别范围受限，难以有效的识别火焰； 同时需要耗费大量的人力、物力进行部署和 维护，对开展火灾工作提出了严峻的挑战。因此，传统的火灾检测方法无法在复杂 场景下应用。数字图像处理技术和机器学习的发展，为火灾检测技术的发展提供了 新的支撑。尤其是近年来以深度学习为代表的人工智能技术的应用普及，为火灾的

 
检测提供了新的思路。基于图像特征的火焰识别方法主要通过提取火焰图像特征， 构建分类器进行火焰识别，一定程度上缓解了对外界环境的依赖性，但是该类方法 大多根据先验知识进行特征提取，容易陷入局部最优值，从而影响火焰识别效果。 如何提高火焰识别精度是火焰识别研究的重点。
1.2 研究现状
 
1.2.1 基于深度学习的火焰识别方法的相关研究
 
2019 年耿梦雅等人在《基于目标跟踪与深度学习的视频火焰识别方法》中提到 深度卷积神经网络，是解决模式识别问题的有效工具。使用卷积神经网络，其可以 压缩输入端维度，在多个空间位置共享参数，进行公共特征的提取，尤其适合处理 图片这种二维格状数据，其适用性强，泛化能力好，具有全局优化能力，且训练参 数少。深度神经网络是由机器学习中的神经网络算法演变而来，且与传统的机器学 习方法相比，深度神经网络能一次完成特征提取与分类识别，从而避免了手工提取 特征的步骤，实现火焰识别。
2020 年蔡春兵等人在《基于深度学习的视频火焰识别方法》中针对传统视频火 灾检测方法依靠人工经验提取火焰特征，误报率高、鲁棒性差的特点，提出一种基 于深度学习的视频火焰识别方法。该方法充分利用火焰的运动特征和颜色信息，先 使用改进的五帧差法和自适应混合高斯建模法进行运动目标提取；再采用 RGB-HSV 混合颜色空间模型筛选出图像中可能的火焰像素区域；最后将以上两个步骤结合起 来进行疑似火焰区域提取，并将疑似火焰区域图像传入预训练的AlexNet 卷积神经 网络模型进行火与非火的精确识别。通过对多种场景下火焰视频的测试结果表明， 提出的方法具有较高的召回率、准确率和较低的误报率。
2022 年唐晓晴等人在《基于深度学习的烟火检测技术研究》中提到烟火检测是 计算机视觉和图像处理的研究难点，在无人基站监控、森林防火监控等方面具有广 泛的应用，且全面分析了烟火检测技术及深度学习理论的发展现状，并基于现有的 YOLO v4 模型进行了系统的实现。
文中采用的烟火检测系统是一款基于 C/S 框架的软件系统，主要用于视频采集， 再使用 YOLO v4 模型对采集到的视频进行分析，从而检测出视频中对应的烟火。唐

 
晓晴在文中使用的 YOLO v4 是一个新兴的目标检测算法，其特点是实现快速检测的 同时还能具备高识别率。
2022 年王有毅在《基于深度学习的多源场景火焰识别》中谈到传统的火焰探测 方式和设备在相应的灵敏度方面表现欠佳，为了达到对火焰的实时检测，提出用新 的深度学习算法来进行火焰检测。利用爬虫技术在互联网上爬取图片数据并制作 VOC 格式的数据集。并针对火焰颜色和运动特征的特点对网络进行改进，增强网络的学 习能力，改进后的网络在保持检测速度的同时精度提升明显，可以实现对多场景下 火焰的实时检测。
传统的基于图像的火灾探测方法研究是关注火焰颜色和运动特征。基于颜色特 征分析的主要分为基于规则和基于模型手动提取。基于模型是对火焰燃烧颜色建立 模型结构，这种方法下不同模型的对火焰特征的侧重不同，检测效果也会有差别。 基于模型和规则设置的检测方法理论简单，时间检测效果存在偏差，其检测思想后 来的研究提供了理论基础。
 
 
1.2.2 基于卷积神经网络的相关研究
 
张杰等人于 2019 年在《基于卷积神经网络的火灾视频图像检测》中提出一种基 于深度卷积神经网络模型进行火灾检测的方法，减少了复杂的预处理环节，将整个 火灾识别过程整合成以一个单深度神经网络，便于训练与优化。利用火灾的运动特 性，创新地提出利用火灾视频前后帧火灾坐标位置变化来排除灯光等类似火灾场景 对检测的干扰。张杰在文中选择了Caffe 框架进行训练及测试，实现了对火灾图像 的识别和定位，适应于不同的火灾场景，具有很好的泛化能力和抗干扰能力。
熊卫华等人于 2020 年在《基于混合卷积神经网络的火灾识别研究》中谈到图像 识别是实现火灾预警的重要手段之一。针对传统方法存在的检测精度低、难以识别 小目标等问题，提出了一种基于混合卷积神经网络的火灾识别方法。为了丰富模型 提取的特征信息，充分利用不同尺度下的特征，文中提出的混合网络结构包含两路 特征提取器。
2020 年李杰等人在《基于卷积神经网络的火灾识别算法》中针对传统图像处理 和浅层机器学习的火灾识别中准确率不太高、特征难以提取等问题，提出一种基于

 
卷积神经网络的火灾识别算法。首先将图片数据集转化为快速 HSI 色彩格式，增加 图片视觉特性，便于深度学习提取火焰特征；然后采用 Inception Resnet V2 卷积 神经网络结合可变形卷积网络 (DCN) 对数据集进行训练提取特征，提高卷积神经网 络对目标几何变化的适应和建模能力；最后使用支持向量机 (SVM) 分批次训练提取 到的特征来进行分类。
吴彩朋等人于 2022 年在《面向视频火灾火焰识别的轻量化卷积神经网络模型》 中提出为解决常用的卷积神经网络模型由于层数和训练参数过多，导致存储和速度 问题突出，很大程度上限制了一些硬件平台上使用的问题，而吴彩朋在文中采用了 基于轻量级卷积神经网络模型SqueezeNet，通过恰当修改模型结构，构建了一种适 用于火灾火焰识别的新网络模型。SqueezeNet 是 Forrest N 等人提出的一种轻量且 高效的 CNN 模型。2018 年，Muhammad 等人首次使用 SqueezeNet 进行火灾检测和定 位，实现了 94.50%的识别准确率。而吴彩朋构建的新网络模型有效的缓解了当前卷 积神经网络中存在的存储和速度问题，提高了计算效率。
 
 
2 火焰识别相关方法研究
 
2.1 传统目标检测算法
早期的目标检测实现一般基于模板匹配算法，在进行目标识别之前，需要从一 张存在目标物体的图像中截取该物体的图像块作为模板，将模板和待测图像转化为 灰度图像，然后将该模板在待测图像中进行窗口滑动，计算模板与待测图像对应位 置的像素差和。如果该像素差之和小于认为设定的经验阈值，则认为目标物体存在 于该图像该区域中。这种通过计算模板窗口像素与待测图像某区域像素之间的误差 的方法是计算图像相似度的最简单原始的方法，通过滑动窗口就可以在待测图像中 找到目标的具体位置。但是这种像素间的差值特征受光线和视野距离影响很大，对 于不规则物体，位置和姿态更加会成为检测效果的重要影响因素，在多数情况下， 只有实际物体与模板大小、姿态完全一致的情况下才能被正确检测出来，这在工程 应用中是不可能的。后来的meanshiftl6-181 算法是模板匹配算法的一种改进，算 法将图像的颜色直方图数据转化为特征向量进行匹配度检查，当需要找到具体的目 标位置时，仍旧采用滑动窗口的方法，将模板窗口在待测图像上按一定的步长移动，

 
同时计算对应区域的颜色直方图，得到数据后计算与模板特征向量的欧几里得距离， 当距离小于设定闯值意味着图像相似度较大，即可判定目标存在于该区域中。这种 对于选取特征的改变在一定程度上提升了模板匹配的成功率，但仍旧无法解决这类 算法对于目标物体空间变化适应性差的根本问题，后续的针对特征选取的优化带来 的效果提升极其有限。随着机器学习理论研究的不断深入，机器学习算法被应用到 图像研究领域，  目标检测也是机器学习算法最先涉及的问题之一，同时目标检测的 经典流程:特征提取配合分类器的思想也随之被广泛应用。对于特征提取过程，其中 备受关注的算法有尺度不变特征变换，这种特征描述具有尺度不变的特性，是一种 局部特征描述子:方向梯度直方图，这种特征是通过计算和统计了图像局部区域的梯 度方向直方图得到的，被广泛应用于早期的行人识别中:局部二值模式，这是一种纹 理描述算子，用于度量和提取图像局部的纹理信息，具有光照不变性。在提取到图 像的特征后，会对特征进行分析与分类其中经典算法有支持向量机(Support Vector Machine，SVM)，Adaboostl261 算法。
 
 
3 深度学习相关技术理论
 
3.1 深度学习网络基础
在卷积神经网络为代表的深度学习兴起之前，传统方式对目标进行检测识别的 算法主要分为三个步骤:区域选择、特征提取、分类器，代表算法有 VJ 算法、HOG、 DMP 等，这些算法与后来流行的以深度学习为基础的目标检测算法最大的区别则其 提取特征的方式，传统算法通过手动设计目标可能存在的特征，然后后使用滑动窗 口滑动整张图片，根据设计的特征寻找目标并进行定位与分类判定，因手动设计检 测特征鲁棒性较差，且滑动窗口定位目标与分类设计过程较为繁琐，因此 2008 年时 传统目标检测算法的发展陷入了瓶颈期，难以有所突破。随着 2012 年卷积网络结 构兴起，一系列模型接连提出，例如 ResNet、GoogleNet、AlexNet 等，学者们开始 使用卷积神经网络代替人工设计特征， 目标检测算法进入了一个蓬勃发展的时代。 3.1.1 卷积神经网络
卷积神经网络，也叫 CNN，其本质是一个多层感知机，它是带有卷积结构的深度 神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是

 
局部感受野，其二是权值共享，其三是 pooling 层，有效的减少了网络的参数个数， 缓解了模型的过拟合问题，卷积神经网络包括：卷积层，降采样层(池化层)，全连 接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征， 每个特征图有多个神经元。
受到人类大脑神经突触结构相互连接的模式启发，神经网络作为人工智能领域 的重要组成部分，通过分布式的方法处理信息，可以解决复杂的非线性问题，图 3-1 展示了神经网络的基本结构。从构造方面来看，主要包括输入层隐藏层、输出层三 大组成结构。每一个节点被称为一个神经元，存在着对应的权重参数，部分神经元 存在偏置，当输入数据进入后，对于经过的神经元都会进行类似于:Y =W*X + b 的线 性函数的计算，其中W 为该位置神经元的权值，b 则为偏置函数。通过每一层神经元
的逻辑运算，将结果输入至最后一层的激活函数，最后得到输出Output。
 
图 3-1 神经网络结构
卷积神经网络的起始是由感受野的概念而来。科学家在十九世纪六十年代提出 感受野的定义为，卷积神经网络每一层输出特征图(feature map)的像素点在输入图 片上映射区域的大小。基于这个概念的图形理解如图 3-2 所示。即第 3 层所得到的 特征仅与第 2 层与第 1 层所映射的区域卷积加运算有关而与其他区域无关，因而将 这两层右上角映射区域成为第 3 层的在该层的感受野。一般来说，感受野越大，特

 
征图计算得到的特征则整体性更好，相对的，细节部分表达则会偏弱。因此了解感 受野的概念以及其计算方法，可以在后续网络结构中通过选择合适的卷积核与锚框
(anchor)大小，可以得到更好的运算与优化结果。
 
图 3-2 感受野的图形理解
 
 
有了感受野的存在，研究者们开始注重图像相邻区域之间的联系，因此最开始 提出卷积神经网络是为了解决图像分类、语音识别等关联性较强的问题与传统神经 网络结构相比，卷积神经网络的优势明显，模型结构简化与计算量明显减少使其得 到了科学家们的青睐，因此卷积神经网络及其应用进入了一个蓬勃发展的时期。
 
3.1.2 卷积层
 
 
图 3-3 展示了二维场景下卷积计算的详细过程。卷积核相当于一个滑动窗口， 示意图中3*3大小的卷积核依次划过 6 * 6 大小的输入数据中的对应区域，并与卷 积核滑过区域做矩阵点乘，将所得结果依次填入对应位置即可得到右侧4*4尺寸的 卷积特征图，例如划到右上角 3*3所圈区域时，将进行 0 * 0 ＋ 1 * 1 ＋ 2 * 1 ＋ 1 *
1 ＋ 0 * 0 ＋ 1 * 1 ＋ 1 * 0 ＋ 2 * 0 * 1 * 1 ＝ 6 的计算操作，并将得到的数值填充到 卷积特征的右上角。

 
 
图 3-3 卷积计算示意图
 
 
3.1.3 池化层
 
 
通常来说，除卷积层外，卷积神经网络中还包括池化层、激活函数层与全连接 层。池化操作又称为降采样 (Down saming) ，提取网络主要特征可以在达到空间不 变性的效果同时，有效地减少网络参数，因而简化网络计算复杂度，防止过拟合现 象的出现。在实际操作中经常使用最大池化或平均池化两种方式，如图 3- 4所示。 虽然池化操作可以有效的降低参数数量，但过度池化也会导致一些图片细节的丢失， 因此在搭建网络时要根据实际情况来调整池化操作。
 
3.1.3 激活函数与全连接层
 
 
通常情况下，卷积神经网络需要增加非线性分割能力，因此需要在网络中添加 激活函数，可以有效避免模型在训练时产生梯度消失等问题。激活函数大致分为两 种，在卷积神经网络的发展前期，使用较为传统的饱和激活函数，主要包括 sigmoid 函数、tanh 函数等；随着神经网络的发展，研宄者们发现了饱和激活函数的弱点， 并针对其存在的潜在问题，研宄了非饱和激活函数，其主要含有ReLU 函数及其函数 变体。

 
Sigmoid 函数曾经由于其公式简单，易于求导而被广泛地使用，但由于函数本身 存在软饱和性，导致模型训练过程中会经常出现梯度消失的问题；而与 sigmoid 函 数相比，tanh 函数将输出限制在[-1,1]区间内，且收敛速度更快，但使用 tanh 函数 并没有解决模型在训练时出现的梯度消失问题。Sigmoid 函数与 tanh 函数表达式见
式 (3-1) 与式 (3- 2 ) ，式 (3- 3 ) 展示了两个函数之间的关系。
 

a X      1+e−x

(3-1)

 

tan ℎx = 1 − e −2x  = ex − e −x  = e2x− 1
 

 
(3-2)

tan ℎx = 2a2x − 1

 
(3-3)

 
ReLU 函数及其变体作为最近几年较为受欢迎的激活函数，在加快模型收敛速度 的同时，可以有效缓解饱和激活函数一直存在的梯度消失问题。ReLU 家族有很多表 现很好的函数，而经常被使用的分别为 ReLU 和Leakly ReLU，两函数表达式见公式  (3- 4 ) 与公式 (3- 5 ) 。两个函数相比较而言，ReLU 更为简单，收敛速度较快； 但相对的，ReLU 函数的缺点为训练时可能会产生神经元“坏死”的情况，一旦出现 神经元“坏死”，该位置的权重无法更新，流过该位置梯度将永远为零；LeaklyReLU 的改进则是给所有x ≤0 的区域赋予非零斜率，对输入信息作了一部分保留，可以较 好的解决ReLU 中祌经元“坏死”的问题。在实际设计网络中，可以根据具体需要选 择合适的激活函数，增加网络的非线性分割与泛化能力。
 

f x = max0, x
 
f x  =        x ≥ 0, a ∈ 1, + ∞

(3-4)
(3-5)

全连接层在整个网络结构中起到“分类器”的作用，经过前面卷积层、池化层、 激活函数层之后，网络己经对输入图片的原始数据进行特征提取，并将其映射到隐 藏特征空间，全连接层将负责将学习到的特征从隐藏特征空间映射到样本标记空间， 一般包括提取到的特征在图片上的位置信息以及特征所属类别概率等。将隐藏特征
空间的信息具象化，也是图像处理当中的重要一环。

 
3.1.4 向前传播与反向传播
 
 
作为祌经网络中的两个基础概念，前向传播与反向传播主要是模拟人类大脑神 经元的正向传导与反馈的过程，两者形成信号回路，在训练过程中不断优化每个神 经元所在位置的权重参数，从而达到深度学习的目的。
当利用前文所描述的组件将卷积神经网络搭建好之后，将数据输入，数据会依 次通过搭建好的网络达到最后一层，这样的传播过程被称为前向传播。一般来说， 前向传播第n层的神经元激活矩阵可以表达为公式 (3-6) ，其中w为该层神经元的
权重参数，b 为偏置量，不难看出，每一层神经元an 的值是通过迭代计算得出的，与
前面一层的神经元激活值an − 1 相关，利用公式 (3-6) —层层的计算，就可以通过输
入数据Z前向传播得到数据。
an  = h wn an − 1  + bn                                                                               (3-6)
 
反向传播算法可以简单理解为复合函数中的链式法则，网络将前向传播得到的 数据与标准输出y进行对比得到误差C ，使用损失函数 (Loss Function，又称为代 价函数) 进行梯度下降计算，损失函数的一般表现形式如公式 (3- 7 ) ，其中 ( X，
y ) ∈ (X，Y) 彼此为独立同分布的学习样本。该函数在不同条件下会产生对应的
变体。那么损失函数值C对于网络当中的权重参数w和偏置b 的偏导和则可以用
来描述C随着w与b 的变化而变化的快慢程度，因此在反向传播时，利用公式与偏 导求得 w 与b 的偏差可以进行反向迭代计算，将整个网络的参数更新，得到最适合 样本特征的参数为止。
C = distancef X, w , p y|X                                           (3-7)
 
随着计算机计算水平的不断提高，科学家们提出了一系列的模型，如最早被提 出的 LeNet，被广泛应用的 ResNet，GoogleNet、以及神经网络里程碑的 AlexNet 等， 基于这些卷积神经网络结构，图片的特征可以很好的被提取，  目标检测的精度与速 度因而得到了大幅度的提升。一系列模型的提出，也为后续提出的目标检测模型奠 定了较为不错的基础。

 
4 总结
 
本文综述了基于深度学习的火焰识别方法的研究现状，相比于传统的火焰检测 方法，基于深度学习的火焰检测方法更适合于解决火灾问题。深度学习的火焰检测 算法与传统机器学习方法进行火焰检测相比，拥有更好的准确率与更低的误报率， 同时可以避免人工提取火焰特征的缺点。研究了火焰检测算法，分析了深度学习以 及卷积神经的相关理论，准确的识别了火焰的精度，这一算法及技术将会应用在更 多的领域。
 
英文翻译
This paper summarizes the research status of deep learning-based flame recognition methods, which are more suitable for solving fire problems than traditional flame detection methods. Compared with traditional machine learning methods for flame detection, deep learning flame detection algorithm has better accuracy and lower false positive rate, while avoiding the disadvantages of manually extracting flame features. It studies the flame detection algorithm, analyzes the related theory of deep learning and convolutional nerve, and accurately identifies the accuracy of the flame. This algorithm and technology will be applied in more fields.