基于深度学习技术的人员行为异常检测系统设计

基于深度学习技术的人员行为异常检测系统设计

摘要

随着人工智能领域技术的不断发展，人工智能与制造业的融合应用已具备一定的基础。现代工厂中人员基数较大，人员行为状况复杂，发生突发意外事件的情况可能性较大，为了方便企业对员工异常行为的判断，提高工厂安防能力，本设计拟设计一款现代工厂作业人员行为异常检测系统。

本设计利用深度学习技术，对数据进行训练与验证，依靠 open pose 框架对权重进行设置，以达到视觉检测的效果，使用 Open Pose 在做动作识别的时候可以有效的提高动作识别度，增加视觉识别的准确性和数据交互能力。同时，利用 Open Pose算法对目标进行检测与数据分析，并对所检测的图像中的人体骨架的关键信息点进行目标检测和数据分析，将算法检测出的图像中人体骨架进行信息关键点标注，将骨架关键点连接形成一个类似火柴人的骨架，然后计算每一个关键点的夹角，以此来判断人体动作的姿态显示。

本设计系统通过Visual Studio Code软件搭载python3.75 进行程序设计实现对人体姿态识别，并进行了实验验证，通过实验表明：本系统结构简单，设备需求量减小、数据集中，系统稳定性好，与传统人体姿态识别方法相比，数据交互性强，使用成本较低，数据量较小。

关键词：Open pose；姿态识别；人体姿态；目标检测

1 引论 1

1.1 研究目的及意义 1

1.2 国内外研究现状 3

1.3 设计的主要内容 4

2 行为异常检测系统总体方案 5

2.1 系统需求与分析 5

2.2 系统总体方案设计 5

3 系统硬件设计 6

3.1 硬件方案设计 6

3.2 深度相机选型 7

3.3 视觉板卡选型 8

3.4 声光报警装置选型 10

3.5 光源装置选型 11

4 行为异常检测系统通讯设计 13

4.1 通信协议的选择 13

4.2 深度相机与 JETSON NANO 板卡 TCP/IP 通讯 13

4.3 深度相机与 JETSON NANO 板卡 CSI 通讯 14

5 行为异常检测系统软件设计 16

5.1 软件方案设计 16

5.2 数据采集 18

5.3 数据集收集与图片标注 18

5.4 图片预处理 19

5.5 手部特征算法及程序设计 22

5.6 身体特征算法及程序设计 23

5.7 人体姿态识别算法及程序设计 25

6 行为异常检测 27

6.1 识别权重准备 27

6.2 检测系统识别准备 27

6.3 行为异常检测系统 29

7 结语 33

参考文献 34

致谢 35

附录 36

附录一 36

附录二 42

1 引论

1.1 研究目的及意义

1.1.1 研究目的

随着经济发展，社会体系的逐步完善，社会治安的能力得到大幅度提升，在 2020 年 11 月国家信息中心提出《全观智慧城市白皮书》，首次提出全光智慧城市的发展理念。随着这一政策推出，各地方开始纷纷跟进“智慧城市 ”建设项目，由各大城市开始向乡镇扩散。智慧城市是运用物联网、云计算、大数据、空间地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式。

至 2010 起年我国安防行业总收入已达 2350 亿元，并逐年快速增长态势。2013 年我国安防行业总收入达到 3800 亿元。到了 2016 年我国安防行业总收入达到了 5400 亿元，截止至 2017 年底，我国安防企业数量大约有 2. 1 万家，行业总收入增长至突破 6000 亿元，年均增长 14.4% ，全行业实现增加值 1960 亿元，年均增长 12.7% 。2018 年我国安防行业总收入将达到 6678 亿元左右。2020 年我国安防行业总收入将突破 8000 亿元，达到了 8212 亿元左右。

智能安防市场空间广阔，视频监控高增速。AI 技术赋予安防感知和认知能力，从人脸识别、视频行为分析到后端有效数据的提取及挖掘，协助解决安防场景中诸多复杂、动态问题，推动安防行业智能化发展。据预测，全球智能视频监控市场 2020-2025 年复合增速为 7. 1% ，2025 年市场规模将达到 318 亿美元。

由于深度学习算法在在语音和图像识别领域的重大突破，通过摄像头识别人脸开始成为现实。伴随安防监控系统的越发庞大，监控数据也随之而来，针对视频监控的中出现的行为异常时间的检测与事故发生的诱导因素，这需要安防人员时时刻刻的观察各个监控数据，但是人的精力是有限的，无法时时刻刻保持高度集中的注意力进行观察各监控数据，因此会产生各种因素导致漏检与误检等情况，从而导致安防能力下降。如今，工厂人员密集，人员活动范围变大，在此过程中突发的异常行为事件就变得各式各样，有的行为异常很难去辨认，甚至难以察觉，如此以来，大大的增加了视频监控技术的技术难度。针对这种情况本设计提出一种基于深度学习技术的现代工厂作业人员行为异常检测系统设计，用以辅助监控人员的工作，以此减少监控工作人员压力提高安防能力。

5G 带来了网络环境的全新变革，多项智慧城市的标准体系的落地、加上 AI 技术条件的逐渐成熟，智慧城市建设有望将进入快车道。人工智能改变了机器视觉在物理世界朝数字世界转换的方式，这两大技术在安防领域的融合应用，目前正在构成“5G+AI+安防” 的全新的组合，助推视频监控行业迈向超高清、AI 智能的新阶段。

1.1.2 研究意义

异常事件检测技术（或者称为行为异常检测技术）的研究能不断推进智能化技术的发展，这对促进社会和谐意义重大。在社会治安方面;可以对视频监控地点进行实时监控，当检测点发生打架，抢劫，斗殴等做出有违社会治安稳定的异常行为时通过视觉检测进行判断其异常行为模式并及时向相关部门进行数据交互提醒，以此可以大幅度提升该地区安防效率，有效避免恶性事件的发生；在交通监管方面，行人横穿马路，发生车祸，都可以通过行为异常检测技术进行监控识别；在工厂生产方面，能检测出检测区的作业人员发生跌倒，违规攀爬，碰撞和突发性的异常行为动作进行报警提示，使监控人员第一时间注意到，并给予解决，在关键时刻甚至可以挽救工作人员的生命；行为异常检测技术也可以运用于商场，小区，银行，景点园区，博物馆等场景，通过及时有效的检测监控中的异常行为，降低突发事件造成的危害。将视频识别与动作检测，这种高效的行为异常检测技术运用在安防技术上，能减少人力物力，对群众与社会治安提供一定量的保障。所以，对针对这种行为异常检测算法的研究显得极为急迫和重要。

1.2 国内外研究现状

1.2.1 国外研究现状

人工智能技术通过搭载着大数据时代的帆船得到了飞速的发展，监控安防系统也越来越智能化普及化，如图 1.3 所示。研究人员基于这个实验，发现动作和骨骼关键点的关系，于是开始针对骨骼关键点进行研究。2019 年曾经开源Open Pose的卡内基梅隆大学（CMU）公布了 ICCV 2019 论文 Single-Network Whole-Body Pose Estimation ，提出一种在单一网络实现全人体姿态估计的算法，相对 Open Pose大幅提高了速度。在 Open Pose 只能达到帧率 1.6 fps 的图像上，该文提出的算法运行帧率可达到 13.2 fps，且精度还有改进。相对与原来的人体姿态估计，即对人体躯干、人脸、手部都进行姿态估计，这可以通过先检测人体躯干关键点，然后再针对人脸和手部进行单独的关键点定位实现，这种方法需要多个姿态估计网络，速度并不快。卡内基梅隆大学在 Open Pose 算法框架下，使用单一网络实现全人体的姿态估计并在论文 Open Pose: reatime multi-person 2D pose estimation using Part Affinity Fields 基础上进行了改进，将原本人脸、手部 Part Affinity Fields 直接合并进入人体的 Part Affinity Fields ，进行多任务学习，实现上述功能。

1.2.2 国内研究现状

2022 年由国内苏波，柴自强，王莉[7]等学者提出针对人体姿态估计模型 Open Pose计算量大、检测速度慢等问题，提出了一种改进 Open Pose模型，替换其主干网络为八度卷积与 Mobile Net 融合而成的 Oct - Mobile Net ，并优化缩减预测阶段的重复分支。实验表明，改进模型的计算量降低为原来的 12%且检测速度提升 300% 。应用改进 Open Pose模型提取标准视频与测试视频的姿态向量时间序列，其中姿态向量由关键点坐标经归一化处理后组合得到。采用姿态向量之间的余弦距离表征单帧动作相似度，通过动态时间规整算法计算标准序列与测试序列之间的累积距离作为序列整体相似度。该评分方法计算复杂度低且适用于视频时长不一致的情况，在八段锦健身动作评估中取得了较好应用效果，具有一定的推广应用价值，如图 1.4 所示。

1.3 设计的主要内容

本文提出了一种基于深度学习技术的人员行为异常检测系统设计，通过了解深度学习技术的人员行为异常检测系统的组成单元，首先对深度学习技术的人员行为异常检测系统进行功能分析，根据功能进行设备选型，选择适当的视觉板卡和深度相机等硬件，合理构建空连接布局。

通过运用 Open pose 算法对读取的图像进行关键点识别方法，该方法通过轻量化 Open pose 对视频流进行骨骼图像提取，中间通过对得到的图像进行姿态数据集标注，最后再通过 COCO 模型对标注图像进行分类训练，将训练出来的权重文件进行分类。根据所需要的识别状态更换合适的权重文件，然后利用 Python3.75 结合 Visual Studio Code 编写深度学习系统程序，最后通过识别检测验证程序调试，使深度相机可以实现实时的姿态获取，以检测人体姿态。

结语

由于人体骨架识别视觉检测可以有效避免视觉检测的光线痛点，且鲁棒性较高，不易受环境影响，行为表达特征明显等优点。这使得人体姿态识别在应用领域的地位逐步提高，使其得到了广泛的研究与应用。人体姿态识别的姿态情况较为复杂多样，因此姿态识别的重点就在与如何将人体姿态的特征提取出来，根据需求输出实时，动态，静态结果。因此，本设计使用深度学习的方法，采用 open pose 轻羽量级算法，从神经网络入手到构建图卷积网络结构，针对人体骨架关键点信息进行提取来进行深入研究，提出一种基于深度学习技术的现代工厂作业人员行为异常检测系统设计。本文研究内容及研究成果如下：

（1）阐述本文的研究背景与意义，并分别分析基于深度学习人体姿态识别的国内外研究现状，以及对本文的结构进行说明。

（2）介绍本设计系统的整体方案，针对软硬件设计方案，给出示意图和流程图与方案描述，对系统设计组成部件进行，设备选型，与选型依据。

（3）训练权重或者下载权重文件

（4）首先对 3D 骨架序列进行旋转变换和几何变换，通过扩展视角增强其空间表达能力和鲁棒性。

（5）输出姿态识别结果。

参考文献

[1] 陈曦 . 黄昌正 . 周言明 . 吴宇浩，基于骨架的视觉动捕姿态优化计算方法 [J]. 广州科

技,2022,7(12):16- 17.

[2] 俞跃华．基于机器视觉的人体骨架识别技术研究与应用［D］. 四川：电子科技大学，2021.

[3] 何少聪．基于深度学习的多模态人体动作识别研究[D].广东：广东工业大学，2021.

[4] 张国平，马楠，贯怀光，吴祉璇深度学习方法在二维人体姿态估计的研究进展[J].计算机科学,2022,8(7):204-208.

[5] 刘帅，基于深度学习的 3D 骨架人体行为识别研究[D] 2021 (02).