苏ICP备112451047180号-6
基于FPGA的视频图像采集系统设计
摘 要
如今在视频的监控领域被广泛应用的主要是模拟类数字视频监控，模拟类的视频监控的研究开发相比而言更加成熟，性能比较好，应用更加广泛。而数字类的监控系统，乃是最近发展起来的新技术，它以视频图像压缩为核心，现在处在两种技术混合应用阶段，向并行数字的系统不断靠拢。
本系统主要由FPGA的最小系统和ADV7123数模信号的转换模块、SDRAM的缓存器，CMOS摄像头，VGA显示模块组成。在本设计中，硬件方面主要设计了FPGA核心板与其他模块之间的接口板；软件方面设计了整体的程序，包括：CMOS摄像头的驱动与读取视频程序、ADV7123视频D/A转换程序以及SDRAM驱动及读写程序和顶层程序。程序开始运行时，首先FPGA开始通过IIC总线配置CMOS摄像头寄存器，使它输出RGB565格式的视频数据；然后FPGA开始从CMOS中读出视频数据，通过写FIFO先进先出技术和SDRAM乒乓操作将每一帧的视频数据录入进SDRAM中；最后，要显示读取的视频时，再通过读FIFO和SDRAM的乒乓操作将SDRAM中的数据读取出来，并输送到ADV7123视频D/A转化模块，同时驱动VGA显示器将转化得到的模拟图像信号显示出来。
关键词：FPGA;CMOS;SDRAM;VGA
The video image acquisition system based on FPGA design
ABSTRACT
Currently in the field of video surveillance has been widely used mainly analog video surveillance and digital video surveillance. The analog video surveillance relatively mature, the performance is better, more charming widespread application. Digital monitoring system, recently developed new technologies. It is the core video compression. Both technologies are now at the stage of mixing applications, the parallel digital systems continue to move closer.
The system includes a minimum system FPGA chip, CMOS cameras, SDRAM buffer, ADV7123D / A converter module and VGA display components. In this design, the main design of hardware interface between FPGA board core board and other modules; software design of the overall program, including: CMOS camera driver and read the video program, ADV7123 video D / A converter, and SDRAM driver and literacy programs and top-level program. Program starts running, the first FPGA started by IIC bus configuration registers CMOS camera, making video data output RGB565 format; then FPGA starts reading out the video data from CMOS, by writing to the FIFO and SDRAM technology and will operate every ping-pong Books written to the frame of a video SDRAM. Finally, when you want to display video read, and then read through the ping-pong FIFO and SDRAM operation data read out of the SDRAM, and transported to the ADV7123 video D / A conversion module while driving VGA monitor display.
Key Words: FPGA;CMOS;SDRAM;VGA
目 录
摘 要 I
ABSTRACT II
目 录 III
1 绪论 1
1.1 课题研究的背景及意义 1
1.2 本文的主要研究工作 2
2 系统方案设计 3
2.1 视频采集原理 3
2.2 系统主要硬件模块介绍 3
2.3 系统主要工作过程介绍 4
3 硬件电路设计 6
3.1 电源设计 6
3.2 下载电路及程序固化电路设计 6
3.3 OV7725摄像头选择 7
3.4 ADV7123D/A转换以及VGA接口 8
3.5 存储芯片选择与电路设计 9
3.6 接口PCB板设计 10
4 软件电路设计 12
4.1 系统硬件描述语言 12
4.1.1 Quartus II开发平台简介 12
4.1.2 Verilog HDL硬件描述语言 12
4.2 系统时钟和全局复位 12
4.2.1 全局时钟和局部时钟的设计 12
4.2.2 全局复位设计 13
4.3 IIC总线通信设计 14
4.3.1 IIC总线 14
4.3.2 摄像头寄存器配置与IIC通信设计 15
4.3.3 时序仿真 16
4.4 数据缓存FIFO设计 18
4.4.1 FIFO介绍 18
4.4.2 异步读写与乒乓操作 18
4.5 SDRAM缓存设计 19
4.5.1 SDRAM驱动及读写操作分析 19
4.5.2 SDRAM控制模块设计 20
4.5.3 时序仿真 21
4.6 VGA显示设计 22
4.6.1 VGA视频协议 22
4.6.2 VGA驱动与显示模块设计 22
4.7 软件整体框图及系统调试结果 23
结 论 25
参 考 文 献 26
附录A 系统顶层程序设计 27
附录B 系统硬件接口电路图 35
附录C 系统接口板PCB图 36
致 谢 37
1 绪论
1.1 课题研究的背景及意义
目前在视频的监控领域被广泛采用的主要是模拟类的视频监控和数字类的视频监控。而模拟类的视频监控研究开发的比较成熟，性能比较好，应用更加广泛[1]。数字类的视频监控系统，乃是最近发展起来的新技术。它以视频图像压缩为核心。现在处在两种技术混合应用阶段，并行数字系统靠拢。
以前的闭路监控主要有摄像头，数据的传输，控制等几个部分组成。其中COMS摄像头是系统的前端[2]，是系统的“眼睛”。高质量的视频捕获和处理是超清视频的效果的基础。本课题的意义在于掌握如何在一个可编程器件上设计和实现一个具备图像采集、存储、显示和控制的系统，成功完成这个系统是我们在数字系统构建上一个非常宝贵的经验，而且这个系统也具有很大的商业意义。
由于FPGA的固有特性及海量数据处理的本能，它在视频图像处理领域有着广阔的应用前景。FPGA作为协处理器实现硬件的加速，也有可能作为独立完成处理视频的图像的引擎；FPGA与ARM/DSP等嵌入式的CPU相比，并行的处理的能力强和设计方便，受到了视频图像处理领域的青睐[3]。在最新一代的Altera/Xilinx FPGA中，嵌入双核28nm的Cortex-A9,以一个全新的架构在片内实现软、硬件完美结合，协同处理构建视频图像算法的框架，是目前一个主流趋势[4]。
首先，我们需要用基于硬件的语言对开发整套系统。然后，在FPGA上对系统综合与仿真，并将网表在FPGA上映射。最后所得到的系统的文件下载到FPGA。FPGA系统的开发过程如图1.1所示。
1.2 本文的主要研究工作
本文的主要研究内容如下:
(1)剖析了FPGA视频采集系统的研究目的及其研究意义；
(2)根据根据自己所查询的资料进行系统方案的设计；
(3)详细介绍系统硬件电路的设计；
(4)系统软件设计。
结 论
本论文的研究对象是基于FPGA采集视频系统，为了实现这个研究目标，站在FPGA的角度上理解视频的捕获特点是很重要的。
在学习的过程中，我了解了视频采集模块的指令集，熟悉了FPGA芯片的主要功能和特性，同时学习了一种新的硬件语言：VerilogHDL语言，最后终于通过OV7725摄像头采集了视频，并通过VAG模块在屏幕上实时显示出来的视频采集系统。在这个过程中，通过对视频采集系统的设计，我还了解了COMS摄像头及SDRAM存储器的工作特性，对模拟、数字信号的转换和传输有了更深刻的认识，并且通过对缓存器进行选型比较，得出了缓存器各种型号的优劣比。比较遗憾的地方就是，VGA显示模块我是买的成品模块，没有自己独立完成设计，而且该系统不够优化，只是采集到了图像并实现实时显示，并没有对图像进行算法处理，还有待改善。
为了完成这次的毕业设计，我花了很长的时间去设计系统方案，编写档案，书写论文。虽然整个毕业设计的实现过程是曲折而艰难的，甚至一些原理我都很难去实现，但是静下心来后慢慢的查找资料，竟然就一点一点的弄懂了。整个毕业设计的过程中，我忽然发现一个复杂的程序往往是由几个子程序拼接在一起实现的，所以我只需要一步一步分开去做，很多难题就迎刃而解了。何况，一些基础模块程序很多前辈应经做过了，我只需要弄懂之后根据我的要求优化即可，这就是所得的站在巨人的肩膀上吧，最重要的还是要自己的基础扎实，并且需要在整个系统的开发设计过程中制定好计划，按部就班的一步一步去做。完成毕业设计后，我感觉我还缺乏把所学的知识运用到实际中的能力，希望在以后的工作和生活中，能够掌握更多的新知识并把这些知识应用到实践中。
伴随着新技术的涌现和发展，我在学校所学的某些专业知识可能已经落后并濒临淘汰了。因此在大学生活中，我们不仅要学习好课本上的理论知识，同时要培养自己对课外知识的自学能力、独立思考问题和解决问题的能力和提高自己的动手能力。为了可以在竞争越来越残酷的社会中生存下来，我必须努力增强自己的实力。整个的大学时光，都是学习充电的黄金时期，所以我抓紧了一切的时间多多的学习知识，尽可能的充实自己，为融入和适应这个社会打下坚实的基础。
参 考 文 献
[1] 周淑阁,李国丽.FPGA/CPLD系统设计与应用开发.北京：电子工业出版社,2011.
[2] 韩彬,于潇宇,张雷鸣.FPGA设计技巧与案例开发详解.北京:电子工业出版社，2014.
[3] 刘皖,何道军,谭明.FPGA设计与应用.北京:清华大学出版社,2006.
[4] 刘韬,楼兴华.FPGA数字电子系统设计与开发.北京:人民邮电出版社,2005.
[5] 李建华.基于FPGA的视频采集系统设计[D].长安大学,2014.
[6] 刘文龙.基于FPGA的视频采集系统设计[D].青岛科技大学,2014.
[7] 王龙飞.基于FPGA的视频采集系统设计[D].西安工业大学,2013.
[8] 李成奇.基于FPGA技术的视频采集系统设计及实现[D].哈尔滨理工大学,2008.
[9] 同伟锋.基于DSP+FPGA的嵌入式视频采集系统设计[D].西安电子科技大学,2009.
[10] 徐晶晶.基于FPGA的交通监控视频采集系统研究[D].大连海事大学,2009.
[11] 李立.基于FPGA的视频采集系统的设计与实现[D].华中科技大学,2006.
[12] 焦健.基于FPGA的视频采集系统的设计[D].西安理工大学,2010.
[13] 陈泮洁.基于FPGA的视频采集系统设计[D].哈尔滨工程大学,2010.
[14] 蔡军辉.基于FPGA的视频信号数字化采集与显示系统[D].南京航空航天大学,2010.
[15] 张林勇.基于USB与FPGA的视频采集系统设计[D].西安电子科技大学,2011.
[16] Sunggu Lee，Advanced Digital Logic Design，Pohang University of Science and Technology，2006.
[17] Hee-Chul Kim，Byong-Heon Kwon，Myung-Ryul Choi，An image interpolator with image improvement for LCD controller，Consumer Electronics, IEEE Transactions on Consumer Electronics,2001(47),263-271.
[18] 温艳春.网络内部信息安全技术及策略探讨.计算机与网络.2004.
[19] 胡双喜，兰汗平，金家才.军队计算机网络信息安全与维护.安徽电子信息职业技术学院.
摘 要
如今在视频的监控领域被广泛应用的主要是模拟类数字视频监控，模拟类的视频监控的研究开发相比而言更加成熟，性能比较好，应用更加广泛。而数字类的监控系统，乃是最近发展起来的新技术，它以视频图像压缩为核心，现在处在两种技术混合应用阶段，向并行数字的系统不断靠拢。
本系统主要由FPGA的最小系统和ADV7123数模信号的转换模块、SDRAM的缓存器，CMOS摄像头，VGA显示模块组成。在本设计中，硬件方面主要设计了FPGA核心板与其他模块之间的接口板；软件方面设计了整体的程序，包括：CMOS摄像头的驱动与读取视频程序、ADV7123视频D/A转换程序以及SDRAM驱动及读写程序和顶层程序。程序开始运行时，首先FPGA开始通过IIC总线配置CMOS摄像头寄存器，使它输出RGB565格式的视频数据；然后FPGA开始从CMOS中读出视频数据，通过写FIFO先进先出技术和SDRAM乒乓操作将每一帧的视频数据录入进SDRAM中；最后，要显示读取的视频时，再通过读FIFO和SDRAM的乒乓操作将SDRAM中的数据读取出来，并输送到ADV7123视频D/A转化模块，同时驱动VGA显示器将转化得到的模拟图像信号显示出来。
关键词：FPGA;CMOS;SDRAM;VGA
The video image acquisition system based on FPGA design
ABSTRACT
Currently in the field of video surveillance has been widely used mainly analog video surveillance and digital video surveillance. The analog video surveillance relatively mature, the performance is better, more charming widespread application. Digital monitoring system, recently developed new technologies. It is the core video compression. Both technologies are now at the stage of mixing applications, the parallel digital systems continue to move closer.
The system includes a minimum system FPGA chip, CMOS cameras, SDRAM buffer, ADV7123D / A converter module and VGA display components. In this design, the main design of hardware interface between FPGA board core board and other modules; software design of the overall program, including: CMOS camera driver and read the video program, ADV7123 video D / A converter, and SDRAM driver and literacy programs and top-level program. Program starts running, the first FPGA started by IIC bus configuration registers CMOS camera, making video data output RGB565 format; then FPGA starts reading out the video data from CMOS, by writing to the FIFO and SDRAM technology and will operate every ping-pong Books written to the frame of a video SDRAM. Finally, when you want to display video read, and then read through the ping-pong FIFO and SDRAM operation data read out of the SDRAM, and transported to the ADV7123 video D / A conversion module while driving VGA monitor display.
Key Words: FPGA;CMOS;SDRAM;VGA
目 录
摘 要 I
ABSTRACT II
目 录 III
1 绪论 1
1.1 课题研究的背景及意义 1
1.2 本文的主要研究工作 2
2 系统方案设计 3
2.1 视频采集原理 3
2.2 系统主要硬件模块介绍 3
2.3 系统主要工作过程介绍 4
3 硬件电路设计 6
3.1 电源设计 6
3.2 下载电路及程序固化电路设计 6
3.3 OV7725摄像头选择 7
3.4 ADV7123D/A转换以及VGA接口 8
3.5 存储芯片选择与电路设计 9
3.6 接口PCB板设计 10
4 软件电路设计 12
4.1 系统硬件描述语言 12
4.1.1 Quartus II开发平台简介 12
4.1.2 Verilog HDL硬件描述语言 12
4.2 系统时钟和全局复位 12
4.2.1 全局时钟和局部时钟的设计 12
4.2.2 全局复位设计 13
4.3 IIC总线通信设计 14
4.3.1 IIC总线 14
4.3.2 摄像头寄存器配置与IIC通信设计 15
4.3.3 时序仿真 16
4.4 数据缓存FIFO设计 18
4.4.1 FIFO介绍 18
4.4.2 异步读写与乒乓操作 18
4.5 SDRAM缓存设计 19
4.5.1 SDRAM驱动及读写操作分析 19
4.5.2 SDRAM控制模块设计 20
4.5.3 时序仿真 21
4.6 VGA显示设计 22
4.6.1 VGA视频协议 22
4.6.2 VGA驱动与显示模块设计 22
4.7 软件整体框图及系统调试结果 23
结 论 25
参 考 文 献 26
附录A 系统顶层程序设计 27
附录B 系统硬件接口电路图 35
附录C 系统接口板PCB图 36
致 谢 37
1 绪论
1.1 课题研究的背景及意义
目前在视频的监控领域被广泛采用的主要是模拟类的视频监控和数字类的视频监控。而模拟类的视频监控研究开发的比较成熟，性能比较好，应用更加广泛[1]。数字类的视频监控系统，乃是最近发展起来的新技术。它以视频图像压缩为核心。现在处在两种技术混合应用阶段，并行数字系统靠拢。
以前的闭路监控主要有摄像头，数据的传输，控制等几个部分组成。其中COMS摄像头是系统的前端[2]，是系统的“眼睛”。高质量的视频捕获和处理是超清视频的效果的基础。本课题的意义在于掌握如何在一个可编程器件上设计和实现一个具备图像采集、存储、显示和控制的系统，成功完成这个系统是我们在数字系统构建上一个非常宝贵的经验，而且这个系统也具有很大的商业意义。
由于FPGA的固有特性及海量数据处理的本能，它在视频图像处理领域有着广阔的应用前景。FPGA作为协处理器实现硬件的加速，也有可能作为独立完成处理视频的图像的引擎；FPGA与ARM/DSP等嵌入式的CPU相比，并行的处理的能力强和设计方便，受到了视频图像处理领域的青睐[3]。在最新一代的Altera/Xilinx FPGA中，嵌入双核28nm的Cortex-A9,以一个全新的架构在片内实现软、硬件完美结合，协同处理构建视频图像算法的框架，是目前一个主流趋势[4]。
首先，我们需要用基于硬件的语言对开发整套系统。然后，在FPGA上对系统综合与仿真，并将网表在FPGA上映射。最后所得到的系统的文件下载到FPGA。FPGA系统的开发过程如图1.1所示。
1.2 本文的主要研究工作
本文的主要研究内容如下:
(1)剖析了FPGA视频采集系统的研究目的及其研究意义；
(2)根据根据自己所查询的资料进行系统方案的设计；
(3)详细介绍系统硬件电路的设计；
(4)系统软件设计。
结 论
本论文的研究对象是基于FPGA采集视频系统，为了实现这个研究目标，站在FPGA的角度上理解视频的捕获特点是很重要的。
在学习的过程中，我了解了视频采集模块的指令集，熟悉了FPGA芯片的主要功能和特性，同时学习了一种新的硬件语言：VerilogHDL语言，最后终于通过OV7725摄像头采集了视频，并通过VAG模块在屏幕上实时显示出来的视频采集系统。在这个过程中，通过对视频采集系统的设计，我还了解了COMS摄像头及SDRAM存储器的工作特性，对模拟、数字信号的转换和传输有了更深刻的认识，并且通过对缓存器进行选型比较，得出了缓存器各种型号的优劣比。比较遗憾的地方就是，VGA显示模块我是买的成品模块，没有自己独立完成设计，而且该系统不够优化，只是采集到了图像并实现实时显示，并没有对图像进行算法处理，还有待改善。
为了完成这次的毕业设计，我花了很长的时间去设计系统方案，编写档案，书写论文。虽然整个毕业设计的实现过程是曲折而艰难的，甚至一些原理我都很难去实现，但是静下心来后慢慢的查找资料，竟然就一点一点的弄懂了。整个毕业设计的过程中，我忽然发现一个复杂的程序往往是由几个子程序拼接在一起实现的，所以我只需要一步一步分开去做，很多难题就迎刃而解了。何况，一些基础模块程序很多前辈应经做过了，我只需要弄懂之后根据我的要求优化即可，这就是所得的站在巨人的肩膀上吧，最重要的还是要自己的基础扎实，并且需要在整个系统的开发设计过程中制定好计划，按部就班的一步一步去做。完成毕业设计后，我感觉我还缺乏把所学的知识运用到实际中的能力，希望在以后的工作和生活中，能够掌握更多的新知识并把这些知识应用到实践中。
伴随着新技术的涌现和发展，我在学校所学的某些专业知识可能已经落后并濒临淘汰了。因此在大学生活中，我们不仅要学习好课本上的理论知识，同时要培养自己对课外知识的自学能力、独立思考问题和解决问题的能力和提高自己的动手能力。为了可以在竞争越来越残酷的社会中生存下来，我必须努力增强自己的实力。整个的大学时光，都是学习充电的黄金时期，所以我抓紧了一切的时间多多的学习知识，尽可能的充实自己，为融入和适应这个社会打下坚实的基础。
参 考 文 献
[1] 周淑阁,李国丽.FPGA/CPLD系统设计与应用开发.北京：电子工业出版社,2011.
[2] 韩彬,于潇宇,张雷鸣.FPGA设计技巧与案例开发详解.北京:电子工业出版社，2014.
[3] 刘皖,何道军,谭明.FPGA设计与应用.北京:清华大学出版社,2006.
[4] 刘韬,楼兴华.FPGA数字电子系统设计与开发.北京:人民邮电出版社,2005.
[5] 李建华.基于FPGA的视频采集系统设计[D].长安大学,2014.
[6] 刘文龙.基于FPGA的视频采集系统设计[D].青岛科技大学,2014.
[7] 王龙飞.基于FPGA的视频采集系统设计[D].西安工业大学,2013.
[8] 李成奇.基于FPGA技术的视频采集系统设计及实现[D].哈尔滨理工大学,2008.
[9] 同伟锋.基于DSP+FPGA的嵌入式视频采集系统设计[D].西安电子科技大学,2009.
[10] 徐晶晶.基于FPGA的交通监控视频采集系统研究[D].大连海事大学,2009.
[11] 李立.基于FPGA的视频采集系统的设计与实现[D].华中科技大学,2006.
[12] 焦健.基于FPGA的视频采集系统的设计[D].西安理工大学,2010.
[13] 陈泮洁.基于FPGA的视频采集系统设计[D].哈尔滨工程大学,2010.
[14] 蔡军辉.基于FPGA的视频信号数字化采集与显示系统[D].南京航空航天大学,2010.
[15] 张林勇.基于USB与FPGA的视频采集系统设计[D].西安电子科技大学,2011.
[16] Sunggu Lee，Advanced Digital Logic Design，Pohang University of Science and Technology，2006.
[17] Hee-Chul Kim，Byong-Heon Kwon，Myung-Ryul Choi，An image interpolator with image improvement for LCD controller，Consumer Electronics, IEEE Transactions on Consumer Electronics,2001(47),263-271.
[18] 温艳春.网络内部信息安全技术及策略探讨.计算机与网络.2004.
[19] 胡双喜，兰汗平，金家才.军队计算机网络信息安全与维护.安徽电子信息职业技术学院.