驾车路牌识别，智慧路牌

摘要：提出了一种基于机器视觉和深度学**的智能道路标志识别系统。采用嵌入式ARM9作为前端采集系统，在服务器上利用图像处理算法对前端采集到的路标图像中的文本区域进行提取和分割。接下来，使用经过训练的卷积神经网络。它识别分段文本并最终将识别信息作为音频反馈提供给用户。利用前端硬件采集高速公路上的路标图像，并与服务器端CAFFE框架进行测试，结果表明该系统能够准确地将路标信息以实时、音频的形式广播给用户。

林富春， 刘宇红， 张大峰， 等， 基于深度学**的智能道路标志识别系统设计[J], 电子技术应用， 2018, 44(6): 68-71.

英文引文格式：林富春， 刘宇红， 张大峰， 等. 基于深度学**的智能路卡识别系统设计[J]. 电子技术应用， 2018, 44(6): 68-71.

0 前言

随着社会的快速发展，汽车已经成为当今生活的主要交通工具，路标也成为重要的导航工具。到处都有路标，包括高速公路、国道、地方道路。然而，由于路标往往放置在道路两侧，当驾驶员需要了解路边标志上的信息时，他们的注意力很容易分散，并且**惯了自己所在的道路。如果不这样做，你可能不会了解路标的含义。放慢速度看路标的司机更有可能造成交通拥堵和事故，从而使交通状况恶化。对此，国内外一些研究人员对道路标志识别进行了研究[1]，但结果并不是很理想，很少有道路标志识别系统得到实施。智能路标识别系统可以有效地提取路标信息，帮助驾驶员理解路标信息，因此对于安全驾驶非常重要，也将为未来的智能驾驶策略做出巨大贡献。

1 智能道路标志识别控制系统总体设计

该系统由前端采集、通信传输系统、基于嵌入式技术的远程云服务器识别系统组成。采用基于三星Cortex-A9架构的核心板进行前端采集和传输，并包含10兆像素摄像头、音频广播模块、4G通信模块，是智能路标识别系统的硬件平台构建。摄像头采集含有路标的图像，主控芯片对图像进行压缩，压缩后的图像通过4G模块的SOCKET程序发送到云端服务器。云平台服务器作为智能路标识别设备的数据处理中心。文本识别网络通过深度学**算法在服务器上进行训练。分割的图像在经过训练的网络上进行识别，并将结果发送到服务器。音频模块通过前端将其广播给用户。智能道路标志识别器的总体设计如图1所示。

2 智能道路标志识别控制系统硬件设计

2.1 主控单元模块

该模块采用ARM9核心处理器作为中央控制单元模块，对前端采集系统各单元模块采集到的数据信息进行汇总、分析和处理，向各功能模块发出控制指令，并可用于整个系统稳定运行。中央控制单元完成图像采集，根据预先加载的压缩算法程序对图像进行压缩，一般达到6:1的压缩比，并发送给云端服务器。这减少了传输时间并确保图像真实。 - 信息传输的时间性质。中央控制单元还接收云端服务器发送的识别结果，并通过音频模块将结果反馈给用户。

2.2 前端采集模块

前端采集采用10兆像素CMOS高分辨率摄像头，可以清晰捕捉车辆前方的场景信息，用于智能路标识别系统采集路标信息。产生的高分辨率图像在中央控制单元中存储和处理。

2.3 无线通讯模块

无线通信模块由外围电路和4G通信芯片组成，采用SOCKET通信和4G通信技术完成智能路标识别系统与云端服务器的互连。在中央处理模块的控制下，前端采集的压缩图像通过无线通信模块的作用传输到云端服务器，同时云端服务器将处理后的信息传输到中央控制单元。发送至无线传输模块，并将结果实时反馈给用户。

2.4 音文广播模块

音频播报模块的主要功能是将云服务器处理后的路标文字信息以音频播报的形式呈现给驾驶员，免去驾驶员因看路标文字而分心。周围。该模块主要采用SYN6288中文语音合成芯片实现语音文本广播，将云服务器发送的文本转换为语音信息。 SYN6288语音芯片采用UART和SPI两种通信方式，实现智能文本分析处理和多语音文字处理能力。该模块的电路如图2 所示。

3 智能道路标志识别控制系统软件设计

系统软件设计由两部分组成。其中一部分是前端加载ARM9的Linux系统的设计，完成前端信息采集和压缩、云服务器通信、音频播放等功能。前端采集程序流程图如图3所示。

另一种是在云服务器上对采集到的图像实现预处理、检测、分割、分类识别功能。云服务器首先对前端发送来的图像进行解压和预处理，并使用支持向量机（SVM）算法检测图像中是否包含路标。检测到路标后，提取路标区域，对提取的路标进行图像处理，使用投影方法分割文本，最后进行文本识别。对于文本识别部分，我们使用目前流行的深度学**框架——CAFFE框架。该框架主要使用C++/CUDA高级语言来实现深度学**网络训练和文本识别。云服务器程序流程图如图4所示。

4 基于卷积神经网络的文本识别算法

卷积神经网络（CNN）是深度学**领域的重要算法，在许多应用中都表现出了优异的效果[2-3]。目前字符识别算法很多，但在汉字识别，特别是自然场景下的文本识别方面存在一定的局限性[4-5]。将CNN 与各种文档字符识别算法进行比较，可以看出CNN 算法的性能优于其他算法。本文的智能路标识别系统主要训练CNN识别日常生活中常用的3000个汉字。 CNN是对BP神经网络结构的改进，两者都使用前向传播来计算网络的输出值，并使用误差公式的反向传播来修改权重和偏差值。与传统的特征提取方法相比，CNN最大的改进在于，卷积神经网络使用卷积核进行特征提取，这意味着相邻层不是全连接的，只是部分连接的，因为它们是连接的，所以你得到的是局部特征。在特征平面上使用权重共享机制可以显着减少权重的数量。

本文设计的网络结构如图5所示，输入数据是4040像素的图像，第一层是卷积层，由64个33的卷积核组成，每个卷积核都有自己的提取器通过输入和卷积核运算来提取图像的各种特征和局部特征。然后进入池化层，选择22窗口内的最大值作为输出值，以降低数据的维数。类似地，计算第二层128个卷积核和第三层256个卷积核的卷积运算。全连接层分别使用4096个和3000个全连接11卷积核，对图像和文本的全局特征进行提取和分类。然后根据误差输出公式计算误差，并逆向更新权重和偏移量。为了防止过度拟合，请使用dropout 来部分更新网络权重和偏差。我们多次重复计算以达到训练网络参数的目的。

在智能路标识别系统中，根据国家标准规定的——个路标使用方体粗体汉字，选取了3000个常用汉字进行学**和实验，并由计算机生成对应的图像数据。如图6所示，我们使用C#语言生成40像素40像素的汉字图像作为测试集和训练集。

考虑到前端采集模块实际采集图像时，会遇到硬件发热、外部环境干扰、光线亮度等各种因素，导致图像存在噪点、图像模糊、字迹不清，或者因此，每一张生成的汉字图像都需要进行图像处理，比如生成随机噪声点、腐蚀放大、不同角度旋转扭曲等。Masu。这会为每张汉字图片生成300 张不同的图片，并捕获更多数据，从而为测试集和训练集提供总共900,000 个数据。训练是通过图5 所示的卷积神经网络进行的。

5 系统测试与分析

目前路标场景种类较多，因此在我们的测试实验中我们使用的是相对规范、用途较多、字符方向为从左到右的路标。如图7(a)所示，对于前端发送到服务器的图像，首先使用Canny算子边缘检测进行粗定位，再使用MSER算法进行精定位。包含路标确定路标识别后，对图像进行路标标注区域提取

采用基于HSI颜色空间的方法来提取道路标志区域。基于我国路标的绿色和蓝色背景，我使用HSI空间的H分量来提取路标区域。在本实验中，我们将H参数设置为区间[150, 190]，实验结果如图7(b)所示。

在文本检测部分，我们使用Canny算子进行边缘检测[6]，提取汉字的边缘，利用形态学对汉字进行处理，将文本与文本分离，将文本的不同部分连接起来。以方便文本分割。在文本分割部分，根据像素值的特征，采用投影的方法对文本进行分割。首先，我们对道路标志进行二值化，并通过添加水平投影像素值来执行线分割。分割效果如图8所示。

接下来，通过垂直投影将像素值相加，进行垂直分割。分割效果如图9所示。通过连通区域算法分析得到每个文本区域，最终归一化为40像素40像素图像，送入深度学**卷积神经网络进行分类和识别。

利用本实验设计的网络结构，我们使用80万个数据集作为训练集，10万个数据集作为测试集，在云服务器上迭代8000次，获得了99%的准确率。当迭代次数达到900次左右时，准确率趋于稳定，说明CNN在路标汉字识别中的优势和潜在应用价值。

六，结论

在本文中，我们完成了一个智能路标识别系统从硬件到软件的设计，实现了硬件图像采集和压缩，以及软件图像处理、区域检测和文本分割，最后使其广播给用户。音频模块。该系统对于驾驶员来说起着非常重要的作用，可用于无人驾驶领域，有望为新世纪的智能交通做出重大贡献。本文的系统没有考虑到前端动态拍摄时图像模糊处理的问题，即车辆高速行驶时，前端采集到的图像可能不清晰。下一步。

参考

[1] GONZALEZ A, BERGASA L M, YEBES J J. 基于视觉外观的街道图像交通面板文本检测与识别[J]. IEEE 智能交通系统学报， 2014, 15(1): 228-238.

[2] 王凯，金建明，石广顺，等，基于特征点的汉字字形识别研究[J]，电子信息学报，2008，30(2)：272-276。

[3] 郑英， 陈全齐， 张玉金. 深度学**及其在目标和动作识别方面的新进展[J]. 中国图像图形学报， 2014, 19(2): 175-184.

[4] 孙彩虹.自然风光路标汉字识别技术研究[D].南京：南京理工大学，2014.

[5]刘巨峰.自然场景下交通标志文字检测算法研究[D].北京：北京理工大学，2014.

[6]曾军.图像边缘检测技术及其应用研究[D].武汉：华中科技大学，2011.

作者信息：

林富春、刘玉红、张大峰、张荣芬

(贵州大学大数据信息工程学院， 贵州省贵阳市550025)