，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。4.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，所述步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。
5.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，所
2
CN 1060258 A
权 利 要 求 书
2/2页
述步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
6.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，还包括对样本数据以及待匹配的图像的预处理步骤。
3
CN 1060258 A
说 明 书
一种基于自学习深度特征的模板匹配方法
1/4页
技术领域
[0001]本发明属于计算机图像处理领域，特别涉及不同图像间相似度比较的图像识别方法，具体地，涉及一种基于自学习深度特征的模板匹配方法。背景技术
[0002]在工业生产，石油化工，电力系统等行业存在大量指示系统状态的设备，这些设备通常拥有可枚举的数个不同状态，比如变电站中的分合闸指示灯的亮灭，“远方就地”旋钮的旋转方向，机械压板的分合等等。传统的设备状态识别方式是使用标准的模板匹配方法来比较状态间相似程度，该方法容易受到光照、清晰度的影响，而且也不适用于图像带有一定旋转角度和偏移的情况。
[0003]模板匹配包含图像的颜色、形状相似性的比较，提供一种图像间相似度的度量方式，这种度量不应过多的受外部环境、拍摄方式影响，而是反应被拍摄物体本身的相似程度。
[0004]专利申请号为201310176573.5，名为《一种局部图像匹配方法》的专利，对于两张待匹配的图像，首先分别提取多种不同类型的局部图像特征描述子，包括SIFT，CSLBP，LIOP、OSID等等，串联所有的描述子得到两个描述向量；然后对这两个描述向量进行阈值化，得到对应的二值化的描述向量；之后对这两个进行位异操作，得到一个二值序列，作为差异向量；最后根据计算得到的差异向量，使用逻辑回归分析，计算两图像属于匹配图像的概率。该方法依赖于局部特征描述子，由于描述子数量很多，因此计算耗时比较长；描述子的位置依赖于图像中的角点，对于清晰度较差、强光照的图像，角点的提取会比较困难，也就导致描述子的计算不准确，影响匹配结果。[0005]专利申请号为201310184556.6，名为《一种图像匹配相似性测度方法及其图像匹配方法》的专利，首先分别计算两幅图像在x与y方向上的梯度图，并提取相应的边缘图像；然后计算两方向上边缘图像之间的Hausdorff距离，以此距离作为衡量图像相似度的结果。由于该结果依赖于图像梯度计算，因此对于清晰度差，边缘模糊的图像无法正确提取对应的边缘信息，也就无法得到正确的匹配结果，图像上的噪点也会对结果造成不良影响。发明内容
[0006]发明目的：针对上述现有技术，提出一种基于自学习深度特征的模板匹配方法，能克服图像光照、清晰度、小幅度位移与旋转等干扰因素，在较短的时间内准确衡量图像的相似程度。
[0007]技术方案：一种基于自学习深度特征的模板匹配方法，包括如下步骤：[0008]步骤1：利用采样的样本数据集对基于Caffe实现的孪生神经网络进行训练，训练完成得到深度特征提取器；[0009]步骤2：使用训练得到的深度特征提取器，提取待匹配的图像A和B的深度特征；[0010]步骤3：计算图像A和B的深度特征的欧几里德距离；
4
CN 1060258 A[0011]
说 明 书
2/4页
步骤4：将所述欧几里德距离归一化作为相似度的衡量，所述欧几里德距离越小，
图像A和B越相似。[0012]进一步的，所述步骤1中，所述孪生神经网络由两个相同结构且共享权值的子网络组成，子网络feat1和feat2的网络结构具体为：[0013]输入层：输入层为xx3的图像数据，为RGB三通道图像，像素值被归一化到0～1之间；
[0014]卷积层：采用大小为3x3的卷积核参数，卷积运算后进行Batch Normalization运算，使用RELU作为激活函数；[0015]池化层：采用2x2的窗口大小进行池化；[0016]Flatten层：将输入由矩阵形式转换成向量形式；[0017]所述输入层后共8个卷积层，卷积深度分别为[32，，，128，96，192，128，256]，每两个卷积层之间添加一个池化层来进行降采样，最后使用Flatten层将将卷积的结果向量化，向量化的结果作为网络的输出。[0018]进一步的，使用Contrastive Loss作为所述子网络的损失函数，Contrastive Loss表达式为：
[0019]
其中，N为训练样本数量，n为训练样本编号，y为采样的样本数据的匹配标签，
feat1与feat2的输入匹配时y＝1，否则y＝0，d＝||feat1n-feat2n||2是子网络feat1和feat2第n个训练样本的欧几里德距离，margin为负样本最小距离的阈值；[0021]使用样本数据对孪生神经网络进行训练，最小化损失函数，对于每个训练样本，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。[0022]进一步的，所述步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
[0020]
[0023]
[0024][0025][0026]
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。
进一步的，所述步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
[0028]进一步的，还包括对样本数据以及待匹配的图像的预处理步骤。[0029]有益效果：(1)图像匹配的准确度高，即使在图像存在光照不同，清晰度不足，噪声影响的情况下也能得到较好的匹配结果；(2)特征的计算仅仅依赖于卷积运算，网络层数较浅，运算时间短，可以满足实时要求；(3)允许图片中被匹配的物体发生一定的形变、旋转和
5
[0027]
CN 1060258 A
说 明 书
3/4页
位移。
附图说明
[0030]图1为本发明方法的流程图。
具体实施方式
[0031]下面结合附图对本发明做更进一步的解释。[0032]如图1所示，一种基于自学习深度特征的模板匹配方法，包括如下步骤：[0033]步骤1：利用采样的样本数据集对基于Caffe实现的孪生神经网络进行训练，训练完成得到深度特征提取器。[0034]步骤2：使用训练得到的深度特征提取器，提取待匹配的图像A和B的深度特征。[0035]步骤3：计算图像A和B的深度特征的欧几里德距离。[0036]步骤4：将欧几里德距离归一化作为相似度的衡量，所述欧几里德距离越小，图像A和B越相似。
[0037]具体的，步骤1中，孪生神经网络由两个相同结构且共享权值的子网络组成，子网络feat1和feat2的网络结构具体为：[0038]输入层：输入层为xx3的图像数据，为RGB三通道图像，像素值被归一化到0～1之间；
[0039]卷积层：采用大小为3x3的卷积核参数，保证计算速度足够快，卷积运算后进行Batch Normalization运算，即批归一化处理，使用RELU作为激活函数，修正线性单元；[0040]池化层：采用2x2的窗口大小进行池化；[0041]Flatten层：将输入由矩阵形式转换成向量形式，即平整化；[0042]输入层后共8个卷积层，卷积深度分别为[32，，，128，96，192，128，256]，每两个卷积层之间添加一个池化层来进行降采样，最后使用Flatten层将卷积的结果向量化，向量化的结果作为网络的输出。
[0043]使用Contrastive Loss作为上述结构的子网络的损失函数来对比损失，Contrastive Loss表达式为：
[0044]
其中，N为训练样本数量，n为训练样本编号，y为采样的样本数据的匹配标签，feat1与feat2的输入匹配时y＝1，否则y＝0，d＝||feat1n-feat2n||2是子网络feat1和feat2第n个训练样本的欧几里德距离，margin为负样本最小距离的阈值；[0046]使用样本数据对孪生神经网络进行训练，最小化损失函数，对于每个训练样本，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。[0047]步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
[0045]
6
CN 1060258 A
说 明 书
4/4页
[0048]
[0049][0050][0051]
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
[0053]本实施例中，采集的样本数据集以及待匹配图所经过的预处理步骤包括：图像大小被缩放到x，如果图像为灰度图则转化为RGB三通道图，每个通道的像素值会被除以255，进行归一化处理，处理后的图像作为孪生神经网络的输入。训练深度特征提取器是需要采集足够多的数据样本，匹配数据与不匹配数据的采样数应该尽可能相近，然后通过给采集到的数据增加噪声、亮度改变、旋转和缩放来进行数据增广。[0054]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0052]
7
CN 1060258 A
说 明 书 附 图
1/1页
图1
8
