基于深度信念网络的岩石粒度分类

程国建，范鹏召

(西安石油大学 计算机学院，陕西 西安 710065)

引 言

岩石薄片分析一直是地质研究中的一项重要工作。传统方法是人工在镜下对岩石图像进行鉴定、识别，且耗时长、准确度低及受主观影响较大。近年来，随着计算机技术和图像处理技术的快速发展，诸多学者在图像处理的自动化方面做了研究。如：宋相法、焦李成提出了基于稀疏表示的多实例图像分类[1]；侯玉婷等[2]应用K邻近算法进行了自然图像分类。在地质方面也有诸多学者使用数字图像处理技术并结合机器学习对岩石图像的分类和识别做了大量研究，如：程国建等[3]提出了一种基于聚类分割和神经网络相结合的分类识别方法对岩石薄片图像孔隙进行识别，其平均正确率达到了95.12%；刘烨、郭超[4]通过提取岩石图像多个色彩空间的颜色特征并结合形态学操作变化使用浅层神经网络对岩石图像致密性进行分类研究，准确率达到90%以上；Amir Mollajan等应用KNN、RBF和SVM集成模糊融合改善薄层图像的孔隙类型识别，有效提高了孔隙识别的精度[5]；Mariusz M ynarczuk等[6]用最近邻算法、K-近邻、最近的模式算法和优化的球形邻域4种方法在RGB、CIELab、YIQ 和 HSV色彩空间下对岩石显微图像进行了分类；Hossein Izadi[7]等通过提取多偏光岩石图像的颜色特征、纹理特征建立神经网络对岩石矿物进行识别，其总体识别准确率为93.81%。以上研究表明，应用机器学习和图像处理技术能够实现对岩石图像的准确分类和识别，但仍存在很多不足。首先，需要手动提取图像特征，再依据提取到的特征进行分类，由于岩石图像的复杂性及手动提取特征受人为主观因素影响较大，无法提取到精确的岩石图像本质特征。其次，在复杂情况下，岩石图像分类准确度仍限制着地质研究工作的进行。

针对以上不足，本文提出一种基于深度信念网络的算法来提高岩石粒度分析的效率与准确度。深度信念网络是一种代表性的深度学习算法，通过逐层自动提取图像特征，然后将此特征输入到分类器中，实现图像自动分类，提高图像分类的准确度，现已被广泛应用到各行各业并均取得了卓越的成就。如：石鑫、朱永利等构建了深度信念网络模型，并结合电力变压器油中溶解气体分析数据，提出了基于深度信念网络分类器的变压器故障分类法[8]；唐贤伦、周家林等提出一种运用深度信念网络进行脑电信号识别的方法[9]；施徐敢、张石清等提出一种融合深度信念网络和多层感知器的人脸表情识别新方法，识别精度高达90%[10]；Mohamed Elleuch,Olivier Pauplin等应用深度信念网络进行手写体阿拉伯语的识别[11-12]；Nian Liu,Jiang-ming Kan融合材质特征与形状特征，应用深度信念网络对树叶进行了识别[13]。鉴于深度信念网络在模式识别中的优势，本文将其应用到岩石图像分类中，通过自动提取岩石图像特征以克服人工提取特征的不足，最终达到提高岩石粒度分类准确度的目的。

1 岩石铸体薄片图像

铸体薄片是将染色树脂或有色液态胶(国际通用为蓝色，我国使用的颜色多有蓝色、红色，也有绿色及黄色)在真空下加压注入岩石孔隙空间，待液态胶固化后磨制成岩石薄片。由于岩石孔隙被有色胶填充，故在显微镜下十分醒目，为地质研究提供了有效途径。通常由专业的地质研究人员在偏光显微镜下进行观察鉴定后确定样本类型及参数。本文使用的岩石铸体薄片图像均为来自鄂尔多斯某油田区域的长石砂岩。根据岩石颗粒度大小，将其分为3类，如图1所示。各类岩石的特点描述如下：

(1)一类岩石：粗粒岩屑长石砂岩，该类岩石致密，岩石颗粒粗。高岭石、铁方解石充填孔隙并交代碎屑，孔隙发育，主要接触方式为线性、凹凸状接触。

图1 3种类别的岩石图像实例Fig.1 Images of three types of sandstone

如图1(a)所示。

(2)二类岩石：中粒岩屑长石砂岩，该类岩石致密，岩石颗粒中粗。夹杂绿泥石薄膜状充填孔隙，主要接触方式为线性、点状接触较少。如图1(b)所示。

(3)三类岩石：细粒岩屑长石砂岩，该类岩石较为致密，岩石颗粒细。高岭石充填孔隙，分选和磨圆程度好。如图1(c)示。

2 深度信念网络

深度信念网络是由G.hinton[14]在2006年提出的一种深度学习算法。它能快速、准确地提取图像特征并进行模式识别与分类，克服了传统机器学习中人工提取特征的盲目性。

2.1 受限玻尔兹曼机

可将RBM看作由可见层和隐藏层构成的简单神经网络。所有可见层节点和隐藏层节点都是二值变量，其状态值为0或1。与一般玻尔兹曼机相比，RBM的主要特点在于其层内节点无连接，层间节点全连接的连接方式。如图2所示，v和h分别表示可见单元和隐藏单元的值，w连接权重。b和c分别表示可见单元和隐藏单元的偏重量。

图2 RBM结构示意图Fig.2 RBM structure diagram

通常引入能量函数来描述一个系统。系统能量越小，表示系统越有序或概率分布越集中；反之，则表示系统越无序或概率分布越趋于均匀。对于一个RBM模型，其能量函数：

(1)

根据系统越无序或概率分布越趋于均匀能量函数(式(1))，可定义可视节点和隐藏节点的概率：

(2)

可见层与隐层之间的联合概率：

(3)

(4)

训练RBM的目标是使式(4)达到最小值。较好的训练方法是使用Gibbs采样对RBM的输入进行拟合，但往往需要进行多次采样拟合。为此，通常采用对比散度算法进行训练，仅需少次采样便可达到较好的拟合效果。

2.2 深度信念网络

深度信念网络(DBN)是多层RBM的叠加。若由2个RBM(RBM1)叠加后再与BP神经网络相连，则RBM1的隐藏层可视为RBM2的可见层，将RBM2的输出与样本标签组合后作为BP神经网络的输入进行模式识别与分类。

DBN的训练采取的是贪心算法的思想。过程如下：

认真做好农牧民的技术培训工作，倡导崇尚科学、反对封建迷信，提高群众对科学种田的认识，改变“等、靠、要”的懒汉懦夫思想，提高青稞整体生产水平，促进农业增效、农民增收，为林芝市提高青稞产量而努力奋斗。

Step1 从输入层X开始，首先使用输入数据训练RBM1并将其参数固定；

Step2 将第一个RBM1的输出作为第二个RBM2的输入，训练好RBM2后，固定其参数；

Step3 依次类推，直到训练好RBMn(n表示所训练网络中共包含的RBM数)；

Step4 将RBMn的输出与样本标签一起作为分类器的输入训练分类器；

Step5 采用BP算法对整个网络进行反传微调。

3 实验及结果分析

本文实验使用偏光显微镜下拍摄的来自鄂尔多斯某油田区域的铸体薄片图像作为数据集。实验中共选取了4 800幅大小为224*224像素的岩石图像，其中包含粗粒岩屑长石砂岩图像、中粒岩屑长石砂岩图像和细粒岩屑长石砂岩图像各1 600幅。从每个类别中分别随机选取1 200幅作为测试集并将剩余的400幅作为验证集。

3.1 DBN网络结构

本文设计的DBN网络如图3所示，为5层结构。前4层使用的激活函数是sigmoid函数。最后一层为输出层，使用的是softmax分类器。训练该网络时，在输入层加载图像，将前4层看作3个RBM，按照上述DBN训练方法进行训练后，实现对输入图像的识别与分类。

图3 DBN网络结构Fig.3 DBN network structure

3.2 DBN结构调整

本文首先分别研究DBN层数、节点数、分类器的不同对网络识别精度的影响，然后对比添加Dropout算法与不添加Dropout算法的识别结果，从而选取最优网络结构。实验数据分批加载内存进行训练，批处理大小为100。

3.2.1 隐藏层数 由于DBN是逐层提取图像特征的，故隐藏层数不同，所提取本质图像特征不同，从而网络对图像的识别率不同。DBN网络隐藏层数过多会导致网络出现过拟合现象；反之，网络便无法提取到图像的本质特征使得对图像的识别率偏低。本文分别使用5层隐层、4层隐层、3层隐层、2层隐层进行实验，并对不同网络的收敛性和误分率进行比较。网络的误分率见表1，损失函数曲线如图4所示。

由表1及图4可知，隐层数为5时，损失函数虽然收敛但网络出现了过拟合现象，误分率最高；隐藏层数分别为2、3、4时，损失函数均收敛且收敛时间大致相同，但隐层数为4时，损失函数较大，网络误分率较高；隐藏层数为3时，损失函数最小且误分率降到最低；隐藏层数为2时，虽损失函数较4隐层网络降低，但误分率增大。由此可知，网络过深或过浅都不能有效地提取图像特征，综上，本文选用3隐藏层的DBN结构。

表1 隐藏层数与误分率的关系Tab.1 Relationship between misclassification rate and hidden layer number

图4 不同隐藏层数下的损失函数Fig.4 Loss functions under different midden layer number

3.2.2 隐藏层节点数 确定网络结构的另一关键因素是各层节点数。由于DBN层间全连接的特点，各层节点数过多，一方面容易出现过拟合现象，造成网络识别率偏低，另一方面因网络过于复杂，使其运行速度缓慢甚至造成网络崩溃；反之，若各层节点数过少会导致网络提取到的图像特征不够精确，进而影响网络对图像进行识别与分类的准确度。因输入层节点数即为图像像素个数，输出层节点个数为图片种类数，故本文仅研究了隐层节点数对网络的影响，实验结果如表2和图5所示。

图5 不同隐藏层节点数下的损失函数Fig.5 Loss functions under different midden layer node number

表2 节点数与误分率关系Tab.2 Relationship between misclassification rate and node number

由表2及图5可知，在采用3隐层网络结构的情况下，实验中各种隐层节点分配网络均能收敛。当隐藏层节点数为2048-2048-1024时，网络出现了过拟合现象，损失函数与误分率均最高；1024-1024-512时，损失函数与误分率均有所降低；隐层节点分别为1024-1024-1024时与2048-1024-512情况下，损失函数相近，但当隐层节点数为1024-1024-1024时，网络误分率相对较低；当隐层节点为2048-1024-1024时，网络误分率最低且损失函数最小，故本文选取的隐层节点分配方法为2048-1024-1024。

3.2.3 分类器 分类器的选择很大程度上决定了网络最终分类的准确性。本文研究了含3隐层且隐层节点数分配为2048-1024-1024的DBN结构中分别使用Logistic、Linear和Softmax分类器对岩石图像的分类性能。实验结果见表3。

表3 分类器与误分率之间的关系Tab.3 Misclassification rate of different classifiers

由表3可知，分类器为Linear时，网络误分率最高，Logistic次之。当使用分类器Softmax时，网络误分率最低。故本文选择Softmax作为分类器。

3.2.4 Dropout算法 为了防止网络出现过拟合现象，本文实验在网络中添加了dropout算法[15]，在网络训练过程中，按照一定概率将部分神经元节点暂时随机丢弃，本文中dropout系数设置为0.5。图6为上述网络添加dropout算法与不添加dropout算法2种情况下网络的误分率比较。由图可知，对于上述网络，添加dropout算法之后，误分率明显降低且更早达到稳定状态。

图6 dropout对网络误分率的影响Fig.6 Influence of dropout on network misclassification rate

3.3 实验结果分析

采用2048-1024-1024的隐层节点分配方式与Softmax分类器相连接的DBN结构，在添加dropout算法之后的实验结果如图7、图8和表4所示。图7为本文数据中训练集和验证集在该网络上进行实验的损失函数图，图8为本文数据中训练集和验证集在该网络上进行实验的误分率曲线。由图可知，训练集与验证集上的损失函数曲线与误分率曲线都相近，并且在迭代进行90次左右时，训练集与验证集损失函数与误分率曲线基本都达到了稳定状态，网络并无过拟合现象且损失函数较小，误分率也较低。

图7 损失函数Fig.7 Loss functions

图8 误分率Fig.8 Misclassification rate curves

表4 测试结果Tab.4 Test results

由表4可知，使用本文网络对测试集中的1 200幅图像进行分类，共正确分类1 137幅(94.75%)，错误分类63幅(5.25%)。其中:第Ⅰ类图像中将21幅误分为第Ⅱ类，5幅误分为第Ⅲ类；第Ⅱ类图像中，将16幅误分为第Ⅰ类，6幅误分为第Ⅲ类；第Ⅲ类图像中，将6幅误分为第Ⅰ类，9幅误分为第Ⅱ类。

由于本次实验只选取RGB通道的图像进行分类，仍存在一定的误分率，未来可以考虑结合其他颜色通道以及结合偏光显微图像进行实验，从而提高岩石组构分析的准确率。

4 结束语

本文实验结果表明，将深度信念网络应用于岩石图像自动分类中，通过调整网络结构，确定最优网络结构，最终分类准确率达到94.75%，相比人工提取参数大大提高了岩石粒度的分类效率和准确度，可为地质研究工作者提供一定的技术参考。但是，由于岩石图像的复杂性，对单一偏光显微镜下获取的岩石粒度进行分类，结果仍然存在一定分类错误率。下一步工作：从多偏光下获取图像进行分类，研究其分类效果；可对比多个色彩空间下的岩石粒度的分类准确率，从中选出岩石粒度分类准确率最高的色彩空间，以期获得更好的分类效果。

参 考 文 献：

[1] 宋相法,焦李成.基于稀疏表示的多示例图像分类[J].计算机科学,2015,42(1):293-296.

SONG Xiangfa,JIAO Licheng.Classificationt of multi-inatance image based on sparse representation[J]. Computer Science,2015,42(1):293-296.

[2] 侯玉婷,彭进业,郝露微，等.基于 KNN 的特征自适应加权自然图像分类研究[J].计算机应用研究，2014,31(3)：957-960.

HOU Yuting,PENG Jinye,HAO Luwei,et al.Research of classification method for natural images based on adaptive feature-weighted K-nearest neighbors[J].Application Research of Computers,2014,31(3):957-960.

[3] 程国建，马微，魏新善，等.基于图像处理与神经网络的岩石组构识别[J].西安石油大学学报(自然科学版)，2013，28(5):105-110.

CHENG Guojian，MA Wei，WEI Xinshan，et al.Research of rock texture identification based on image processingand neural network[J].Journal of Xi＇an Shiyou University(Natural Science Edition)，2013，28(5):105-110 .

[4] 郭超,刘烨.多色彩空间下的岩石图像识别研究[J].科学技术与工程，2014,14(18)：47-251,255.

GUO Chao,LIU Ye.Recognition of rock images based on multiple color spaces science technology and engineering[J].Science Technology and Engineering,2014,14(18):47-251,255.

[5] MOLLAJAN A,GHIASI-FREEZ J,MEMARIAN H.Improving pore type identification from thin section images using an integrated fuzzy fusion of multiple classifiers[J].Journal of Natural Gas Science and Engineering,2016(31):396-404.

[6] MYNARCZUK M,GóRSZCZYK A,LIPEK B.The application of pattern recognition in the automatic classification of microscopic rock images[J].Computers & Geosciences,2013,60(10):126-133.

[7] IZADI H,SADRI J,BAYATI M.An Intelligent system for mineral identification in thin sections based on a cascade approach[J].Computers & Geosciences,2016,99:37-49.

[8] 石鑫，朱永利，萨初日拉，等.基于深度信念网络的电力变压器故障分类建模[J].电力系统保护与控制，2016,44(1)：71-76.

SHI Xin,ZHU Yongli,SA Churirila,et al.Power transformer fault classifying model based on deep belief network[J].Power System Protection and Control,2016,44(1):71-76.

[9] 唐贤伦，周家林，张娜，等.基于深度信念网络的运动想想脑电信号识别[J].信息与控制，2015,44(6)：717-721,738.

TANG Xianlun,ZHOU Jialin,ZHANG Na,et al.Recognition of motor imagery EEG based on deep belief network[J].Information and control,2015,44(6):717-721,738.

[10] 施徐敢，张石清，赵小明.融合深度信念网络和多层感知器的人脸表情识别[J].小型微型计算机系统，2015,36(7)：1629-1632.

SHI Xugan,ZHANG Shiqing,ZHAO Xiaoming.Facial expression recognition by integrating deep belief metworks with multi-layer[J].Perceptron Journal of Chinese Computer Systems,2015,36(7)：1629-1632.

[11] ELLEUCH M,TAGOUGUI N,KHERALLAH M.Optimization of DBN using regularization methods applied for recognizing arabic handwritten script[J].Procedia Computer Science,2017,108:2292-2297.

[12] PAUPLIN O,JIANG J.DBN-based structural learning and optimisation for automated handwritten character recognition[J].Pattern Recognition Letters,2012,33(6):685-692.

[13] LIU N,KAN J M.Improved deep belief networks and multi-feature fusion for leaf identification[J].Neurocomputing,2016,216(12):460-467.

[14] HINTON G E,SALAKHUTDINOV R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[15] SRIVASTAVA N,HINTON G,KRIZHEVSKY A,et al.Dropout:a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research,2014,15(1):1929-1958.