深度学习周报（4.6~4.12）

目录摘要Abstarct1 文献阅读《Coalbed methane concentration prediction and early-warning in fully mechanized mining face based on deep learning》1.1 背景1.2 方法论1.3 创新点1.4 实验结果及分析2 补充2.1 GRU2.2 GA 遗传算法2.3 PSO 粒子群优化算法3 总结摘要本周主要阅读了《Coalbed methane concentration prediction and early-warning in fully mechanized mining face based on deep learning》这篇论文主要了解了从数据处理、模型构建与训练到实际应用落地的完整流程其次基于论文对 GRU 进行了回顾梳理了其门控结构最后对遗传算法以及粒子群优化算法进行了学习了解了其原理、算法流程与优缺点等。AbstarctThis week, I mainly read the paper titled Coalbed methane concentration prediction and early-warning in fully mechanized mining face based on deep learning, focusing on understanding the complete workflow from data processing and model construction/training to practical application and deployment. Second, based on the paper, I reviewed GRU and sorted out its gating structure. Finally, I studied genetic algorithms and particle swarm optimization, gaining an understanding of their principles, algorithmic procedures, advantages, and disadvantages.1 文献阅读《Coalbed methane concentration prediction and early-warning in fully mechanized mining face based on deep learning》链接基于深度学习的全机械化采矿面煤层甲烷浓度预测与预警——ScienceDirect1.1 背景煤层气CBM灾害占煤矿重大事故的90%容易造成严重人员伤亡和财产损失且随着开采深度和强度的增加其浓度、压力和含量逐渐升高事故风险也不断加大。同时现有的煤层气浓度预测方法存在着显著局限。比如源预测法的许多参数难以实时量化无法应用于实时预测回归分析对专业知识的依赖性强模型泛化能力差浅层神经网络则需人工特征提取且面对大数据时易过拟合预测时间也较长。因此在实际应用中煤矿企业采集的大量时序数据通常难以得到有效利用甚至出现丢失的状况。1.2 方法论本文从数据预处理、模型构建以及实际应用三个方面出发尝试解决上述问题。在数据与处理方面对于缺失值利用三次指数平滑法在平滑补充缺失值的同时保持原时间序列趋势对于异常值利用自回归模型AR对其进行识别与替换对于数据中的噪声则利用小波阈值去噪法平滑数据过滤噪声。在模型构建方面首先利用主成分分析法PCA降维数据以提取关键特征其次由于 GRU 相对 LSTM 参数更少计算更快故选择 GRU 作为基础模型并利用粒子群优化算法PSO和遗传算法GA对 GRU 的超参数进行优化。在实际应用上结合 Kafka 和 Spark Streaming 流处理框架构建分布式数据处理框架并基于置信区间及瓦斯浓度持续增加时间设定预警阈值划分正常、一级预警和二级预警。1.3 创新点在数据预处理上针对瓦斯时序数据存在的异常值、缺失值和噪声问题首次提出结合三次指数平滑、AR模型和小波去噪的预处理方案且将误差控制在10%以内有效提升了数据质量。在模型构建上提出混合模型架构利用优化算法解决了循环神经网络学习能力弱和易过拟合的问题显著提升了预测精度和训练效率。在实际应用上首次将优化的深度学习模型与 Spark Streaming 流计算框架结合实现从数据采集到预警发布的全流程实时处理填补了深度学习与大数据处理技术在煤矿安全领域应用的空白。1.4 实验结果及分析实验也主要分为三个方面即数据预处理方法是否有效混合模型与其他模型效果对比以及预警系统的效果。数据预处理方面处理缺失值的误差为 3.3%处理异常值的误差在 10% 以内小波去噪后曲线更平滑能够在保留关键趋势信息的同时消除高频噪声验证了预处理方法的有效性。模型效果方面主要是提出的两种混合模型架构与 GRU、RNN、LSTM、BPNN、SVR 几种模型架构效果进行对比发现 PCA-PSO-GRU 模型表现最优PCA-GA-GRU 模型其次BPNN 最差。PSO 的优化效果优于GA主要是因为参数少调整过程简单方便。预警系统方面在工作面、上隅角、回风巷和进风巷四个区域的预警准确率均超过 90%且预警速度快使用3台虚拟机时预警时间达 7s 左右能够满足高效预警需求。2 补充本节主要对前面论文的模型构建方面进行补充学习主要包括 GRU、PSO 以及 GA 算法。2.1 GRU前面学习 GRU 时主要是将它看作 LSTM 的附属在阅读论文时发现对它的模型架构不是特别熟悉故在此进行补充学习。GRUGated Recurrent Unit门控循环单元是 Kyunghyun Cho 等人在 2014 年提出的一种简化版的 LSTM。相比 LSTM它主要通过减少门控机制和参数数量来简化模型结构、降低计算复杂度并加速训练过程核心思想即对 LSTM 的三个门遗忘门、输入门、输出门进行简化和合并。首先移除了独立的细胞状态它的隐藏状态同时扮演了 LSTM 中隐藏状态和细胞状态的角色是短期记忆与长期记忆的共同载体。其次引入重置门Reset Gate 控制信息的写入若接近0 表示几乎完全忽略接近 1 表示几乎完全保留。门控公式与图像如下接着将 LSTM 的遗忘门和输入门合并为更新门Update Gate同时控制遗忘和更新即历史信息与当前输入的融合比例。门控公式与图像如下另外它将重置门过滤后的历史信息与当前输入通过 Tanh 函数生成候选隐藏状态这个设计允许网络在计算新信息时有选择地忽略无关的历史信息。其公式与图像如下最终将旧状态与候选隐藏状态加权融合得到最终隐藏状态公式如下由于 GRU 相较于 LSTM 结构更简单计算高效也更容易理解但表达能力可能在一定程度上受限故适应于大多数序列建模任务如语音识别、时间序列预测等。2.2 GA 遗传算法遗传算法Genetic AlgorithmGA是进化计算的一个重要分支是一种模拟自然界生物进化过程的随机自适应全局搜索与优化算法最早由美国密歇根大学教授John H. Holland提出。它基于自然选择和优胜劣汰的进化规律通过模拟生物进化中的选择、交配和变异机制来寻找问题的全局最优解主要通过维护一个代表问题潜在解的群体通过不断迭代使种群中的个体越来越适应环境末代种群中的最优个体经过解码即可作为问题的近似最优解。为了实现种群的进化遗传算法主要利用三个核心遗传算子即选择、交叉交配以及变异。其中选择主要依据适者生存原则从当前群体中选出优良个体作为父代繁衍子孙交叉交配将群体中的个体随机配对以一定的概率交换它们之间的部分染色体从而产生新个体即具有父辈特征的新后代变异则是对个体染色体上的某些基因以较低的变异概率进行随机改变用以引入新的遗传信息增加种群的多样性能够帮助算法跳出局部最优解。算法基本流程大致如下首先设置进化代数计数器及最大进化代数随机生成一定数量的个体组成初始种群并计算种群中每个个体的适应度值进行个体评价其次应用三个算子选出优良个体生成新个体并对部分基因进行随机变动得到下一代种群最后若进化代数达到最大值或满足其他终止条件则以进化过程中具有最大适应度的个体作为最优解输出终止计算否则返回步骤2继续迭代。遗传算法本质上是一种并行、高效的全局搜索方法能在搜索过程中自动获取和积累有关搜索空间的知识并自适应地控制搜索过程以求得最优解。由于其强大的鲁棒性和全局搜索能力GA已被广泛应用于组合优化、机器学习、信号处理、自适应控制、人工生命以及各类工程领域的复杂优化问题中。2.3 PSO 粒子群优化算法粒子群优化算法Particle Swarm OptimizationPSO是一种基于群体智能的启发式优化算法拟鸟群觅食或鱼群游动的社会行为认为群体智慧往往超越个体智慧故选择利用粒子间的协作与信息共享来寻找最优解由 James Kennedy 和 Russell Eberhart 于 1995 年提出相对遗传算法更加简单高效。以鸟群搜寻食物为例。刚开始所有的鸟都不知道食物的具体位置但能感知自己离食物有多远那么寻找食物最简单有效的策略就是寻找当前离食物最近的鸟的附近区域。 在算法中将鸟看作粒子食物看作最优解每个优化问题的潜在解都被抽象为搜索空间中的一个粒子即离食物最近的鸟它只有位置和速度两个属性。所有粒子在搜索空间中以一定速度飞行其飞行方向和距离回根据自身的飞行经验个体极值和整个群体的飞行经验全局极值进行动态调整从而逐步收敛于最优解。假设在一个 D 维搜索空间中有 n 个粒子那么第 i 个粒子的位置可表示为速度与其类似。在每一次迭代中粒子通过跟踪 pbest个体极值和 gbest全局极值来更新自己的速度和位置公式如下速度位置其中w 为惯性权重控制先前速度对当前速度的影响、为加速常数或学习因子前者​调节粒子向自身历史最优位置移动的步长后者则​调节粒子向全局最优位置移动的步长通常均设为 2、为随机数增加算法的随机性以扩大搜索空间。算法流程大概包括两步即初始化与迭代。首先随机初始化粒子群中每个粒子的位置和速度计算初始适应度并设定初始的个体极值和全局极值。其次每次迭代先对比个体与群体分别的当前适应度与历史极值选择是否更新极值再根据速度和位置更新公式计算每个粒子下一代的速度和位置若达到最大迭代次数或适应度值满足收敛条件则停止迭代并输出 gbest 作为最优解否则继续迭代。PSO 原理简单容易实现收敛速度快同时全局搜索能力强但它缺乏理论保障容易陷入局部最优在后期粒子速度逐渐减小位置更新幅度变窄收敛速度也会相应变慢。3 总结本周主要阅读了一篇关于煤层甲烷浓度预测方面的论文新学习了遗传算法与粒子群优化算法。感觉随着论文阅读量的积累逐渐开始掌握阅读技巧能够更快地提取关键信息。另外感觉这篇论文模型效果不算很好但从训练到部署的流程比较完整涉及到的未知或者说不太清楚的方法也较多下周可以就几种数据预处理方法进行了解学习。