基于知识蒸馏的回归方法在地震层位追踪中的应用

近年来深度学习方法在地震层位追踪上得到了广泛应用,但其存在计算量大、占用内存多等缺点.针对上述问题,通常采取知识蒸馏方法进行优化,其主要利用学生模型模仿教师模型的输出,将复杂的教师模型压缩为简单的学生模型,降低了神经网络模型的参数量和计算量,并使模型保持较高的精度.然而,现有的知识蒸馏方法大多侧重于分类任务,并要求教师和学生模型体系结构相似.为了突破上述限制,本文构建了一种用于回归任务的知识蒸馏方法,该方法首先使用不同架构的学生模型和教师模型,其教师模型和学生模型分别采用长短期记忆(LSTM)循环神经网络和卷积神经网络(CNN)进行构建,然后通过LSTM和CNN来构建一个新的 目标函数,该方法的关键是将CNN预测结果和LSTM预测结果之间的差异作为知识蒸馏信息,从而得到适合回归任务的地震层位追踪模型,最后利用该模型进行层位追踪.经合成数据和实际数据测试,结果表明,本文的方法比基于CNN的层位追踪精度明显提高,且达到LSTM相当的层位追踪效果,验证了基于知识蒸馏的地震层位追踪方法的可行性和有效性.