基于批量式强化学习的群组放煤智能决策研究

在综放开采过程中,影响顶煤破碎和运移动态特性的因素庞杂,难以通过预探测结果对开采环境和放煤过程进行精准建模,使得放顶煤开采的智能控制缺乏模型基础,难以通过简单的放煤工艺过程实质性解决顶煤采出率和出煤含矸率之间的矛盾.将液压支架群转换为多智能体,将顶煤放出率与出煤含矸率的最优控制转换为马尔可夫过程的最优决策,从而在多智能体框架下,采用强化学习实现多放煤口的协同控制.为此,将顶煤赋存状态作为马尔可夫过程的状态,建立"顶煤赋存状态-放煤口控制"的关联机制,在线生成放煤口控制策略.为实现智能体对上述关联机制的充分学习,提出一种批量式Q值更新方法,对状态采集过程中出现的"状态跳变"现象进行优化,进一步提高智能体的在线学习效率.为验证算法的有效性,结合塔山煤矿8222工作面煤层条件及液压支架主要技术参数进行数值模拟仿真,基于离散元方法在Linux系统中搭建了放煤过程的三维仿真试验平台,并通过该平台对连续放煤、分段间隔放煤、群组智能放煤展开对比试验.一系列仿真试验结果表明,提出的批量式强化学习放煤决策方法能够根据顶煤赋存状态动态调整放煤口的动作,在群组放煤过程中将煤炭与矸石进行有效分离,实现了放顶煤收益最大化.