基于深度强化学习的MPTCP动态编码调度系统

通过在多宿主设备上使用多个网络接口,现有的多路径传输控制协议(MPTCP)能够实现跨物理链路的吞吐量聚合和单路径故障的连通性恢复,并极大地改善了传统单路径传输控制协议(TCP)的网络服务质量(QoS).然而,当MPTCP多条TCP子流中的任意一条出现严重的时延抖动、网络拥塞或数据包丢失等性能瓶颈时,这些高延迟或高损耗的子流将会阻塞其他子流的数据传输,使得MPTCP的整体传输性能远远低于预期.已有的研究表明,使用数据包调度器或编码器的方法能够有效地缓解这类网络异构性造成的负面影响.但是针对动态多变的异构网络环境,如何设计出高效且自适应的数据包调度程序和编码算法则变得尤为重要.基于已有的MPTCP动态前向纠错编码和数据包按比率分配思想,本文提出了使用深度强化神经网络的MPTCP动态多路径编码调度器(DMES).利用Transformer神经网络和深度强化学习的智能体,DMES通过观测当前MPTCP网络环境中动态TCP子流组成的网络状态空间,并根据实时的多子流状态梯度搜索最佳的动作集合,以最大化反馈函数中定义的MPTCP整体性能.实验结果表明,相较于目前最先进的解决办法,DMES能更加适应动态多变的网络环境.尤其在高丢包和多子流的情况下,DMES将异构网络导致的MPTCP接收端乱序队列(OQS)降低到24.6％以上,并且能够在提升18.3％的有效吞吐量的同时将MPTCP的应用延迟降低12.2％左右.