基于深度强化学习的机器人推拨优化装箱问题研究

三维装箱问题是指在满足容积限制、稳定性限制等条件下,将一定数量的物体放入较大容量的箱子中并使空间利用率最大的组合优化问题.三维装箱问题是典型的NP完全问题,通常采用启发式算法规划物体放置的位姿.在使用机器人完成装箱任务时,还要额外考虑机器人操作限制,如机械臂或末端执行器与物体或箱子之间的碰撞、机械臂运动轨迹的规划等,使得部分最优位姿不可行,只能将物体从更高处落下或者将物体放在最优位姿的附近.机器人在抓取、识别和放置时的不确定性也会导致最终放置位置与规划产生偏差.因此,本文提出基于深度强化学习的机器人三维装箱推拨优化方法,以最小化包装箱中物体放置位置的启发式算法分数为目标,通过推拨动作对于已放置的物体位置进行调整、归集,将物体朝角落中压缩,以腾出更多空间,提高装箱空间利用率,减小由于机器人操作不确定性对装箱结果的影响.