Group Random Access Control Scheme Based on Asynchronous Advantage Actor Critic

본 논문은 대규모 그룹 IoT 기기들이 임의접속을 동시에 시도했을 때 발생하는 접속 과부하 문제를 해결하기 위해 Asynchronous Advantage Actor Critic (A3C) 기반의 임의접속 제어 기법을 제안한다. 기존 연구에서는 강화 학습 기법인 DQN을 이용하여 접속 제어기술을 구현하던 것과는 달리, 본 연구에서는 강화학습 기법 중 A3C를 사용하는 접속제어 기술을 제안한다. 제안하는 A3C 기반의 그룹 임의접속 제어기술은 그룹의 모든 단말이 임의접속에 성공하는데 걸리는 시간 측면에서 최적 학습을 통해 일반적인 프리앰블 충돌 검출 방식과 빠른 프리앰블 충돌 검출 방식에 따른 이론적인 제어 성능에 도달함을 보여준다. In the cellular Internet of Things (IoT) networks, the networks experience overload problems when a massive group of IoT devices attempts random access (RA) at the same time. In literature, existing schemes have designed RA control schemes based on Deep QLearning (DQN) with the restrictive choice of access class barring factor. Thus, in this paper, we propose the asynchronous advantage actor critic (A3C) based access control scheme for an exact prediction of access class barring factors between 0 and 1. The simulation results show that our proposed scheme outperforms the conventional access control schemes and it also reaches the theoretical performance in terms of total service time with the conventional and early preamble collision detection methods.