Bypass Techniques for G-Pipe Bubble Reduction

최근 딥러닝 기술이 발전함에 따라 예측 성능이 기존보다 더욱 향상된 모델들이 제안되고 있다. 그러나 예측 성능향상을 위해 많은 수의 가중치를 갖는 모델이나 큰 입력 데이터를 사용하는 경우 학습 시 가속기의 메모리를 초과할 수가 있다. 이러한 문제를 극복하기 위해 모델 병렬화(model parallelism)가 제안되었다. 그러나 모델 병렬화는 버블(bubble)로 인해 느린 학습 속도가 단점이며, G-pipe는 이러한 버블을 마이크로 배치 기법을 이용하여 개선하였다. 본 논문에서는 G-Pipe의 한계점을 분석하고, 이를 극복하기 위해 추가적인 메모리를 최소한으로 사용하여 G-Pipe를 가속하는 바이패스(bypass) 기법을 제안한다. 바이패스 기법은 DenseNet201 모델을 이용한 실험을 통해 G-Pipe 대비 67.51MB의 메모리를 추가적으로 사용하여 약 13.34%의 성능향상을 보였다.