Real-Time Visual Object Tracking via Efficient Deep Neural Network Learning

Abstract

물체 추적 분야는 딥러닝 분야의 발전 및 잘 정제된 큰 스케일의 데이터셋의 등장과 함께 발전할 수 있었다. 그러나, 높은 정확도 성능를 유지하면서 실시간 추적을 가능하게 하는 것은 여전히 쉬운일이 아니였다. 딥러닝을 통해 계산된 특징의 분별능력은 복잡하고 깊은 구조와 많은 계산 시간을 요구하는 것이었다. 그러므로, 강한 딥특징의 분별능력과 빠른 계산 시간간의 균현을 유지하기 위한 네트워크 구조 및 학습 알고리즘의 연구에 대한 중요성이 대두되었다.

본 논문에서는 이러한 사실에 영감을 받아서, 실시간 물체추적 알고리즘을 위한 향상된 수행 시간과 정확한 딥특징 추출을 동시에 가능하게 하는 딥 뉴럴 네트워크의 학습 알고리즘에 대한 연구를 진행하였다.

첫번째로, 구조적인 면에서 딥 뉴럴 네트워크의 특징 추출 시간을 향상시키기 위한 방법론을 제시하였다. 본 연구에서는 fast R-CNN 기반의 딥특징 추출을 물체 추적 알고리즘에 적합하게 수정하여 적용하여, 기존의 R-CNN 기반의 구조를 적용하는 추적 알고리즘의 수행속도를 크게 상회하였다. 또한, 인스턴스 개체 단위의 분류를 가능하게 하는 딥특징 학습 전략을 제시하여 추적 알고리즘에 적합한 학습 뼈대를 구현하였다.

두번째로, 메타학습을 적용하여 물체추적에서 사람의 손으로 정해지는 파라메터들을 학습 단으로 내려서 최적화할 수 있는 방법을 제시하였다. 실제 추적 상황을 모방하는 메타학습 시나리오를 적용하여, 물체 외형 변화에 빠르게 적응하는 것이 가능한 시작 모델 파라메터 및 모델 적응을 위한 학습율(learning rate)을 메타학습 위에서 최적화하였다.

마지막으로, 데이터 타입이 다른 경량화 딥 뉴럴 네트워크를 동시에 적용하여 수행 속도를 빠르게 함과 동시에 정확도를 유지하는 혼합된 딥특징 학습 방법을 제시하였다. 두 가지 구별되는 딥 뉴럴 네트워크의 앙상블을 제안하는 데, 하나는 저비트 양자화 네트워크이며 다른 하나는 저채널 프루닝(pruning) 네트워크로 구성된다. 저비트 양자화 네트워크는 시간 변화에 영향을 받지 않는 거시적인 정보를 기억하는 역할을 하며, 저채널 프루닝 네트워크는 시간에 따라 변화하는 정보를 갱신할 수 있도록 구성된다. 두 모델은 모두 효율적으로 딥특징을 계산하며, 서로의 부족한 부분을 보완할 수 있도록 한다.

본 논문에서는 각 알고리즘의 효과를 확인하기 위해 많은 수의 실험을 도전적인 벤치마크에서 수행하였으며, 그 결과는 각 알고리즘이 경쟁력인 성능과 함께 뛰어난 속도향상을 보고하였다.

Deep learning revolution with a well-organized large-scale dataset has achieved significant improvements in visual object tracking recently. However, it is not straightforward to develop the real-time algorithm with maintaining highly accurate performance because the power of deep representation needs complex structure and time-consuming computational burden. Thus, the interest of striking a balance between time complexity and discriminative representation learning is emerging.

In this thesis, I investigated learning deep neural networks with both enhanced execution time and highly accurate representation for visual object tracking. Firstly, I introduced an improved structure of a deep neural network to expedite the computation of deep representation. I applied fast R-CNN-based feature extraction to the object tracker while existing algorithms had probably used a slow R-CNN-based framework. Moreover, I proposed a new strategy of representation learning to make object-like instances discriminated from other objects. Secondly, I proposed a novel meta-learning framework for training the components usually determined in manual. By employing a simulated object tracking scenario via meta-learning scheme, I dealt with initial model parameters, the structure of neural networks, and hyper-parameters as learnable parameters and trained them for fast and accurate target adaptation in the object tracking task. Finally, I proposed a novel accelerated hybrid representation learning framework by employing an ensemble of two distinct deep neural networks; one is a low-bit quantized network and the other is a lightweight full-precision network. The former aims to learn time-invariant coarse representations with low computation cost while the latter maintains residual information for high fidelity of the representations. Both networks have run efficiently because fixed-point arithmetic from quantized network exponentially accelerates time complexity and the residual lightweight full-precision model has an extremely compact architecture derived by a channel pruning algorithm.

In this thesis, I reported numerous experiments on the challenging benchmarks and demonstrated that the suggested algorithms achieve competitive performances with outstanding speed enhancement.