Utilizing deep neural networks for energy-efficient signal sampling and processing on edge devices

Abstract

최근 웨어러블 장치, 사물인터넷 장치와 같은 종단 장치가 널리 보급되면서 종단 장치 상의 센서로부터 생산되는 정보의 양이 급격하게 증가하고 있다. 또한 종단 장치 상에서 딥 뉴럴 네트워크 알고리즘을 통해 수집한 정보를 활용하려는 시도가 이뤄지고 있다. 하지만, 에너지 자원이 한정된 종단 장치는 급격히 늘어나는 데이터의 양과 뉴럴 네트워크의 연산량에 대해 뚜렷한 한계를 보이고 있다. 본 논문에서는 종단 장치 상에서 뉴럴 네트워크 알고리즘을 통해 에너지 효율을 고려하여 한정된 신호 샘플로부터 원본 신호를 복원하는 기법과 고효율 센서 동작을 위해 뉴럴 네트워크를 활용하는 기법을 제시한다. 우선, 극도로 적은 신호 샘플로부터 원본 신호를 복원해내는 압축 센싱 신호 복원 기법에 대해, 최근 활발하게 사용되는 뉴럴 네트워크 모델들을 종단 장치에서 활용할 수 있도록 에너지 효율을 고려한 동작 기법을 제시한다. 기존 연구들은 모델의 최대 도달 성능을 높이는 것에 치중하여 저전력 동작이 불가능하다는 문제를 갖고 있다. 이를 해결하기 위하여 복원 모델들의 에너지 소모량와 복원 성능 간의 관계에 기반하여 모델의 일부 레이어만을 선택적으로 활성화하고, 이를 통해 목표 성능을 달성하기 위해 필요한 최소한의 에너지만을 소모하는 복원 기법을 제시한다. 기존 모델은 모든 레이어를 활용할 때만 정상적인 동작을 보장하므로, 에너지 소모량과 복원 성능이 비례 관계를 갖도록 모델을 개선하는 기법이 함께 제시된다. 다음으로, 뉴럴 네트워크 모델을 통해 센서의 샘플링 횟수를 조절하여 에너지 효율을 높이는 기법을 제시한다. 과거의 다양한 연구들이 신호의 특성에 기반하여 더 적은 샘플링 횟수로 동등한 정확도를 얻을 수 있음을 보여왔다. 하지만 대부분 한정된 신호 특성만을 활용하여 샘플링 주기를 정하였기 때문에 복잡한 신호에 대한 최적화 성능의 한계를 보여주었다. 본 논문에서 제시하는 기법은 뉴럴 네트워크를 통해 실시간으로 신호의 특성을 파악하고, 이에 따라 센서의 샘플링 주기를 결정하여 측정치의 정확도 손실 없이 에너지 소모량을 줄일 수 있다. 제안 기법을 검증하기 위해 스포츠 웨어러블 디바이스를 대상으로 실험을 수행하여 뉴럴 네트워크를 통해 효율적으로 센서 동작을 제어할 수 있음을 보인다. 결론적으로, 본 논문에 제시된 기법을 통해 종단 장치의 한정된 에너지 조건에 특화된 고효율 딥 뉴럴 네트워크의 동작 기법을 확인할 수 있다.

The limited energy resource in an edge device has become a significant bottleneck to address the ever-increasing computational demands of edge-level applications, where various sensors produce a tremendous amount of information, even adopting deep neural networks (DNNs) exhausting energy resources in a device. This thesis studies utilizing DNNs to realize an energy-efficient edge-level application, targeting two typical applications of an energy-constrained edge device; one is for reconstructing information from limited sensor samples, and the other is for acquiring a signal from sensor devices. More precisely, we first introduce an energy-aware compressive sensing (CS) signal reconstruction strategy, where a DNN is utilized to restore the original signal from the compressed samples. Whereas the previous DNN models for CS reconstruction always process the whole layers in a model, the proposed method enables the selective activation of layers and allows to stop processing at the early stage, saving the energy resource from the deactivated layers and providing an acceptable reconstruction quality. Then, the DNN-based intelligent signal sampling strategy is also investigated, in which a DNN determines the sampling rate of an energy-consuming sensor, which reduces the energy consumption associated with the sampling operations with the negligible accuracy loss. The effectiveness of the proposed strategy is verified on an actual wearable device used in the sports industry. As a result, this study shows that DNNs can be utilized to implement energy-efficient signal processing and sampling on an edge device.