Structure similarity-based contrast enhancement for power reduction of OLED display

Abstract

The power consumption of display devices occupies high portion in total power consumption of portable devices. Therefore, many power reduction techniques have been proposed for a liquid crystal display (LCD) device. However, existing power reduction techniques for the LCD device are inappropriate to reduce the power consumption in an organic light emitting diode (OLED) display as the brightness of each pixel in OLED display is driven independently. Therefore, to properly reduce the power consumption, the power-constrained contrast enhancement (PCCE) algorithms have been proposed which are based on the operating system of the OLED display. The PCCE is a technique for enhancing the contrast of an input image, while reducing the power consumption in the OLED display. A PCCE using log-based histogram modification (PCCE-LHM), which is based on the histogram equalization, was proposed to minimize the power consumption in the OLED display and enhance the contrast, concurrently. PCCE-LHM can provide an output image with globally high contrast and power saving in the OLED display. However, it cannot be automatically operated and is difficult to meet the target power consumption (TPC) desired by users. In addition, the operating time of PCCE-LHM has a high variation owing to the optimization process. Moreover, PCCE-LHM causes the over-enhancement in the output image without considering the spatial information of the input image. To overcome the drawbacks of PCCE-LHM, PCCE using a sub-band decomposed multi-scale retinex (PCCE-SDMSR), which is based on multi-scale retinex, was proposed. It can automatically meet the TPC and successfully enhance the local contrast of the input image. However, it requires the high computational complexity and degrades the perceived image quality by distorting the spatial information of the input image. This dissertation proposes a new PCCE algorithm which provides the high perceived image quality with power saving for the OLED display. Unlike existing methods, the proposed method can automatically meet the TPC and significantly alleviate over-enhancement artifacts in the output image. The proposed method generates local mapping functions that map the input luminance into the output luminance. Then, the local mapping functions are modified using the contrast of the input image to properly enhance the contrast. In addition, the proposed method adjusts the local mapping functions using the structure information of the input image to alleviate the spatial distortions. Finally, the output image is generated using the modified local mapping functions. In the experimental results, the proposed method increased the structural fidelity, enhancement performance measure, and sharpness by up to 13.1%, 65.7%, and 44.7% compared to the benchmark methods, respectively. In addition, the proposed method reduced the average execution time by up to 28.1% and 91.6% compared to the benchmark methods, respectively. Moreover, the proposed method non-iteratively met the TPC with an error rate below 0.43%.

PCCE 알고리즘은 OLED 디스플레이의 전력 감소를 위해 contrast enhancement 기술을 이용하는 방법이다. OLED 디스플레이의 전력은 각각의 픽셀에서 발생하는 전력의 총합과 비례하기 한다. 따라서, OLED의 디스플레이의 전력감소를 위해서는 LCD에 사용되는 power reduction techniques과는 달리 이미지 전반에 걸쳐 밝기 조절이 요구 된다. 따라서, PCCE 알고리즘은 OLED 디스플레이의 전력감소에 따라 발생하는 밝기 저하를 보상하기 위해, contrast enhancement를 이용하여 인지되는 화질을 향상 시킨다. Contrast enhancement란 입력영상의 높은 시인성을 획득하기 위해 영상의 밝기를 변형시키는 과정을 의미한다. 이러한, contrast enhancement 방법은 이미지 및 비디오 영상 처리와 컴퓨터 비전 분야에서 주요 기술로 활용되고 있다. 기존의 PCCE 알고리즘들은 histogram equalization이나 SDMSR과 같은 contrast enhancement 알고리즘을 이용하여 OLED의 전력감소에 따라서 야기되는 결과영상의 화질 저하를 보상한다. 하지만, 이러한 PCCE 알고리즘들은 결과영상이 over-enhancement 또는 under-enhancement를 발생시키는데, 이는 입력영상의 contrast 정도와 관계 없이 영상의 contrast를 조절하기 때문에 발생한다. 더욱이, PCCE 알고리즘들은 입력영상의 spatial 정보를 고려하지 않고, 영상을 보정함에 따라 결과영상에서 spatial distortion을 초래한다. 또한, 결과영상 생성을 위해 iteration process가 필요함에 따라 높은 computational complexity가 요구 되고, 실행속도의 높은 편차가 발생한다. 이를 해결하기 위해서 본 연구에서는 결과영상의 높은 contrast를 제공하며, OLED 디스플레이의 전력을 감소 시킬 수 있는 새로운 PCCE 알고리즘을 제안하였다. 제안하는 PCCE 알고리즘은 기존의 PCCE 알고리즘들과는 달리 목표전력감소량을 정확하게 맞출 수 있으며 over-enhancement와 over-enhanced noise를 완화함에 따라 높은 시인성을 가지는 결과영상을 생성할 수 있다. 제안하는 PCCE 알고리즘은 입력영상을 여러 개의 local blocks으로 나눈 후, 각각의 block에 상응하는 mapping functions을 생성한다. 그 후, global attributes와 local attributes에 따라 mapping functions이 over-enhancement와 over-enhanced noise를 발생하지 않도록 수정한다. 먼저, 입력영상에서의 contrast정도를 측정하여, 이를 이용하여 결과영상에서 over-enhancement가 발생하지 않도록 모든 mapping functions의 contrast enhancement 정도를 조절한다. 그 후, 각각의 block에서의 structure 정보를 이용하여 over-enhanced noise가 발생하지 않도록 각각의 mapping function의 contrast enhancement를 조절한다. 마지막으로, 수정된 mapping functions과 bilinear interpolation기법을 이용하여 목표전력소모에 맞는 결과 영상을 생성한다. 제안하는 PCCE 알고리즘의 위한 성능 평가 실험에서, 제안하는 알고리즘은 기존의 PCCE 알고리즘들과 비교하여 SF를 최대 13.1% 향상 시켰다. 더욱이, 제안하는 알고리즘은 기존의 PCCE 알고리즘과 비교하여, EME와 sharpness를 약 20.2%, 65.7%, 19.1%, 44.7%를 각각 향상 시켰다. 샘플 영상을 이용한 시각적 평가에서도 다른 PCCE 알고리즘들에 비해 over-enhancement와 over-enhanced noise가 없음을 보였고, 또한 화질이 좋음을 확인하였다. 더욱이, 제안하는 알고리즘은 기존의 PCCE 알고리즘과 비교하여 평균처리속도를 28.1%와 91.6%를 줄였으며, 목표전력소모를 약 0.43%의 오차 내로 정확하게 만족하는 것을 보였다.