Reliable Direction Selection for Forward and Backward Motion Estimation

Abstract

Motion estimation (ME) is the process of determining the motion vectors (MVs) that describe the transformation between two frames with spatio-temporal similarity. ME is used for a wide range of applications in image/video processing and machine vision, such as motion-compensated frame rate up-conversion (MC-FRUC), image compression, and object tracking. Unlike the latter two, the former requires MVs from the viewpoint of an intermediate frame between two frames, and it is therefore much harder to estimate the MVs correctly. Therefore, ME used for MC-FRUC should be more carefully addressed.MC-FRUC is a technique for increasing the frame rate of an image sequence by inserting newly interpolated frames between the original frames. MC-FRUC is generally used for reducing the motion jerkiness of the video with a low frame rate, or mitigating the motion blur occurring in hold-type displays such as liquid crystal displays.MC-FRUC generally consists of the following two processes: ME and motion compensated interpolation (MCI). The ME process generates MVs by calculating the displacements of the moving objects between consecutive frames. The MCI process generates interpolated frames using adjacent frames and MVs. It is well known that the performance of MC-FRUC depends greatly on the MV accuracy, which is largely affected by the performance of the ME algorithm used. In addition, motion vector smoothing (MVS) can be used to improve the MV accuracy.Among the various ME algorithms available, the block matching algorithm (BMA) is the most popular owing to its easy implementation and good performance. Most block-based ME algorithms have been developed based on the BMA. However, block-based ME algorithms including BMA suffer from an occlusion problem, which causes an incorrect ME in the occlusion area around the boundaries of moving objects. It greatly degrades the image quality of the interpolated frames.The MVS process is used to correct outliers (incorrect MVs) in the MV field. However, conventional MVS algorithms suffer from a false MV correction, which corrects the correct MVs wrongly by classifying them as outliers. In addition, some residual errors in a corrected MV remain since the outlier is corrected by the prediction using the data of the neighboring MVs. Owing to these problems, the MVS process may worsen the MV accuracy.This thesis proposes a new ME algorithm, referred to as direction-select ME (DS-ME). Although the proposed algorithm can be used for a wide range of applications, it focuses on improving the performance of MC-FRUC. To mitigate the occlusion problem, the proposed algorithm carries out MEs in both forward and backward directions, and selects the more reliable of the forward and backward MVs by evaluating their reliability from the viewpoint of the interpolated frame. The proposed DS-ME algorithm smooths and refines both the forward and backward MVs to enhance the confidence level of the reliability estimation before selecting the final MV. Unlike other ME algorithms, the MVS process is performed as a part of the DS-ME algorithm, which helps in selecting reliable MVs even in the occluded area. In identifying the outliers in the MV field, the proposed MVS algorithm uses a circular range, the center of which is located at the mean of the eight neighboring MVs of the MV being processed. The proposed MVS algorithm controls the sensitivity of the outlier detection according to the distribution of the neighboring MVs of the MV being processed, thereby reducing the possibility of a false MV correction. In addition, the residual errors in the corrected MVs are also minimized through a refining operation applied to the MVs.Experimental results using 1,720 test images show that the proposed DS-ME algorithm improves the average peak signal-to-noise ratio (PSNR) and the average structural similarity (SSIM) of the interpolated frames by up to 5.31 dB and 0.053, respectively, compared to conventional ME algorithms. In addition, the proposed MVS algorithm improves the average PSNR and SSIM of the interpolated fames by up to 1.12 dB and 0.009, respectively, compared to conventional MVS algorithms.

Motion estimation은 시공간적 유사성을 가지는 두 프레임 사이에서의 변화를 묘사하는 motion vector를 결정하기 위한 과정이다. 이러한 motion estimation은 움직임 보상 프레임률 증가 보상, 영상 압축, 그리고 물체 추적 등과 같은 영상 처리 및 컴퓨터 비전 분야에서 주요 기술로 활용되고 있다. 프레임이 찍힌 시점에서의 motion vector를 필요로 하는 기술들과 달리, 움직임 보상 프레임률 증가 보상은 프레임과 프레임 사이의 중간 시점에서의 motion vector를 필요하다. 프레임 사이의 중간 시점에서의 motion vector는 프레임이 찍힌 시점에서의 motion vector보다 정확하게 추정하기 어렵다. 따라서, 움직임 보상 프레임률 증가 보상을 위한 motion estimation 방법은 보다 신중하게 다루어져야만 한다.움직임 보상 프레임률 증가 보상은 영상에서 연속된 프레임 사이에 움직임을 고려하여 새로 만들어진 프레임을 삽입함에 의해 프레임률을 올리는 기술이다. 움직임 보상 프레임률 증가 보상은 일반적으로 연속된 프레임 사이에서 움직임을 추정하여 motion vector를 생성하는 motion estimation과 motion vector와 인접 프레임들을 이용하여 interpolated frame을 생성하는 motion compensated interpolation으로 구성된다. 추가적으로, motion vector의 정확성 향상을 위하여 motion estimation 후에 motion vector smoothing을 수행하기도 한다. 이러한 움직임 보상 프레임률 증가 보상의 성능은 motion vector의 정확도에 크게 좌우되며, 이는 사용하는 motion estimation 및 motion vector smoothing 알고리즘의 성능에 크게 영향을 받는다.Motion estimation은 사용 목적에 따라 다양하게 개발 되었지만, 간단하면서도 효과적이고 하드웨어 구현이 용이한 block 기반 motion estimation 알고리즘에 대한 연구가 많이 수행 되고 있다. 하지만 이러한 block 기반 motion estimation 알고리즘은 움직이는 물체의 boundary 영역에 발생하는 occlusion area에서 motion vector를 정확하게 추정하지 못하는 occlusion problem이 있다. Occlusion area에서 잘못된 motion vector의 추정은 interpolated frame의 화질을 매우 떨어뜨리는 결과를 초래한다.Motion vector smoothing은 motion estimation과정에서 잘못 찾은 motion vector들을 검출하고 교정하는 과정이다. 하지만, 많은 motion vector smoothing 알고리즘들에서 정확한 motion vector를 잘못 추정한 motion vector라고 판단하여 교정하게 되는 false motion vector correction이 빈번하게 발생하고 있다. 또한, 잘못된 motion vector를 교정한 후에도 정보의 부족으로 인하여 교정된 motion vector에 약간의 residual error가 존재하게 된다. 이들은 interpolated frame의 화질을 열화 시키는 요인들이다.이를 해결하기 위해서 본 연구에서는 방향 선택 움직임 추정 방법을 제안하였다. 제안하는 알고리즘은 양방향으로 움직임을 추정한 후, motion vector smoothing과 motion vector refinement를 수행함에 의해 각 방향의 motion vector의 신뢰성을 향상시킨다. 그런 다음, interpolated frame 관점에서 움직이는 물체에 대한 matching cost를 통하여 각 motion vector의 신뢰성을 판단하여 최종 motion vector를 선택함으로써 occlusion problem을 완화시킨다. 그리고, false motion vector correction을 줄이기 위하여 새롭게 제안한 two-dimensional weighted motion vector smoothing은 주변 motion vector들을 사용한 circular range를 생성하여 주변 motion vector들 중에 존재하는 다른 outliers의 영향을 최소화한다. 이를 통하여 false motion vector correction을 줄이고, motion vector smoothing을 수행한 후 motion vector refinement를 수행함에 의해 교정한 MV의 residual error를 최소화한다.1,720장의 test sequence를 이용한 성능 평가 실험에서, 제안하는 방향 선택 움직임 추정 알고리즘은 기존의 motion estimation 알고리즘들과 비교하여 interpolated frame의 평균 peak signal-to-noise ratio (PSNR)과 평균 structural similarity (SSIM) index를 각각 최대 5.31 dB과 0.053을 향상시켰으며, 샘플 영상을 이용한 시각적 평가에서도 다른 방법들보다 화질이 좋음을 확인하였다. 또한, 제안한 two-dimensional weighted motion vector smoothing 역시 기존의 motion vector smoothing 알고리즘들과 비교하여 interpolated frame의 평균 PSNR과 평균 SSIM을 각각 최대 1.12 dB과 0.009를 향상시켰다.