Development of Multi-beam Imaging Sonar Simulator and its Applications

Abstract

일반적으로 이미징 소나는 수중로봇이나 선박을 이용한 수중 탐색에 널리 쓰이고 있는데 이는 소나가 물의 탁도에 거의 영향을 받지 않고 탐색 가능 거리 또한 광학 카메라보다 훨씬 크기 때문이다. 특히 다중빔 전방형 이미지 소나는 상대적으로 높은 주파수를 사용하기 때문에 출력 데이터의 해상도가 높은 편이다. 사람은 이 영상 형태의 결과물을 보고 수중 물체의 존재 유무를 넘어 식별까지도 할 수 있다. 이로 인해 특정한 상황에서 이미징 소나는 광학 카메라를 대체할 수 있고 사물 인식 같이 광학 카메라 분야에서 활발히 연구된 알고리즘의 적용 가능성을 연다. 그러나 이미징 소나의 영상 메커니즘은 광학 카메라의 경우와 크게 달라 사람의 직관이 도움이 되지 않는다. 사물 인식의 맥락에서 결과 이미지의 예측을 가능케 하는 시뮬레이션은 매우 유용하게 사용될 수 있다. 본 연구에서는 다중빔 전방형 이미징 소나의 시뮬레이터 개발과 그 응용을 다룬다. 시뮬레이터는 주어진 형상의 반사파 윤곽 및 그림자 형태를 예측하여 그 결과를 보여준다. 이러한 윤곽 및 그림자 형태는 소나 영상에서 사물 인식을 위한 핵심적 정보에 해당된다. 시뮬레이터는 초음파, 물체, 그 둘의 상호작용을 간단한 형태의 기하 정보로 모델링하여 그 연산 속도가 매우 빠른 편이다. 또한 관찰 물체의 디자인, 관찰 시점 변경이 쉽고 자유롭다. 실제 실험을 통해 시뮬레이션의 정확성 및 신뢰성을 확인하였다. 이러한 이미징 소나 시뮬레이션의 응용으로써 두 가지 형태의 수중 사물 인식 방법을 소개한다. 기본적으로 수중 물체를 관측할 때 물체가 축방향 대칭성을 가지지 않는 경우 보는 방향에 따라 한 물체라 할 지라도 여러 형상이 관측될 수 있다. 첫번째 방법은 템플릿 매칭의 형태로써 템플릿 이미지를 시뮬레이션 이미지로 대체하여 실제 소나 영상과 비교하는 방법이다. 이 방법은 소나 영상의 고유의 특성을 고려하여 상관 계수를 구하기 때문에 일반적인 상관 계수법보다 더 높은 정확성을 가진다. 두 번째 방법은 모양 기반의 사물 인식 방법이다. 이 방법은 탐색, 모양의 추출, 모양 비교를 통한 사물 인식으로서 앞선 경우보다 사물 인식에 필요한 사전 과정을 포함하고 있다. 고속이동하며 얻게 되는 소나 영상에서 물체의 출현을 감지하고 물체의 윤곽 형상 또는 그림자 형상을 추출하여 시뮬레이션에서 얻은 표준 형상의 정보와 비교하는 방법이다. 통계적인 방법을 사용하며 앞선 방법보다 좀 더 직관적인 편이다. 두 방법 모두 수차례의 실제 실험을 통하여 검증하였다. 이러한 인식 방법 이외에도 이미징 소나 시뮬레이션은 특정한 환경에 대한 소나 영상의 사전 정보를 제공한다는 점에서 큰 의의를 가진다고 볼 수 있다.

Imaging sonars are widely used in underwater investigation because it is insensitive to water turbidity and has a much longer observation range than underwater optical cameras. Particularly, multi-beam forward-looking imaging sonars have a high resolution that allows humans to identify underwater objects, and can produce its output in the form of video images. This kind of imaging sonar can be good alternatives for optical cameras in certain situations. Also it suggests the possibilities of the advanced algorithms such as object recognition that is well-developed research area for optical cameras. In the context of object recognition, a sonar image simulator that predict edge lines of objects can be useful. In this study, we developed a sonar simulator for a multi-beam forward-looking sonar (MSS), specialized for predicting edge lines of object in sonar images. Edge lines of object are one of the core information in sonar image-based recognition. The MSS is based on an approximated acoustic model that treats the acoustic beams as a set of straight lines. Therefore, the MSS can generate a sonar image of a target object at any viewpoint within only 0.3 s for single image. The feasibility of the MSS for object recognition was veri_ed experimentally. The results demonstrated the high reliability of the simulation at various viewpoints and attitude. As the applications of the MSS, two underwater object recognition algorithm were proposed. When using the imaging sonar with AUVs, the direction from which the underwater object is approached is not speci_ed in advance and the shapes of the object in the sonar image depend on the direction of approach. Therefore, the object cannot be recognized by using only a single template image. To solve the problem, the MSS is applied to generate template images from various angles of view. The template images can be directly compared to the actual sonar image by using the proposed matching algorithm, the performance of which is compared to that of conventional template matching. The similarity coe_cients derived by the proposed algorithm are more reliable for recognizing the target object than the correlation coe_cient derived by template matching. The second recognition method performs automatic detection and recognition under certain conditions. The method includes segmentation of an underwater object's echo shape by removing the ground echo shape. Then, the separated shape is compared to simulated reference shapes to know its orientation or identity using the shape matching method. In the experiment, the objects echo shapes were well separated from the ground echo. Also, the shape matching method identi_ed their orientation and identity. This method can be applied to an AUVs detection mission such as mine hunting. Apart from the recognition purpose, the MSS can provide a prior knowledge of sonar view of underwater environment, therefore helps various underwater operations.