기능적 자기공명영상 호환 멀티모달 햅틱 디스플레이

Abstract

가상 현실에서의 햅틱 상호 작용은 사용자에게 몰입감 있고 사실적인 경험을 제공한다. 이러한 맥락에서 메타, 마이크로소프트는 가상현실을 위한 햅틱 인터랙션을 활발히 진행하고 있다. 그러나 햅틱 인터랙션을 위해 서로 다른 가상현실 콘텐츠를 비교하거나 정확한 개발 목표를 설정하기가 쉽지 않다. 사용자의 감정을 평가하거나 정량적으로 생각할 수 없기 때문이다. 이 문제를 해결하기 위해 우리는 인간의 뇌 활동에 대한 정량적 분석을 제공할 수 있는 기능적 자기공명영상(fMRI)을 사용하려고 한다. 그러나 fMRI는 자기장이 강하기 때문에 상용 햅틱 디스플레이를 사용할 수 없다. 본 논문에서는 fMRI에서 가상 현실을 위한 햅틱 상호작용을 구현하기 위한 fMRI 호환 멀티 모달 햅틱 디스플레이를 제안한다. 연구는 주로 두 부분에 집중되었다. 첫 번째 파트로, 햅틱 디스플레이 개발에 어떤 부품이 사용될 수 있는지 fMRI 호환성 연구를 수행했다. fMRI 호환성을 확인하기 위해 다음 두 이미지를 얻었다. 하나는 fMRI의 기준 영상이고, 다른 하나는 시험 대상물을 fMRI 환경에 설치한 후 획득한 영상이다. 이 두 이미지가 유사해야 fMRI 호환이라고 말할 수 있다. 우리는 13가지 유형의 구성 요소에 대해 fMRI 호환 테스트를 수행하였다. 이 영상을 기반으로 신호와 잡음의 평균과 표준편차를 분석하였다. 그리고 통계적으로 baseline와 차이가 없는지 확인하였다. 본 논문의 두 번째 부분으로, fMRI 호환성이 검증된 요소로 구성된 fMRI 호환 멀티 모달 햅틱 디스플레이를 제안한다. 제안된 디스플레이는 fMRI 호환되는 아크릴 실린더를 통해 엄지를 제외한 사용자의 네 손가락에 압력을 제공 할 수 있다. 또한 피에조 액츄에이터의 진동을 통한 squeeze film levitation 현상을 통해 엄지손가락에 가상의 질감을 구현할 수 있다. 압력 디스플레이는 0~10N의 힘을 1N 간격으로 제공할 수 있으며, texture 디스플레이는 0.35~0.98 사이의 마찰 계수를 조절할 수 있음을 실험을 통해 보여주었다. 이 시스템을 통해 물체의 강성, 강성, 거칠기와 같은 햅틱 상호작용을 가상으로 표현할 수 있다. fMRI 호환성을 검증하기 위해 제안된 시스템에 대한 테스트를 진행하였다. 크게 세 종류의 영상을 취득하였다. 먼저 Baseline 영상은 제안된 시스템 없이 촬영되었으며, 두 번째 fMRI 영상은 제안된 디스플레이를 피사체 옆에 잡지 않고 배치하여 촬영하였다. 마지막으로 피사체를 잡았을 때의 영상를 촬영하였다. 이 세 개의 영상결과를 분석한 결과, fMRI 호환 멀티모달 햅틱 디스플레이는 two-sample t-test을 통해 통계적 유의하게 compatible함을 확인했다.

Haptic interaction in virtual reality provides the user with an immersive and realistic experience. In this context, Meta, Microsoft had actively conducted haptic interaction for virtual reality. However, it is not easy to compare different virtual reality contents for haptic interaction or set exact development goals. This is because we can not evaluate user feelings or think quantitatively. We try to use functional Magnetic Resonance Imaging(fMRI) to provide quantitative analysis for human brain activity to solve this problem. However, Because of the strong magnetic field of MRI, the commercial haptic display cannot be used. This paper proposes an fMRI-compatible multi-modal display to implement haptic interaction for virtual reality in fMRI. The research was mainly focused on two parts. First, an fMRI compatibility study was conducted to check whether candidate components are used for haptic display development in MRI. the following two images were obtained to check fMRI compatibility. One is The baseline image in the fMRI, and the other is the fMRI image acquired after the test object is installed. We can say they are fMRI-compatible only if these two images are similar. We conducted fMRI-compatibility tests on 13 types of components. Furthermore, we analyzed the mean and standard deviation of signal and noise. Lastly, we checked whether it is compatible statistically. In the second part of this paper, we propose an fMRI-compatible multi-modal haptic display composed of components that verify fMRI compatibility through the fMRI-compatibility test. The proposed display can pressure the user's four fingers except for the thumb through an acrylic cylinder. Also, the virtual texture is implemented to the thumb through the squeeze film levitation phenomenon through vibrating the piezo actuator. The pressure display showed that it was possible to provide a force from 0 to 10N at intervals of 1N, and the texture display can regulate the friction coefficient between 0.35 and 0.98. Through this system, haptic interactions such as stiffness, rigidity, and roughness of an object can be expressed virtually. To validate fMRI compatibility, We applied the test to the proposed system. The Baseline fMRI image was taken without the proposed system, and the second fMRI image is acquired that the proposed display was placed next to the subject without holding it. Lastly, the image when the subject held it is acquired. As a result, The multi-modal haptic display was fMRI-compatible with statistical significance through the two-sample t-test.