제한된 팔 자세로 물체를 조작하기 위한 로봇 엔드 이펙터 디자인

Abstract

In the past robotics field, the robotic manipulation of the object has been generally conducted within the free environment in large space. This means that the environment around it does not restrict the movement of the robot arm, and the robot can translate or rotate the object using is all degrees of freedom. However, recent robotic tasks require more dexterous manipulation of the object within a small, narrow environment that restricts movement of the robot arm. In these tasks, the robot end-effector should be inserted into the target operation space and conduct manipulation tasks without getting advantages of high DOF robot arm movement. The manipulation of the object should be conducted within the robot hand, or end effector, without moving the robot arm. This kind of task is called "in-hand manipulation" or "within-hand manipulation" in the robotic field. Current robot studies are trying to solve the in-hand manipulation problem using a high DOF robot hand with a vision-based deep learning algorithm or by using external force such as gravity or contact reaction from the environment. However, these robot systems are difficult to be used in actual small space in-hand manipulation tasks because their main mechanical components, such as electric motor, encoder, force sensor, and vision system, are too big and difficult to be scaled down. Using gravity or the external environment to generate force for manipulation also has the limitation that it highly depends on the environment. Also, the state-of-the-art in-hand manipulation technologies are far from the highly dexterous motion, such as translating or rotating the object in the air. This thesis discusses an end effector and a robot system for in-hand manipulation: manipulating the object within the end effector and not moving the robot arm. The thesis has two big topics: one for the specific task, corneal suturing in penetrating keratoplasty (PKP), and the other for the more general solution for in-hand manipulation.

The first is a robotic end-effector for a specific manipulation task under a limited arm pose, PKP. In PKP the cornea, the very frontal part of the eye, is cut in a circular shape and replaced with a new donor cornea. To connect the donor cornea and the patient's eye, about sixteen sutures are generated around the cornea. The shape of the sutures should be accurate, and the suture depth and length should be precisely generated to have about 550 μm and 1.2 mm. If not, transplantation fails, and high astigmatism or re-surgery is required. The difficulty of robotic corneal suturing is because of the restricted operation space of the robot arm. During the PKP, the cornea is surrounded by many obstacles such as eye bones, nose, eyelids, etc. In the human's perspective, these structures are fixed on the head, but in the robot's perspective, these structures significantly limit the robot arm pose because the robot should rotate around the cornea with 360° to generate sutures in all directions. Therefore, the robot's end-effector should perform dexterous suturing motion while the pose of the robot arm is limited.

To solve this problem, a PKP robot with a novel end-effector, a vacuum tweezer (VT), is proposed. The VT can perform very dexterous suturing motion within a small space near the cornea: 1) global fixation of the cornea, 2) deformation of corneal tissue for shape control, 3) needle insertion. The suturing mechanism is novel, which deforms the tissue not manipulating needle trajectory. This method has the benefit that quasi-

The suturing experiment was performed on the porcine cornea, and the experimentally generated suture shapes were compared with the simulated suture shape. The result showed that the mean suture length standard deviation was 108 μm, which is 41% less than the trained surgeon. The mean suture depth standard deviation was 36 μm. The MAE between the measured suture length and simulated length was calculated. The mean suture length MAE was 95 μm, and the mean suture depth MAE was 31 μm.

The contributions of this study are as follows. First, to the best of our knowledge, this is the first study to suggest a method for controlling the suture shape and quantitatively analyzing it in ophthalmic surgery. Second, a novel corneal suturing robot was proposed to produce sutures of the desired shape with high uniformity and accuracy. Third, a novel suturing method is proposed, which can generate sutures without touching the endothelium. Fourth, a simulation method that can predict the suture shape generated by the robot was proposed and experimentally verified.

The second topic is a generalized solution for manipulating object under limited arm pose. The core of the in-hand manipulation is translating or rotating the object within the end-effector, while the position and angle of the robot arm (or hand) are fixed. To perform this, a thin, flexible robot skin actuator (RSA) is proposed. At the surface of the RSA, array of soft actuator unit are distributed. Each soft actuator unit inflates and generates elliptical motion. This elliptical motion generates unidirectional tangential force, and repeated elliptical motion can move the object. The RSA can be attached on the surface of the robot gripper, such as a simple two-fingered robot gripper, and can translate or rotate the object by generating tangential force. The proposed RSA is thin, flexible, and having simple structure which make is able to be fabricated in small-scale. Therefore, flexible RSA can be used to manipulate small, arbitrary shaped object by wrapping around it.

In the experiment, the tangential and the normal force during actuation is measured. As a result, the generation of the tangential force on the actuator's surface is verified. Using the RSA, on-surface object manipulation is experimentally conducted. The result showed that the actuator could translate and rotate the object in all directions. Also, the manipulation performance of the actuator is experimentally shown. As a result, the relationship between the speed, object weight, actuation frequency is verified.

The in-hand manipulation under limited robot arm pose is performed in the experiment. The task of the experiment is peg-in-hole, which is grasping the object and inserting it into the peg with the correct position, the correct direction. In the experiment, the Aluminium fence is installed around the peg to restrict the pose of the robot arm. The initial direction of the object is upright, while the direction of the peg is rotated. Therefore, the robot should perform in-hand manipulation within the Aluminium fence. A simple two-fingered robot hand with one degree of freedom (open and close) is used as a robot hand. On the surface of each robot finger, the RSA is attached. As a result, the robot hand with the proposed actuator on its surface could translate and rotate the object in the air even without moving the robot arm and robot hand. Finally, the peg can be rotated and translated into the hole within the robot hand without moving the robot arm.

The contributions of this study are as follows. First, the soft, thin, flexible soft actuator which can generate the tangential force on its surface is proposed. The structure and fabrication process is simple, which benefits scaling down the actuator in the future. Second, the generated elliptical motion design methodology is analyzed using FEM simulation. Third, the feasibility of in-hand manipulation using the proposed actuator is experimentally shown. Fourth, the feasibility of the other possible applications, which are manipulating the object under bending and mobile robot, is experimentally shown.

많은 로봇 작업에서 로봇 팔의 자세가 제한된 상태로 물체를 조작해야하는 작업이 필요하다. 기존의 산업용 로봇 등을 사용해서 물체를 조작하기 위한 방법은 로봇 메니퓰레이터가 가진 다수의 자유도를 사용하여 물체의 위치와 방향을 제어하는 방식으로 이루어지는데, 로봇 팔의 자세가 제한된 상태에서는 사용 가능한 로봇의 자유도가 제한되므로 로봇 말단에 부착된 로봇 엔드 이펙터 내에서 물체의 조작이 이루어져야 한다. 본 논문은 로봇의 팔 자세가 제한된 상황에서 물체를 조작할 수 있는 로봇 엔드 이펙터를 제안하고, 엔드 이펙터의 디자인 방법을 논한다. 본 논문은 크게 두 가지 상황에서의 로봇 엑츄에이터를 제안한다. 첫 번째 상황은 각막이식수술에서의 각막 봉합으로써, 좁은 공간 안에서 각막의 고정, 변형, 바늘 삽입을 통해 정확한 모양의 봉합을 형성할 수 있는 로봇 엔드 이펙터를 제안한다. 두 번째 상황은 조금 더 보편적인 조작 상황에 관한 연구로써, 공중에서 물체를 들어올린 채로 엔드 이펙터만을 사용하여 물체를 이동, 회전시킬 수 있는 소프트 엑츄에이터를 제안한다.

첫 번째로 각막이식수술에서의 정확한 봉합 생성을 위한 엔드 이펙터에 관해 논한다. 각막이란 사람 안구의 가장 앞쪽에 위치한 조직으로써, 질병에 의해 혼탁해질 경우 새 기증 각막으로 교체해야 하며 이 수술을 각막이식수술이라 한다. 각막이식수술에서 혼탁한 환자 각막은 원형으로 절개되며, 유사한 모양으로 절개된 기증자 각막을 환자 눈과 봉합하게 된다. 이때 원형 각막의 가장자리를 따라 약 16~24개의 봉합이 형성된다. 봉합의 형상은 수술 예후에 큰 영향을 미치는데, 여러 봉합의 길이와 깊이는 정밀해야 하며 깊이의 경우 각막 두께의 약 90%인 550 μm, 길이의 경우 약 1.2 mm로 정확하게 생성돼야 한다. 정확하고 정밀한 봉합이 형성되지 못할 경우 각막 이식이 실패하며 고도난시와 재수술이 필요하게 된다. 각막이식수술 과정 중 사람의 각막은 코, 눈뼈, 머리뼈, 눈꺼풀 등 많은 장애물들로 둘러 쌓여있는데, 각막 주위를 360도 회전하며 모든 방향에서 봉합을 수행해야 하는 각막이식수술의 특성 상 수술 도구나 로봇 팔의 자세가 굉장히 제한된다는 어려움이 있다.

이러한 어려움을 극복하고 정밀한 봉합을 형성할 수 있기 위해, 본 논문의 첫 부분에서는 각막 주변 작은 공간 안에서 1) 각막 고정, 2) 각막 변형, 3) 바늘 삽입을 수행할 수 있는 엔드 이펙터를 제안하였다. 본 논문에서 제안하는 엔드 이펙터는 기존의 로봇 봉합 방법인 조직을 고정하고 바늘의 궤적을 변형하여 봉합 모양을 제어하는 방식이 아닌, 바늘의 삽입 궤적은 직선으로 고정하고 조직을 원하는 대로 변형하여 봉합 모양을 제어하는 새로운 방법이다. 이러한 방법을 사용하여 봉합을 진행할 경우 봉합 형성 과정을 quasi-static process로 가정할 수 있다는 장점이 있다. 본 논문에서는 제안된 엔드 이펙터의 봉합 과정을 Quasi-static process로 가정하여, 정확한 봉합 형상 예측이 가능한 finite element method based numerical simulation를 제안하였다. 제안된 방법을 통해 엑츄에이터 형상과 봉합 형상과의 관계를 서술할 수 있으며, 이를 통해 원하는 각막 봉합 모양 생성이 가능한 엑츄에이터 디자인 방법을 제안하였다.

제안된 각막이식수술용 엔드 이펙터의 성능을 검증하기 위해 돼지눈을 사용한 ex-vivo 실험을 진행하였다. 엔드 이펙터와 봉합 모양 예측 방법의 성능 비교를 위해 세 개의 다른 모양을 가지는 엔드 이펙터를 제작하여 실험을 진행하였다. 실험 결과 모든 봉합이 로봇 팔의 움직임과 외부 구조물 간의 충돌 없이 엔드 이펙터 내에서 생성 가능함을 확인하였다. 세 개의 봉합 모양이 서로 통계적으로 유의미한 수치 내에서 차이를 가지며 생성됨을 확인하였다. 생성된 봉합의 길이와 깊이가 시뮬레이션을 통해 예측한 값과 통계적인 범위 내에서 유사함을 확인하였다. 봉합 길이의 경우 기존 문헌에서의 숙련된 의사에 의해 생성된 봉합 측정치보다 더 뛰어난 정밀도를 가지는 것을 확인하였다. 봉합 깊이의 경우 일반적인 각막 두께의 10%에 해당하는 50 μm보다 작은 수치의 mean absolute error를 가지며 생성됨을 확인하였다.

본 학위 논문의 첫 번째 부분에서 각막이식수술이라는 특정한 상황을 위한 엔드 이펙터에 대해 논하였다면, 본 학위 논문의 두 번째 부분은 조금 더 일반적인 상황에서의 물체 조작을 위한 엔드 이펙터를 논한다. 로봇 팔 자세가 제한된 상황에서 물체를 조작하기 위해서는 엔드 이펙터 내에서 물체의 이동 및 회전이 가능해야 하며, 이를 학계에서 in-hand manipulation 혹은 within-hand manipulation이라 칭한다. 기존 로봇 연구들은 in-hand manipulation을 위한 해결책으로써 굉장히 많은 자유도를 가지는 로봇 손이나, 물체에 작용하는 중력을 이용한 조작 방법을 제안하고있다. 하지만 이러한 방법들은 큰 자유도에 의한 큰 크기, 그리고 중력을 이용하기 때문에 여전히 로봇 팔 자세에 의존적이라는 한계점을 가진다.

본 논문의 두 번째 부분에서는 제한된 팔 자세에서 엔드 이펙트를 이용한 물체 조작, 즉 in-hand manipulation을 위한 해결책으로써, 소프트하고, 얇고, 휘어질 수 있는 로봇 피부 엑츄에이터 (robot skin actuator, RSA)을 제안한다. RSA는 얇고 부드러운 시트 형태를 갖고 있으며, 표면에서 일종의 파동을 발생시켜 접촉해 있는 물체를 움직일 수 있는 특성을 가진다. RSA는 공압에 의해 작동되는데, 연속적인 공압 입력은 RSA 내에 특정 구조로 위치한 두 종류의 공압 챔버에 차례대로 변형을 일으킨다. 이러한 챔버의 변형은 엑츄에이터 표면의 특정 지점에 반복적인 타원 움직임을 발생시키는데, 이러한 반복적 타원 움직임이 일종의 파동을 이룸으로써 RSA와 맞닿아 있는 물체에 접선력 (tangential force)를 생성한다. RSA를 물체와 맞닿은 상태에서 작동시키면 RSA의 표면과 물체의 표면 사이에서 힘이 발생하기 때문에, RSA의 위치를 바꾸지 않아도 물체를 조작할 수 있다. 즉 로봇 엔드 이펙트로써 RSA를 사용하여 물체를 파지한다면, RSA가 부착된 로봇 팔의 자세를 바꾸지 않아도 물체에 여러 방향으로 접선력을 제공할 수 있는 것이다. RSA는 소프트하고 얇기 때문에 물체의 모양에 따라 휘어지거나 변형이 가능하며, 이를 통해 다양한 형상을 가지는 물체의 표면에 접촉되어 접선력을 제공할 수 있다는 장점이 있다. 또한 RSA는 구조와 제작 방법이 비교적 단순하여 작은 크기로 제작이 용이하다는 장점이 있다.

본 논문에서는 RSA 내부의 공압 챔버 형상과 표면 돌기 구조의 형상이 RSA 표면의 움직임 궤적에 미치는 영향을 시뮬레이션을 통해 분석하였다. 이를 통해 주어진 작업을 위한 RSA의 최적 디자인 방법에 대해 제안하였다. 또한 본 논문에서는 RSA의 조작 성능을 검증하기 위해 힘 측정 실험을 실행하였으며, 실험 결과 특정 방식의 공압 입력이 주어졌을 때 한쪽 방향으로의 접선력이 생성 가능함을 확인하였다. 또한 RSA를 사용한 물체 조작 시 공압 입력 주파수, 물체의 무게, 물체의 이동 속도, 최대 이송 가능 무게의 관계를 실험적으로 확인하였다. 제작한 RSA를 고정한 상태에서 물체의 조작 능력을 실험적으로 검증하였으며, 이차원 상에서 모든 방향으로 물체의 이송, 회전이 가능함이 나타났다. RSA를 사용한 in-hand manipulation의 가능성을 실험적으로 검증하였다. 실험 목표는 로봇 팔의 자세가 제한된 상태에서 물체 (peg)를 들어올려 90도 회전하고, 목표 구멍 (hole)에 집어넣는 peg-in-hole 작업으로 설정하였다. 실험을 위해 1 자유도 two-fingered 로봇 손의 각 표면에 각각 RSA를 부착하여, 육면체 물체를 파지하여 들어올릴 수 있게 하였다. 실험 결과 로봇 팔의 움직임 없이 로봇 엔드 이펙터 안에서 RSA 조작만을 통해 공중에서 들어올린 물체의 이동과 회전이 가능하였고, 최종적으로 로봇 팔 자세가 제한된 상황에서 peg-in-hole 작업을 성공적으로 수행되었다.