데이터 및 주석 효율적인 이미지 인식 및 분할

Abstract

I deal with image recognition and segmentation tasks considering data and annotation efficiency to facilitate expansion into the real world. I utilize few-shot learning for data efficiency and weakly- and self-supervised learning for annotation efficiency. I coin a new term, weakly-supervised few-shot instance segmentation. Since it is an underexplored problem, I introduce three new problem settings and a baseline. My settings are classified according to which phase weak labels (bounding boxes) are used, i.e., base training, few-shot learning, or both. To deal with the multiple setups in a single model, I develop the simple yet strong baseline that adapts to novel classes by fine-tuning with only a few examples. To suggest further research directions and investigate performance bottlenecks from my baseline, I conduct the ablation study of model components and individual sub-task analysis. Based on the analysis, I pro- pose add-on modules to enhance prioritized sub-tasks, which are novel class classifier composition, novel class fine-tuning with Manifold Mixup, and instance-wise mask refinement. My experiments show that my proposed method is comparable to the existing fully-supervised few-shot models and even outperforms them at times. I also propose a self-supervised episodic memory network that leaves the possibility of class expansion open. The network is trained with no labels through the self-supervised learning method and more generalized through episodic learning. To enable episodic learning without labels during the training phase, I define the new concept of an efficient self-supervised episode. My network shows improved accuracy compared to the baseline and implicitly indicates the relationship between coarse and fine-level features.

최근 많은 컨볼루션 신경망 기반의 접근법이 자율 주행 차량, 로봇 공학 등 다양한 실제 애플리케이션에 적용되었다. 하지만 기존 방법들은 미리 정의된 클래스와 방대한 양의 주석이 있는 데이터에 의존한다. 기존 학습 시 보지 못했던 새로운 클래스에 대해 완전 지도 학습을 위한 다수의 레이블을 수집하여 재학습을 진행하는 것은 수많은 물체 클래스가 있는 실제 세계로의 확장을 제한한다. 따라서 본 연구에서는 기존 방법이 가지는 두 가지 한계점인 데이터 및 주석 효율성을 고려하여 약지도 학습 퓨샷 객체 분할과 자기 지도 학습 퓨샷 분류 문제를 제안한다. 우선 약지도 학습 퓨샷 객체 분할에 대해서 세 가지 데이터 세팅과 모든 세팅에 대해 적용할 수 있는 미세 조정 방식의 단일 기준 모델을 제안한다. 추가적으로 발전 가능한 방향을 찾기 위한 성능 병목 분석 방법으로 모델 구성 요소별 성능 분석 및 하위 테스크 통제 실험을 도입한다. 분석을 기반으로 우선순위에 있는 하위 테스크의 성능을 강화하기 위해 새로운 분류기 구성, 매니폴드 혼합을 통한 미세 조정, 객체별 마스크 미세 조정 등 추가 모듈을 제안한다. 실험에서 제안한 방법이 기존 완전 지도 학습 퓨샷 모델과 유사한 성능을 보이며 때로는 능가하는 성능을 보였다. 다음으로 레이블 없이도 클래스 계층 확장이 가능한 자기 지도 퓨샷 에피소드 기억 네트워크를 제안한다. 자기 지도 에피소드 메모리를 통해 하위 레벨의 미세 정보에 대해서 학습하고, 지식 증류를 통해 상위 레벨의 정보도 학습한다. 실험에서 제안한 방법이 기준 모델에 비해 향상된 성능을 보이고, 상위 레벨 정보와 하위 레벨 미세 정보 간의 관계를 암시적으로 보였다.