Intelligent Microfluidic Systems Enhanced with Control Theory and Deep Learning

Abstract

This thesis describes a study to overcome some limitations of current microfluidic devices which have been studied for a long time but are still difficult to commercialization. To do this, this thesis proposes a concept of an intelligent microfluidic system, and its core technology and several practical applications. Inspired by the recent advances in automation and artificial intelligence technologies, this thesis applies interdisciplinary approaches to microfluidic devices to make them become intelligent and more versatile. More specifically, control theory and deep learning techniques are applied to several conventional tasks performed by microfluidic devices to enable precise flow and cell control, and high-throughput analysis of microscopic cell images. This thesis consists of a study on control of microfluidic systems, a study on microscopic image processing of cells flowing through a microfluidic channel, and a study on a system that integrates these.

In the control part, a robust controller is designed and applied to enable simultaneous flow regulation for multiple microfluidic channels of a microfluidic network. To design a system model of a general microfluidic network, a fluidic circuit that has analogy with an electric circuit composed of resistances and capacitance was adopted as a modeling method. Here, fluidic resistance is the most dominant component to model fluid flow, and highly depends on cross-sectional parameters such as channel height and width. However, the nominal (designed) fluidic resistance and actual resistance value have large errors due to a small fabrication error induced by the limited fabrication resolution, and it is very difficult to measure or predict the actual fluidic resistance value. This part designs a disturbance observer-based robust controller for microfluidic systems that are difficult to control due to the model uncertainty, and the designed controller makes the target system enable robust flow control even in the highly uncertain environment. The proposed method has been verified by simulation and experiments, and also applied to several practical microfluidic applications such as cell position control, valve-less flow switching, liminar interface position control, and find droplet generation.

In the intelligence part, high-throughput microscopic image processing framework, which consists of a low-latency image processing algorithm for single-cell image acquisition, and deep learning-based microscopic cell image classification method, is proposed. The proposed framework enables high-throughput and label-free imaging flow cytometry (IFC) with a compact system composed of a microscope and a high-speed camera without complex optical systems. To enable high-throughput analysis of large numbers of cell samples, single-cell images for fast-flowing cells should be acquired and a real-time image analysis for the acquired single-cell image should be performed. However, since a typical deep neural networks require a large amount of computation, it is not easy to apply it to applications requiring high-throughput and real-time processing. Therefore, the proposed framework divides image detection task into several sub-tasks which are image segmentation, object tracking, and object classification, and each task is computed in parallel by CPU and GPU. The proposed approach reduces the latency to less than 2 msec by preserving the high accuracy of deep learning-based object classification. Microscopy-based IFC using the proposed method was experimentally verified using various biological cells. In addition, this thesis proposes a Forced Attention Network that can resolve the mis-attention problem caused by when deep neural network is trained to classify cell images using biased data, and it improved generalization capability and classification accuracy.

If a high-throughput microscopy image processing can be performed in real time, cells can be physically separated based on the analyzed results; i.e., image-based cell sorter. In the last part of this thesis, a sorting system that is capable of separating the target object in high purity among a mixed sample is proposed by integrating precision control and real-time high-speed image processing technology. In order to verify the physical separation performance of the proposed image processing framework, experiments were carried out to sort a mixed seed sample, and the experiments successfully separated the target seeds from the mixture into extremely high purity (over than 99.99%).

본 논문은 오랜기간 연구가 되어왔지만 여전히 상용화에 어려움을 겪고 있는 미세유체 장치의 한계를 극복하기 위한 연구에 대해 기술한다. 이를 위해 지능 미세유체 시스템에 대한 개념과 핵심 기술, 그리고 이를 적용한 몇 가지 실용적인 응용기술을 제안한다. 최신의 자동화 및 인공지능 기술의 진보에 영감을 얻은 본 논문은 미세유체 장치를 지능적으로 만들어 다양하게 활용할 수 있도록 학제간 접근법을 적용하였다. 보다 구체적으로, 제어 이론 및 심층학습 기술을 미세유체 장치가 통상적으로 수행하는 작업에 적용하여 유량 및 세포의 정밀 제어, 높은 처리량의 세포 분석 등을 가능하게 하였다. 본 논문은 미세유체 시스템의 제어에 관한 연구, 유체채널을 흐르는 세포 현미경 영상처리에 관한 연구, 그리고 이를 통합한 시스템에 대한 연구로 이루어져 있다.

제어 파트에서는 미세유체 네트워크의 여러 미세유체 채널에 대한 동시적 유량 제어를 가능하게 하기 위한 강인제어기를 설계 하여 적용하였다. 일반적인 미세유체 네트워크에 대한 시스템 모델을 설계하기 위해 저항과 커패시턴스로 구성된 전기회로와 유사한 유체회로를 모델링 방법으로 적용하였다. 여기서 유체저항은 유체 흐름을 모델링하는데 가장 중요한 요소이며, 유체채널의 높이 및 폭과 같은 단면 변수에 크게 좌우된다. 하지만 가공 정밀도의 한계로 인한 작은 가공오차 때문에 설계한 유체저항과 실제 유체저항 값은 큰 오차를 가지며, 실제 유체저항 값을 측정하거나 예측하는 것은 매우 어렵다. 본 논문에서는 이러한 모델 불확실성으로 인해 제어가 힘든 마이크로 시스템에 대해 외란관측기 기반의 강인제어기를 설계 및 적용함으로서 타겟 시스템이 불확실성이 큰 환경에서도 강인한 유량제어가 가능하도록 하였다. 제안하는 기술은 시뮬레이션과 실험으로 검증되었이며, 이를 이용하여 세포 위치 제어, 밸브를 사용하지 않는 유량 전환, 층류면 위치 제어, 정밀한 드랍렛 생성과 같은 실제 미세유체 장치의 응용기술에도 적용하였다.

지능파트에서는 단일세포영상 획득을 위한 저지연 (low-latency) 영상처리 알고리즘과 세포영상에 대한 심층학습 기반의 영상 분류 방법으로 이루어진 고속 현미경 영상처리 프레임워크를 제안한다. 제안하는 프레임워크는 복잡한 광학 시스템 없이 현미경과 고속 카메라로 구성된 간단한 시스템으로 고속 및 무표지 (label-free)의 이미징 유세포 분석 (IFC, imaging flow cytometry)을 가능하게 한다. 다량의 세포 샘플에 대한 고속분석을 가능하게 하기 위해서는, 유채채널을 빠르게 흐르는 세포에 대한 단일세포 영상을 획득해야 하고 획득된 단일세포 영상에 대한 실시간 영상분석을 수행해야 한다. 하지만 일반적인 심층신경망 기법은 다량의 연산을 요구하기 때문에 지연시간이 길어 이와 같은 고속의 처리량을 요구하는 분야에 적용하기가 쉽지 않다. 따라서 제안하는 프레임워크는 영상 검출 작업을 영상 분할, 물체 추적, 물체 분류의 여러 작업으로 나눈 뒤 이를 CPU와 GPU로 병렬연산하여 심층신경망의 분류 정확도는 그대로 유지하면서 연산시간을 2 msec 이하로 낮추었다. 이를 이용한 현미경 기반 IFC 기술의 성능을 다양한 세포실험을 통해 검증하였다. 본 논문은 또한 심층신경망이 세포 영상을 분류하기 위한 학습을 수행할 때, 편향된 데이터로 인해 발생하는 오인식 (mis-attention) 문제를 해결할 수 있는 Forced Attention Network를 제안하여 세포 영상 인식 성능을 향상 시켰다.

고속 현미경 영상 처리를 실시간으로 수행할 수 있으면 이러한 실시간 분석결과를 바탕으로 세포를 물리적으로 분리할 수 있다. 본 논문의 마지막 파트에서는 정밀 제어와 실시간 고속 영상 처리 기술을 결합하여 섞여진 물체들 사이에서 원하는 타겟을 고순도로 분리할 수 있는 분리장치를 제안한다. 실시간 영상처리기술의 물리적 분리 성능을 검증하기 위해 세포가 아닌 실제 손으로 만질 수 있는 씨앗을 고순도로 분리하는 실험을 수행하였으며, 실험을 통해 혼합종자로부터 목표씨앗을 초고순도 (99.99% 이상)로 분리할 수 있었다.