Analysis and Prediction of Memory and Storage Accesses to Guarantee Latency-based QoS in Clouds

Abstract

Cloud infrastructure providers deploy Dynamic Resource Management (DRM) to minimize the cost of datacenter operation, while guaranteeing the Quality of Service (QoS). Such DRM schemes depend on the capability to migrate virtual machine (VM) images. However, existing migration techniques are not suitable for highly utilized clouds due to their latency and bandwidth critical memory transfer mechanisms. The providers also want to use Solid-State Drives (SSDs) for high throughput and low latency. However, the characteristics of SSDs (e.g., erase before write, garbage collection) cause the unpredictable access latency of SSDs, which makes it difficult to satisfy latency-based QoS requirements and to fully achieve the performance potential. It has been a fundamental challenge to accurately predict the access latency of modern SSDs performing many non-disclosed, device-specific intra-SSD optimizations. First, we propose guide-copy migration, a novel VM migration scheme to provide a fast and silent migration, which works nicely under highly utilized clouds. The guide-copy migration transfers only the memory pages accessed at the destination node in the near future by running a guide version of the VM at the source node and a migrated VM at the destination node simultaneously during the migration. The guide-copy migration's highly accurate and low-bandwidth memory transfer mechanism enables a fast and silent VM migration to guarantee the QoS of all VMs in the cloud. The guide-copy decides a migration target and dynamically controls network bandwidth for cost-effectiveness. Second, we propose SSDcheck, a novel SSD performance model which accurately predicts the latency of future SSD accesses. After first identifying write buffer (WB) and garbage collection as the key components in modeling the access latency, we develop diagnosis snippets to identify the target SSD's critical intra-SSD parameters (e.g., WB size). Finally, we construct the SSD's access-latency model with the identified parameters. Our system-level evaluations using five commodity SSDs show that SSDcheck achieves high prediction accuracy. Our real-world prototype applying an SSDcheck-aware system-level request scheduling can significantly improve both throughput and reduce tail latency.

클라우드 서비스 제공자는 데이터 센터 운영 비용의 최소화 및 서비스 품질(QoS) 보장을 위해 동적 자원 관리를 수행한다. 가상 머신(VM) 마이그레이션을 통해 하나의 물리적 노드에 실행되는 VM 개수를 동적으로 조절할 수 있으므로, 동적 자원 관리는 VM 마이그레이션에 크게 좌우된다. 그러나 기존 마이그레이션 기법들은 VM 마이그레이션이 언제 끝나는지 알 수 없고, VM 메모리 전송을 위해 네트워크 전송량을 최대로 사용하여 여러 VM이 공유되는 클라우드 컴퓨팅 환경에 적합하지 않다. 클라우드 서비스 제공자는 또한 고성능 스토리지 서비스를 위해 SSD 사용을 원한다. 하지만 SSD 내부 특성에 의해 예측할 수 없는 성능 변화가 발생하며, 이는 클라우드 서비스 QoS 보장 및 SSD 성능 최대치를 얻어내는 것이 어려워 결과적으로 클라우드 서비스 제공자가 SSD를 사용하는 것을 힘들게 만든다. 따라서 본 논문을 통해 우리는 클라우드 컴퓨팅 환경에 적합한 효율적인 VM 마이그레이션 및 SSD 성능 예측에 대한 연구 결과를 소개한다. 첫째, 우리는 Guide-copy라는 빠르면서도 다른 VM 네트워크에 영향을 주지 않는 새로운 VM 마이그레이션 기법을 제안한다. 마이그레이션 시작 서버에서 수행되는 가이드 VM이 미리 VM을 수행하면서, 마이그레이션 도착 서버에서 수행될 마이그레이션이 된 VM이 바로 직후에 접근할 메모리 페이지만을 미리 전송한다. 이를 통해 높은 메모리 페이지 사전 전송 정확도를 얻고, 최소한의 네트워크 전송량 사용이 가능하다. 제안된 기법은 비용 효율적으로 VM 마이그레이션의 네트워크 사용량 동적이 가능하여, 마이그레이션이 된 VM 및 클라우드 환경 내의 다른 VM 모두의 QoS를 보장한다. 둘째, 우리는 SSD 성능 예측을 가능하게 하는 SSD 성능 모델링 기법을 제안한다. SSD 성능에 영향을 미치는 핵심적인 내부 하드웨어 구조를 찾아내고, SSD별 내부 하드웨어 파라미터를 찾기 위한 진단 도구을 실행한다. 찾아낸 파라미터 값을 통해 SSD별 성능 모델을 구성하여, 향후 SSD 읽기 또는 쓰기 시의 성능을 예측한다. 실험을 통해서 우리는 우리의 성능 모델이 높은 성능 예측 정확도를 가지고, 성능 향상 및 QoS 보장이 가능함을 확인하였다.