A linguistics-based approach to service failure detection using customer reviews

Abstract

서비스 회사들은 고객 만족도에 심각한 손상을 가하고 결국에 고객들을 잃게 만드는 서비스 실패를 모니터링 해왔다. 서비스 실패 발견은 회사들에게 고객의 입장에서 서비스 문제와 불만족 이유를 제공 했다. 이러한 고객 중심의 생각은 서비스의 가치가 얼마나 고객의 욕구와 기대를 만족 시키는 지에 따라 결정 되기 때문에 중요 하다. 회사들은 서비스 실패를 조사해서 이러한 실패와 관련된 잠재적으로 중요한 서비스 오류에 집중할 수 있다. 그래서 회사들은 이러한 실패를 맡은 부서에서 효과적인 해결책 개발을 고안해 낼 수 있다. 서비스 자체의 변화, 축적된 고객 경험, 실패 대응에 대한 고객 만족도 때문에 서비스 품질에 대한 고객의 평가가 변하면서 서비스 실패는 시간이 흐르면서 변화한다. 서비스의 신뢰도를 떨어뜨리는 연속된 서비스 실패는 또한 서비스의 프로세스 특성 때문에 발생할 수 있다. 그래서, 회사들은 서비스 실패에서 시간의 흐름에 따른 트렌드(Trend)를 파악하고 연속된 서비스 실패를 파악하는 것이 필요하다. 이러한 모니터링(Monitoring)은 일시적인 해결을 뛰어 넘어 서비스 실패의 지속적인 경영을 가능하게 한다. 고객들의 부정적인 리뷰(Negative review)는 서비스 실패를 모니터링 하기 위해 유용한 소스가 될 수 있다. 부정적인 리뷰는 고객이 서비스를 이용하는 동안에 발생하는 여러 문제들을 잘 나타내고 있기 때문에 고객의 입장에서 서비스의 문제를 파악할 수 있는 기회를 제공한다. 더욱이, 고객 데이터베이스 (Database)는 이메일(E-mail)을 통해서 효과적으로 고객들로부터 부정적인 리뷰를 수집할 수 있게 해준다. 전자 입소문 채널의 확산은 대량의 부정적인 리뷰를 제공하고 웹 데이터 처리 기술의 발전은 쉽게 이러한 리뷰를 처리하게 해준다. 그러나, 부정적인 리뷰를 분석하는 기존 연구들은 결과물의 정확도와 객관성의 측면에서 결점이 있다. 동시 발생(Co-occurrence) 분석, 클러스터링(Clustering) 분석, 쿼리(Query) 검색, 텍스트 연결(Text-link) 분석을 사용 했던 기존의 연구들은 분석된 결과물을 전문가가 정성적으로 분석하는 게 필요하고 이러한 분석은 주관적이기 때문에 결과물의 신빙성을 지속적으로 보장하기 어렵다. 잠재 디리클레 할당(LDA)이나 잠재 의미론적 분석(LSA)와 같은 토픽 모델링을 이용한 기존 연구들은 각각의 클러스터의 내용을 나타내는 토픽 단어와 같은 객관적인 자료를 제공 했다. 그러나 클러스터링으로 파악된 주로 발생하는 서비스 실패들은 하나의 클러스터에 있는 모든 리뷰가 하나의 서비스 실패로 간주되었기 때문에 정확도가 결여되어 있다. 이러한 한계들은 신뢰도 있게 주로 발생하는 서비스 실패의 형태와 빈도 파악 그리고 정량적으로 연속된 서비스 실패를 파악하기 어렵게 한다. 그래서, 현재의 방법론들은 서비스 실패의 트렌드와 연속된 서비스 실패를 모니터링 하기 위해서 신뢰성 측면에서 충분하지 않다. 이러한 기존의 한계를 극복하고 더 효과적으로 서비스 실패 모니터링을 돕기 위하여, 본 연구는 새로운 부정적인 리뷰를 시간이 흐르면서 수집하고 이들을 서비스 실패로 분류하고 분류된 리뷰로부터 서비스 실패 트렌드와 연속적인 서비스 실패를 파악 하는 높은 신뢰도를 가지는 방법론을 제안한다. 본 방법론은 제시된 방법론은 부정적인 리뷰를 서비스 실패로 분류하는 모델을 업데이트(Update)해서 시간이 흐르면서 새롭게 자주 언급되는 서비스 실패를 발견할 수 있다. 이러한 신뢰성 있는 방법론은 기존의 연구와 뚜렷이 구분된다. 이러한 방법론은 서비스 실패를 해결하고 방지하기 위하여 데이터 기반의 의사 결정에 기여한다. 그리고 이는 궁극적으로 고객 만족도를 향상 시킨다.

Service companies have identified frequently-occurring service failures that caused severe damage to customer satisfaction and resulted in lost customers. The service failure detection provided companies with dissatisfaction or problem of service from customer's perspective. This customer view is important in service management because the value of an offering is determined by how well it satisfies the customer’s needs and expectations. By identifying these failures, companies can focus on potentially significant service errors that are related to these failures, so the focus can guide development of effective solutions in the company division that commits these failures.

Service failures change over time as customers’ assessments of service quality change due to changes in the service, accumulated experience, and satisfaction with the level of recovery. A series of service failures that degrade the credibility of a service can occur due to a process feature of a service. Therefore, companies need to identify time trends in service failures and consecutive service failures to enable continual management of service failures rather than temporary remedial action. Negative reviews of customers can be a useful resource to identify these failures. Negative reviews represent service problems well from the customer's perspective because they encompass any problematic situation that occurs while customers exploit a service. Moreover, construction of customer database of firms effectively facilitates to collect lots of negative reviews from customers through e-mail. The proliferation of electronic word-of-mouth channels can provide large numbers of negative reviews, and development of web data-extraction techniques enables easy processing of these reviews.

However, previous studies are inherently flawed in terms of objectivity and accuracy of results. The previous studies that used co-occurrence analysis (Kim et al. 2017), clustering analysis (Goetzinger, Park, and Widdows 2006; Yee Liau and Pei Tan 2014), query search (He, Zha, and Li 2013), and text-link analysis (Berezina et al. 2016) required subsequent manual analysis, which cannot guarantee the reliability of results due to subjectivity. Existing studies that used topic modeling such as LSA and LDA provided objective evidence such as topic words that represent the contents of each cluster, but common service failures that were identified by the clustering lack accuracy because all reviews within a cluster are considered to be a single service failure. These limitations cannot reliably identify type and frequency of common service failures over time or easily identify consecutive service failures quantitatively. Therefore, the current methods are not sufficiently reliable for the purpose of service failure detection.

To overcome the existing limitations and support service failure detection more effectively, this research suggest an approach with good reliability and that collects new negative reviews over time, classifies them into common service failures, and analyzes the classified reviews to identify service failure trends and consecutive service failures. The approach can identify a newly frequently-mentioned service failure over time by updating the model that classifies service failures from negative reviews. This approach with a high level of reliability is distinct from the existing research. The proposed approach contributes to evidence-based decision-making to solve and prevent service failures, to ultimately improve customer satisfaction