论文标题：Microservice Root Cause Analysis With Limited Observability Through Intervention Recognition in the Latent Space   

 

作者：谢哲，张圣林，耿一彤，张尧，马明华，聂晓辉，姚振翮，徐龙龙，孙永谦，李文滔，裴丹

 

----------------------------------------------
 

 

随着微服务系统的广泛应用，许多根因定位（Root Cause Analysis, RCA）算法被提出。然而，现有算法大多集中在单级别（如指标级或服务级）的候选根因集（Root Cause Candidates, RCCs）排序上，并依赖完整的监控指标。然而，在实际的微服务系统中，候选根因的可观测性往往是有限的，在很多情况下，这可能导致不准确的根因分析。

 

为了解决这一问题，论文首次提出将候选根因建模为隐变量，通过相关的监控指标来推断候选根因的状态，而不是直接根据某个可观测指标判断候选根因的状态。基于此思想，论文提出了LatentScope，一种在受限可观测性下处理异构候选根因的无监督RCA框架。LatentScope通过双空间图（Dual-Space Graph）模型（包括可观测变量和不可观测变量）来实现快速的隐变量推断和RCA。基于eBay的实际故障数据与Testbed数据的评估结果表明，与基线算法相比，我们模型的根因定位效果取得了显著的提升。

 

 

随着在线应用需求的日益复杂和多样化，微服务架构在在线服务系统中被广泛使用。然而，由于频繁的变化和扩展，系统故障是不可避免的。因此，近年来提出了越来越多的RCA算法来定位故障根因。

 

在应用RCA算法时，一个重要的挑战是微服务系统内部各个候选根因（例如，Pod、Service、Host）的有限可观测性。在微服务系统中，可观测性通常是通过监控指标、日志与调用链等方式实现的。现有RCA算法通常要求具有良好的可观测性，但实际情况中，由于微服务系统的架构通常较为复杂多变，大量候选根因的可观测性是受限的。 

 

 

图1 在微服务系统中，Service 1发生了故障，并且由于故障传播，系统中不同部件的监控指标均出现了异常波动

 

上图展示了一个由Service 1引起的微服务系统故障及其对应的候选根因集RCCs。这些RCCs可以是异构的和多层次的。此外，由于Service 1与Pod 1-1和Pod 1-2均有包含关系，Service 1的故障也造成了对应Pod的异常波动。如果没有指标能够独立反映Service 1的状态情况，那么现有的RCA算法通常难以区分出具体的根因是来自于Pod 1-1、Pod 1-2或Service 1。

 

 

 

图2 LatentScope的整体结构

 

 

图3 双空间图与其符号表示

 

LatentScope的整体结构如图2所示。为了实现对异构候选根因的准确建模，LatentScope建立了一个双空间图模型，分别表示隐空间层（Latent Space）和可观测层（Observable Space）。

 

其中，隐空间层的每一个节点代表一个候选根因，可观测层的每一个节点代表一个指标。隐空间层与可观测层的节点间存在多对多的连接关系，即每一个候选根因可能对应了多个监控指标，而每一个监控指标可能也同时与多个候选根因存在关系。

 

LatentScope的任务是，基于上述的双空间图，根据现有的监控指标，推断出其中隐空间层的根因节点。然而，正如前文所述，监控指标可能同时会受到故障根因与来自其他RCC的故障传播造成的影响而产生波动。因此，我们需要同时考虑这两种导致指标波动的因素，推断故障根因。为此，LatentScope提出了一种可应用于隐空间的因果推断（Latent-Space Intervention Recognition）算法，根据可观测的指标，求解隐空间的根因。

 

 

 

 

表1 基线模型对比表格

 

论文分别基于了来自eBay真实故障案例的数据集（Dataset A）与来自Testbed故障注入的数据集（Dataset B）进行了评估，对比LatentScope与基线模型的根因定位准确率。其实验结果如表1所示。结果表明，LatentScope在所有的评估指标中，均能够超过现有的基线模型。

 

 

图4 基线模型MRR对比结果雷达图

 

此外，文章还分别对不同模型在异质根因上的定位结果进行了对比，其结果如图4所示。可以发现，现有的大多数基线模型往往只能对有限的几类根因中取得不错的定位效果，而文章提出的LatentScope算法对于不同类别的根因均取得较好的定位效果。这验证了LatentScope算法在应对异质RCC与有限观测性下良好的根因定位能力。

 

 

微服务系统的根因分析（RCA）对于确保系统的稳定性和可靠性至关重要，论文提出了一种新的无监督RCA框架LatentScope，能够在受限的可观测性条件下推断异构的候选根因。LatentScope通过构建双空间图模型，将可观测变量和隐空间变量分离开来，从而缓解了候选根因的异构性与受限可观测性带来的根因定位不准确的问题。创新地提出了隐空间下的因果推断技术，实现了对于候选根因隐变量的精确推断。通过真实故障案例的实验，验证了LatentScope在应对异质候选根因与有限观测性下良好的根因定位能力。