云原生容器高可用运维能力应用

摘要：华为云容器SRE在海量集群和容器运维实践中，从智能运维能力、确定性场景恢复等多方面总结出一套确定性运维实践，以应对云原生业务快速增长。

本文分享自华为云社区《云原生容器高可用运维能力应用》，作者：陈勇/刘志超/袁文峰。

云原生场景下，对架构高可用、应用高可用、基础云平台高可用提出了更高的要求，企业以及云平台都在不断致力于稳定性建设。但面对海量复杂的客户业务场景，业务会不可避免的遇到非预期的故障，比如配置异常、应用过载、底层网络异常、硬件故障等，当这些确定性故障场景出现时，如何做到快速诊断和快速恢复，如何在故障发生前提前识别风险、消除隐患，如何在故障发生时监控准确发现定界，一直是云计算厂商面临的困难问题之一。

云原生容器面对的挑战与解决方案

1、华为云云原生容器年复合增长快，需要维护的站点和k8s集群多，复杂的海量客户应用场景给运维工作带来巨大挑战。
2、云原生便捷的快速部署能力、可伸缩性使得用户业务容器、集群结构等无时无刻不在变化之中，单局点节点变化非常快。
3、云原生社区丰富的应用实践以及容器开放的部署方式，用户易出现配置类错误，导致故障发生。
4、面对客户不同的业务场景、集群类型，当前社区在监控准确率、故障快速定位恢复等通用运维能力尚无有效的解决方案。

解决思路：

1、现网客户请求事件同比增长，单纯依赖人力的运维已无法支撑业务的快速增长，以软件工程的手段解决现网运维中的实际困难，构建贴合业务特征的自动化运维平台。
2、将业务形态与业界开源方案相结合，构建可靠、可信的租户监控能力
3、打通运维能力产品化落地路径，将实践可靠的运维能力固化到产品中，提升产品易用性以及客户自运维能力。

智能运维能力

>> 故障预防

“故障预防"在确定性运维中是很重要的一环，可以有效避免客户业务发生故障。风险识别在故障预防中极为有效的一种手段，客户业务的高可用部署、容器的资源配置合理性、依赖各服务的使用配额、集群和节点分配和使用率等，均会导致业务存在潜在风险，完备、及时的有效风险识别可消除客户业务隐患，防止应用故障。

解决思路和措施：

a. 结合历史现网故障以及容器业务架构，梳理关键风险场景和有效监控指标。
b. 基于专家经验、历史故障场景、结合租户历史行为，构建风险指标判断识别系统，自动检测租户容器场景集群风险项，为集群构建集群画像，识别集群风险。
c. 风险识别能力实现原子化对接TSC平台，赋能客户经理。
d. 风险识别联动周边，推动产品设计改进、引导租户提前消除、支撑SRE风险收编以及故障快速恢复。