软件系统如何避免并发用户数超最佳线程数导致的系统性灾难
wujiai
|作者 | 谈编程
本文经漫画编程授权转载（ID：
最近比较忙，白天�**啵砩厦媸裕皇奔涔刈⑿挛拧Ｒ惶焱砩希腋战崾缁懊媸裕急感疵媸云兰郏笥涯米攀只矗涣骋苫蟮匚饰遥�
在《如何向女朋友解释为什么双十一不能改外卖地址》中我们介绍了QPS、RT、并发数、最大线程数等知识。我们知道，如果一个软件系统的并发请求数超过了系统最优线程数，就会导致激烈的资源竞争，资源稀缺甚至枯竭，整个系统就会面临灾难。
因此很多软件系统为了保证在并发量大于最优线程数的情况下，整个网站也不会崩溃，会采用一些技术手段来避免系统性灾难，典型的有限流、降级、熔断等技术。
这次我们来聊聊什么是服务断路，以及如何在微服务架构下做服务断路。
为什么需要保险丝？
如今很多网站背后都背靠着一个庞大的“分布式”系统，多个系统之间的交互大部分都是采用“RPC”的方式，但是因为是远程调用，所以被调用服务的可用性其实是不可控的。
系统越大，上下游的调用链就越长，如果长调用链中某个服务因为某种原因需要很长时间才能响应或者完全无响应，那么整个分布式系统都可能被拖垮。
在上面的调用链中，如果其中一个服务因为自身原因，响应很慢，上游的服务可能也会受到很慢的影响，如此循环下去，就会导致整个系统崩溃股票什么是熔断，这就叫服务雪崩。
其实在分布式系统中，为了保证整体的服务可用性和一致性，很多系统都会引入重试的机制，有些时候重试其实是可以解决问题的，比如网络问题，就可以通过重试来解决。
但有些情况下重试并不能解决问题，反而会加剧问题的严重性。比如下游系统因为请求太多导致 CPU 已经用满，数据库连接池也满了，此时上游系统无法调整，会不断重试。这种重试请求无疑会让下游系统雪上加霜，对下游系统造成二次伤害。
在分布式系统中，大部分服务雪崩都是由持续重试导致的，可能是框架层面的自动重试，也可能是代码层面的重试逻辑，也可能是用户主动重试。
有些重试是不可避免的，而仅仅为了防止雪崩而不设计重试机制就无异于因噎废食。
断路器模式
保险丝模式（ ）是现代软件开发的一种设计模式。它用于检测错误并避免重复触发相同的错误（例如维护期间服务不可用、临时系统问题或未知系统错误）。
假设一个应用程序每秒与数据库通信数百次。如果数据库突然出现错误，程序员不想在错误发生期间继续访问数据库。因此，程序员将尝试直接处理错误并正常结束程序。简单来说，
断路器检测错误并“阻止”应用程序不断重试对几乎无响应的服务的调用（除非该服务足够安全以重试连接）。
断路器模式是方知微服务体系防止雪崩的重要手段。
一个比较完整的保险丝一般包括三种状态：
半开
上图显示了保险丝三种状态之间的转换。
如果在微服务系统的调用过程中引入熔断器，整个系统就会天然地具备以下能力：
保险丝工具
为了实现快速故障和无缝恢复，熔断器需要进行统计服务调用次数、切断服务调用等操作。如果想自己实现一个熔断器，其实也是可以的。
不过，市场上有一些框架已经为我们完成了这些事情，比如和。
( ) 是一个开源的容错系统，可以帮助用户编写具有强大容错和健壮能力的程序。它提供了降级和熔断等功能。
然而，2018年底，其主页上宣布不会发布任何新功能，并建议开发人员使用其他仍活跃的开源项目。
虽然没有开发任何新功能，但对用户的影响应该不会太大，首先因为开发人员可以继续使用最新版本 1.5.18
暂停之后官方推荐使用()，它是一个轻量级、易用、可组装的高可用框架，支持熔断、高频控制、隔离、限流、限时、重试等多种高可用机制。
与相比，主要有以下区别：
( ) 是阿里巴巴中间件团队针对分布式服务架构开源的轻量级高可用流控组件，主要以流量为切入点，帮助用户从流量控、熔断降级、系统负载保护等多个维度保障服务的稳定性。
重点是基于隔离和断路的容错机制。超时或断路的调用将快速失败，并可提供机制。
重点是：
下图是 首页 和 的对比：
扩展你的知识
断路器机制：
是指股票市场交易时间内，当价格波动达到一定目标（熔断点）时，暂停交易一段时间的机制，这种机制类似于电流过大时保险丝会熔断，因此得名。
熔断机制的目的是为了防范系统性风险，给市场更多的冷静时间，避免恐慌情绪蔓延和市场波动，从而防止股价出现大规模下跌。但熔断机制也切断了资金的流动性，也会加剧市场情绪，导致熔断期结束后市场风险继续扩大。
美国熔断机制：
美国指数熔断机制的基准指数为标普500，单次跌幅门槛分别为7%、13%、20%。当指数较前一日收盘点位下跌7%或13%时，美国证券市场将暂停交易15分钟。当指数较前一日收盘点位下跌20%时，当日将停止交易。2010年，美国股市开始实施个股熔断机制。
熔断机制最早由纽约证券交易所于1987年提出，旨在避免类似“黑色星期一”的股市崩盘。当时，熔断机制仅针对市场指数。1997年10月27日，道琼斯工业平均指数暴跌7.18%，收于7161.15点。这是熔断机制自1988年推出以来首次被触发。
美国股市第二次触发熔断机制是在美东时间2020年3月9日。受新冠疫情和油价暴跌影响，3月9日上午9点34分，标普500指数开盘后跌幅达7%，触发一级熔断机制，暂停交易15分钟。三天后的3月12日，标普500指数开盘后短时间内跌幅逾7%，再次触发一级熔断机制。
中国大陆的熔断机制：
中华人民共和国自2016年起在上海证券交易所、深圳证券交易所和中国金融期货交易所试点熔断机制。熔断的基准指数是沪深300指数，两个指数熔断门槛分别为5%和7%，上涨和下跌价格均可触发。
作者简介：漫画编程是一个以漫画+音频的形式讲解枯燥编程知识的公众号，致力于让编程变得更有趣。