第一章可靠、可扩展性与可维护性的应用系统
第一章 可靠、可扩展性与可维护性的应用系统
数据密集型 系统 - Data - intensive System
系统设计过程中通常会涉及到的模块
- 数据库(SQL NoSQL)
- 高速缓存(Redis)
- 索引
- 流式处理:持续发送消息到另一个进程,处理采用异步的方式
- 批处理:定期处理大量的累积数据。
构建特定应用时,需要弄清楚应该使用哪些组件、哪些模式。
设计数据系统或服务时,要考虑的因素
- 系统内部出现局部失效时,如何确保数据的正确性和完整性?(事务)
- 发生降级时,如何为客户提供一致的良好表现?(降级实践方案)
- 负载增加时,如何扩展?
- 如何设计服务API?(RESTful API)
可靠性
- 系统能够执行用户期望的功能。
- 容错(容错相关的设计模式有哪些?可以参考 这里) - 容忍用户出现错误或不正确的软件使用方法。
- Retry: repeats failed executions. Many faults are transient and may self-correct after a short delay.
- Circuit Breaker: temporary blocks possible failures. When a system is seriously struggling, failing fast is better than making clients wait.
-
Track the number of failures encountered while calling a remote service.
-
Fail (open the circuit) when a pre-defined count or timeout is reached.
-
Wait for a pre-defined time again and retry connecting to the remote service.
-
Upon successful connection, close the circuit (meaning you can re-establish connectivity to the remote service.) If the service keeps failing, however, restart the counter.
-
- Rate Limiter: limits executions/period. Limit the rate of incoming requests.
- Time Limiter: limits duration of execution. Beyond a certain wait interval, a successful result is unlikely.
- Bulkhead. limits concurrent executions. Resources are isolated into pools so that if one fails, the others will continue working.
- Cache. memorizes a successful result. Some proportion of requests may be similar.
- Fallback. provides an alternative result for failures. Things will still fail - plan what you will do when that happens.
- 性能可以应对典型场景、合理的负载压力和数据量。
- 安全,系统可以防止任何未经授权的访问和滥用。(授权+鉴权 + 限流)
利用类似Chaos Monkey系统来持续检验、测试系统的容错机制。
容忍故障,而不是预防故障。
可扩展性[更详细的内容]
用来描述系统负载增加的方法。通常涉及到的问题是“当系统以某种方式增长时,我们应该采取哪些措施”
描述负载
描述负载的参数取决于系统的体系结构,例如:qps,db 读写比例,聊天室同时活跃用户数,缓存命中率等。
如何评估性能
不同的系统关注的指标也不同,比如批处理系统关心的是吞吐量(throughput),而web service 关注的是响应时间(response time)。 出现随机延迟抖动的因素?
- 上下文切换、进程调度、网络数据包丢失和tcp重传、垃圾回收暂停、缺页中断、磁盘IO等。
为什么平均值不是一个好的评估指标?
- 因为平均值没有办法表示有多少用户实际经历的延迟时间。 最好使用百分位数。p50 表示中位数。百分位数通常用于描述、定义服务质量指标(SLO)和服务质量协议(SLA) 如何持续监控中位数?stream 计算
- 时间窗口(精确计算)
- 直方图
应对负载增加的方法
无状态体系结构 - 水平扩展 有状态体系结构 - 垂直扩展,解决状态问题,水平扩展 超大规模系统往往针对特定应用高度定制,很难有通用的架构。 需要考虑:数据的读取量、数据写入量、待存储的数据量、数据的复杂程度、响应时间要求、访问的模式。(针对项目需要了解清楚数据的读写比例、数据表结构是怎么设计的、选择的数据库、数据的规模、QPS、DAU、数据库的配置、Redis的配置、服务的配置、服务的部署过程等))
避免软件问题的常用方法
- 精心设计抽象层、API等
- 分离最容易出错的地方以及容易引发故障的接口
- 认真检查依赖的假设条件和系统之间的交互
- 充分的测试:单元测试、集成测试。自动化测试(设计pipeline 流水线系统,设计压测系统,设计自动化测试系统)
- 进程隔离(进程间通信)
- 允许进程崩溃并重启(supervisord)
- 反复评估
- 监控生产环境。包括性能指标、错误率。(如何设计一个监控系统?你是怎么监控线上系统的?)
- 推行管理流程。(敏捷开发)
从可维护的角度来设计系统,有哪些原则可以遵守?
- 可运维性(方便运维团队来保持系统平稳运行。具体怎么落地?)
- 提供系统运行时的监控指标,方便监控
- 支持自动化,与标准工具集成
- 避免绑定机器
- 提供良好的文档和易于理解的操作模式
- 良好的默认配置
- 行为可预测
- 简单性(简化系统的复杂性,具体怎么落地?抽象 )
- 复杂对应的是:状态空间膨胀、模块紧耦合、令人纠结的相互依赖关系、不一致的命名和术语,基于性能的特殊处理、基于特定问题的特殊处理等。
- 抽象,抽象隐藏细节。
- 可演化性(方便维护人员能够轻松对系统进行改进)