第一章 可靠、可扩展性与可维护性的应用系统

数据密集型 系统 - Data - intensive System

系统设计过程中通常会涉及到的模块

  • 数据库(SQL NoSQL)
  • 高速缓存(Redis)
  • 索引
  • 流式处理:持续发送消息到另一个进程,处理采用异步的方式
  • 批处理:定期处理大量的累积数据。

构建特定应用时,需要弄清楚应该使用哪些组件、哪些模式。

设计数据系统或服务时,要考虑的因素

  • 系统内部出现局部失效时,如何确保数据的正确性和完整性?(事务)
  • 发生降级时,如何为客户提供一致的良好表现?(降级实践方案)
  • 负载增加时,如何扩展?
  • 如何设计服务API?(RESTful API)

可靠性

  • 系统能够执行用户期望的功能。
  • 容错(容错相关的设计模式有哪些?可以参考 这里) - 容忍用户出现错误或不正确的软件使用方法。
    • Retry: repeats failed executions. Many faults are transient and may self-correct after a short delay.
    • Circuit Breaker: temporary blocks possible failures. When a system is seriously struggling, failing fast is better than making clients wait.
      • Track the number of failures encountered while calling a remote service.

      • Fail (open the circuit) when a pre-defined count or timeout is reached.

      • Wait for a pre-defined time again and retry connecting to the remote service.

      • Upon successful connection, close the circuit (meaning you can re-establish connectivity to the remote service.) If the service keeps failing, however, restart the counter.

    • Rate Limiter: limits executions/period. Limit the rate of incoming requests.
    • Time Limiter: limits duration of execution. Beyond a certain wait interval, a successful result is unlikely.
    • Bulkhead. limits concurrent executions. Resources are isolated into pools so that if one fails, the others will continue working.
    • Cache. memorizes a successful result. Some proportion of requests may be similar.
    • Fallback. provides an alternative result for failures. Things will still fail - plan what you will do when that happens.
  • 性能可以应对典型场景、合理的负载压力和数据量。
  • 安全,系统可以防止任何未经授权的访问和滥用。(授权+鉴权 + 限流) 利用类似Chaos Monkey系统来持续检验、测试系统的容错机制。 容忍故障,而不是预防故障。

    可扩展性[更详细的内容]

    用来描述系统负载增加的方法。通常涉及到的问题是“当系统以某种方式增长时,我们应该采取哪些措施”

    描述负载

    描述负载的参数取决于系统的体系结构,例如:qps,db 读写比例,聊天室同时活跃用户数,缓存命中率等。

    如何评估性能

    不同的系统关注的指标也不同,比如批处理系统关心的是吞吐量(throughput),而web service 关注的是响应时间(response time)。 出现随机延迟抖动的因素?

  • 上下文切换、进程调度、网络数据包丢失和tcp重传、垃圾回收暂停、缺页中断、磁盘IO等。

为什么平均值不是一个好的评估指标?

  • 因为平均值没有办法表示有多少用户实际经历的延迟时间。 最好使用百分位数。p50 表示中位数。百分位数通常用于描述、定义服务质量指标(SLO)和服务质量协议(SLA) 如何持续监控中位数?stream 计算
  • 时间窗口(精确计算)
  • 直方图

应对负载增加的方法

无状态体系结构 - 水平扩展 有状态体系结构 - 垂直扩展,解决状态问题,水平扩展 超大规模系统往往针对特定应用高度定制,很难有通用的架构。 需要考虑:数据的读取量、数据写入量、待存储的数据量、数据的复杂程度、响应时间要求、访问的模式。(针对项目需要了解清楚数据的读写比例、数据表结构是怎么设计的、选择的数据库、数据的规模、QPS、DAU、数据库的配置、Redis的配置、服务的配置、服务的部署过程等))

避免软件问题的常用方法

  • 精心设计抽象层、API等
  • 分离最容易出错的地方以及容易引发故障的接口
  • 认真检查依赖的假设条件和系统之间的交互
  • 充分的测试:单元测试、集成测试。自动化测试(设计pipeline 流水线系统,设计压测系统,设计自动化测试系统)
  • 进程隔离(进程间通信)
  • 允许进程崩溃并重启(supervisord)
  • 反复评估
  • 监控生产环境。包括性能指标、错误率。(如何设计一个监控系统?你是怎么监控线上系统的?)
  • 推行管理流程。(敏捷开发)

从可维护的角度来设计系统,有哪些原则可以遵守?

  • 可运维性(方便运维团队来保持系统平稳运行。具体怎么落地?)
    • 提供系统运行时的监控指标,方便监控
    • 支持自动化,与标准工具集成
    • 避免绑定机器
    • 提供良好的文档和易于理解的操作模式
    • 良好的默认配置
    • 行为可预测
  • 简单性(简化系统的复杂性,具体怎么落地?抽象 )
    • 复杂对应的是:状态空间膨胀、模块紧耦合、令人纠结的相互依赖关系、不一致的命名和术语,基于性能的特殊处理、基于特定问题的特殊处理等。
    • 抽象,抽象隐藏细节。
  • 可演化性(方便维护人员能够轻松对系统进行改进)