categories: BaseException, Python, Exception

categories: MQ

🔱相关概念 消费者组:使用消费者时需要指定一个组名,一个消费者组可以订阅多个Topic。 消费者实例:进程。 订阅关系:消费者组-订阅的topic-tag。组内的所有的消费者实例订阅的Topic 和 Tag 必须一致。 〽️消费模式

  • 集群消费模式: 负载均衡的消费Topic中的消息。
  • 广播消费模式:消费者组中的全部消费者实例都将消费整个Topic 的全部消息。适合 通知类场景。
    • 需要注意的事项:消费进度存储在客户端,如果客户机宕机,可能会导致部分消息没有消费(宕机到拉起的过程中,broker中存储的消费进度 > client 端原来的消费进度)

🔰保证可靠消费 消费者通过 重试-死信队列、Rebalance 等多种机制保证消费的可靠性。

  • step1: 正常消费。
  • step2: 由于各种意外导致消息消费失败,消息会自动保存到重试Topic中,格式 %RETRY%消费者组,在订阅的时候会自动订阅这个重试Topic。 重试的次数:16次,重试次数越多,时间间隔越大。
  • 死信Topic: %DLQ 消费者组名%,如果正常消费1次失败,重试16次也失败,消息被保存到死信队列中。然后,就需要人工介入

♻️重平衡机制(Rebalance) Broker 掉线、Topic扩容和缩容、消费者扩容和缩容,自动感知,尽量减少甚至避免消息没有被消费。

♻️消费者的Rebalance机制 Broker 掉线、Topic扩容和缩容、消费者扩容和缩容,自动感知,尽量减少甚至避免消息没有被消费。

消费的方式分为Pull 和 Push两种方式,Rebalance的方式也要针对这两种方式进行处理。 核心属性:

  • topic - 多个Message Queue
  • 消费者组- topic - tags
  • Message Queue - Process Queue

其实就是调整 消费者从哪些queue上pull(push消息<本质还是pull>)拉取消息。

分配的策略有:

  • 平均分配
  • 环形分配策略
  • 手动配置
  • 一致性Hash 分配
  • 机房分配策略

⚓️消费进度保存机制 消费的方式分为集群消费和广播消费两种 集群消费模式下,位点由 client 提交给Broker 保存 广播消费模式下,位点保存在client 端,通过定时提交和不定时提交完成。

  • 定时持久化 通过定时任务实现,启动程序10s后,会定时调用持久化方法,持久化每一个消费者消费的每一个Message Queue的消费进度。
  • 不定时持久化 Pull and Commit pull 的同时,把队列最新的消费位点信息发送给Broker。

🪐消费方式

  • pull 方式
    • client 主动pull 消息
    • 用户自行管理或主动提交给Broker
    • 可以灵活的掌控消费进度和消费速度 🉑️适用场景:
    • 流计算、消费耗时
    • 缺点:需要从代码层面控制消费,容易造成空轮寻,资源浪费
  • push方式
    • 代码接入非常简单
    • 适合大部分业务场景
    • 缺点:灵活度差

❓消费端如何做限流的?

  • 如果本地缓存的消息数量大于配置的最大拉取条数(默认1000),延迟一段时间再拉取。
  • 如果本地缓存的消息字节数大于配置的最大缓存字节数,延迟一段时间再拉取。 消息过滤 原因:减少流量的消耗。 步骤:
  • 用户发送一个带tag的消息。
    • 用户订阅一个Topic的tag,RocketMQ Broker 会保存订阅关系。
    • 在Broker端做tag的过滤。消费者在Pull消息时,Broker会根据Tag 的Hashcode 进行对比。 🐌为什么要用hashcode 过滤?怎么解决hashcode的碰撞问题? 字符串比较速度较慢,hashcode是数字比较。 碰撞问题可以通过客户端二次过滤的方式完成(因为碰撞率极低)。 消费者不消费消息的问题的排查思路 明确哪个消息没有被消费,收集消息id、消息key、消息发送时间段三者之一。 确认消息是否发送成功,可以通过控制台或者日志中查找。 如果发送成功,检查以下:
  • 订阅Topic 和 发送消息的Topic 是否一致,包含大小写一致。
  • 消费代码是否抛出异常,导致日志没有记录。
  • 订阅关系是否一致。
  • 消费者服务器和Namesrv 或者 Broker 是否网络畅通。 如果没有发送成功:
  • 确认生产者服务器和Namesrv 或 Broker 网络是否畅通。
  • 检查生产者发送日志,确认生产者是否被流控。
  • 检查Broker日志,确认Broker是否繁忙。
  • 检查Broker日志,确认磁盘是否已经满。