相关概念
categories: BaseException, Python, Exception
categories: MQ
🔱相关概念 消费者组:使用消费者时需要指定一个组名,一个消费者组可以订阅多个Topic。 消费者实例:进程。 订阅关系:消费者组-订阅的topic-tag。组内的所有的消费者实例订阅的Topic 和 Tag 必须一致。 〽️消费模式
- 集群消费模式: 负载均衡的消费Topic中的消息。
- 广播消费模式:消费者组中的全部消费者实例都将消费整个Topic 的全部消息。适合 通知类场景。
- 需要注意的事项:消费进度存储在客户端,如果客户机宕机,可能会导致部分消息没有消费(宕机到拉起的过程中,broker中存储的消费进度 > client 端原来的消费进度)
🔰保证可靠消费 消费者通过 重试-死信队列、Rebalance 等多种机制保证消费的可靠性。
- step1: 正常消费。
- step2: 由于各种意外导致消息消费失败,消息会自动保存到重试Topic中,格式
%RETRY%消费者组,在订阅的时候会自动订阅这个重试Topic。 重试的次数:16次,重试次数越多,时间间隔越大。 - 死信Topic:
%DLQ 消费者组名%,如果正常消费1次失败,重试16次也失败,消息被保存到死信队列中。然后,就需要人工介入
♻️重平衡机制(Rebalance) Broker 掉线、Topic扩容和缩容、消费者扩容和缩容,自动感知,尽量减少甚至避免消息没有被消费。
♻️消费者的Rebalance机制 Broker 掉线、Topic扩容和缩容、消费者扩容和缩容,自动感知,尽量减少甚至避免消息没有被消费。
消费的方式分为Pull 和 Push两种方式,Rebalance的方式也要针对这两种方式进行处理。 核心属性:
- topic - 多个Message Queue
- 消费者组- topic - tags
- Message Queue - Process Queue
其实就是调整 消费者从哪些queue上pull(push消息<本质还是pull>)拉取消息。
分配的策略有:
- 平均分配
- 环形分配策略
- 手动配置
- 一致性Hash 分配
- 机房分配策略
⚓️消费进度保存机制 消费的方式分为集群消费和广播消费两种 集群消费模式下,位点由 client 提交给Broker 保存 广播消费模式下,位点保存在client 端,通过定时提交和不定时提交完成。
- 定时持久化 通过定时任务实现,启动程序10s后,会定时调用持久化方法,持久化每一个消费者消费的每一个Message Queue的消费进度。
- 不定时持久化 Pull and Commit pull 的同时,把队列最新的消费位点信息发送给Broker。
🪐消费方式
- pull 方式
- client 主动pull 消息
- 用户自行管理或主动提交给Broker
- 可以灵活的掌控消费进度和消费速度 🉑️适用场景:
- 流计算、消费耗时
- 缺点:需要从代码层面控制消费,容易造成空轮寻,资源浪费
- push方式
- 代码接入非常简单
- 适合大部分业务场景
- 缺点:灵活度差
❓消费端如何做限流的?
- 如果本地缓存的消息数量大于配置的最大拉取条数(默认1000),延迟一段时间再拉取。
- 如果本地缓存的消息字节数大于配置的最大缓存字节数,延迟一段时间再拉取。 消息过滤 原因:减少流量的消耗。 步骤:
- 用户发送一个带tag的消息。
- 用户订阅一个Topic的tag,RocketMQ Broker 会保存订阅关系。
- 在Broker端做tag的过滤。消费者在Pull消息时,Broker会根据Tag 的Hashcode 进行对比。 🐌为什么要用hashcode 过滤?怎么解决hashcode的碰撞问题? 字符串比较速度较慢,hashcode是数字比较。 碰撞问题可以通过客户端二次过滤的方式完成(因为碰撞率极低)。 消费者不消费消息的问题的排查思路 明确哪个消息没有被消费,收集消息id、消息key、消息发送时间段三者之一。 确认消息是否发送成功,可以通过控制台或者日志中查找。 如果发送成功,检查以下:
- 订阅Topic 和 发送消息的Topic 是否一致,包含大小写一致。
- 消费代码是否抛出异常,导致日志没有记录。
- 订阅关系是否一致。
- 消费者服务器和Namesrv 或者 Broker 是否网络畅通。 如果没有发送成功:
- 确认生产者服务器和Namesrv 或 Broker 网络是否畅通。
- 检查生产者发送日志,确认生产者是否被流控。
- 检查Broker日志,确认Broker是否繁忙。
- 检查Broker日志,确认磁盘是否已经满。