生产者原理
生产者原理
消息结构关键字段
Topic - 主题名称,可以通过RocketMQ Console 创建 Properties - 消息的扩展信息,Tag、keys、延迟消息都保存在这里 Body - 消息内容,字节数组,生产者和消费约定编码方式
支持的消息类型
- 普通消息:生产和消费都可以并行进行,单机10万QPS
- 分区有序消息:Topic 分区存储,每个分区类似传统的FIFO队列。
- 全局有序消息:分区数设置为1,变成了单分区。
- 延迟消息:支持延迟多长时间才能被消费。
- 事务消息:分布式事务,保证在多个操作同时成功或者同时失败时,消费者才能消费消息。通过发送Half消息、处理本地事务、提交消息或者回滚消息优雅的实现分布式事务(本质上是二阶段提交)。
如何保证生产者高可用?
生产消息支持同步发送和 异步发送,两种方式都支持重试机制,如果broke故障,重试机制会选择其它broke继续投递。重试次数默认为2次,加上正常发送的1次,总共有3次发送机会。
- 客户端保证 - 「同步重试」
- 客户端保证 -「异步重试」
- exception中重复调用重试的接口
- 客户端容错:记录下
Broker - 发送延迟的关系。- step1: 子增ID
index,对queue size 取模获取对应的queue,根据queue获取对应的broker,如果满足以下两个条件,就返回queuebroker的延迟可以接受- 第一次发送 或者 和上一次发送的
broker一致
- step2:
- 如果第一步没有选出
broker,选择延迟较低的broker
- 如果第一步没有选出
- step3: 如果step1 和 step2 都失败了,执行这一步,随机选择一个broker。
- step1: 子增ID
if last_broker_name is None:
return selectOneMsgQueue() # 随机选择一个
else:
index = getNextID() # 子增ID
for i in range(0, len(msgQueueList)):
pos = abs(index) % len(msgQueueList)
if pos < 0: pos = 0
mq = msgQueueList[pos]
if mq.name != last_broker_name:
return mq
** 都失败了,到这里**
return selectOneMsgQueue()
- Broker端保证
Broker端会配置一主多从,主从复制的方式有两种:同步复制和异步复制。
- 同步复制:消息发送到master && 消息发送到slave —> 消息发送成功。
- 异步复制:消息发送到maste —> 消息发送成功。
发送事务消息
step1: 用户发送一个Half消息(queueOffset为0)到Broker step2:
- 本地事务处理成功,发送
Commit到Broker,Broker修改queueOffset为正常的值,此时消费者可以正常消费; - 本地事务处理失败,发送一个
Rollback消息给Broker,Broker删除Half消息。