生产者原理

消息结构关键字段

Topic - 主题名称,可以通过RocketMQ Console 创建 Properties - 消息的扩展信息,Tag、keys、延迟消息都保存在这里 Body - 消息内容,字节数组,生产者和消费约定编码方式

支持的消息类型

  • 普通消息:生产和消费都可以并行进行,单机10万QPS
  • 分区有序消息:Topic 分区存储,每个分区类似传统的FIFO队列。
  • 全局有序消息:分区数设置为1,变成了单分区。
  • 延迟消息:支持延迟多长时间才能被消费。
  • 事务消息:分布式事务,保证在多个操作同时成功或者同时失败时,消费者才能消费消息。通过发送Half消息、处理本地事务、提交消息或者回滚消息优雅的实现分布式事务(本质上是二阶段提交)。

    如何保证生产者高可用?

    生产消息支持同步发送和 异步发送,两种方式都支持重试机制,如果broke故障,重试机制会选择其它broke继续投递。重试次数默认为2次,加上正常发送的1次,总共有3次发送机会。

  • 客户端保证 - 「同步重试」
  • 客户端保证 -「异步重试」
    • exception中重复调用重试的接口
  • 客户端容错:记录下Broker - 发送延迟的关系。
    • step1: 子增ID index,对queue size 取模获取对应的queue,根据queue获取对应的broker,如果满足以下两个条件,就返回 queue
      • broker 的延迟可以接受
      • 第一次发送 或者 和上一次发送的broker一致
    • step2:
      • 如果第一步没有选出broker,选择延迟较低的broker
    • step3: 如果step1 和 step2 都失败了,执行这一步,随机选择一个broker。
		if last_broker_name is None:
			return selectOneMsgQueue() # 随机选择一个
		else:
				
			index = getNextID() # 子增ID
			for i in range(0, len(msgQueueList)):
				pos = abs(index) % len(msgQueueList)
				if pos < 0: pos = 0
				mq = msgQueueList[pos]
				if mq.name != last_broker_name:
					return mq
 	
    
	**	都失败了,到这里**
		return selectOneMsgQueue()
  • Broker端保证 Broker端会配置一主多从,主从复制的方式有两种:同步复制和异步复制。
    • 同步复制:消息发送到master && 消息发送到slave —> 消息发送成功。
    • 异步复制:消息发送到maste —> 消息发送成功。

      发送事务消息

      step1: 用户发送一个Half消息(queueOffset为0)到Broker step2:

  • 本地事务处理成功,发送Commit 到 Broker ,Broker修改queueOffset 为正常的值,此时消费者可以正常消费;
  • 本地事务处理失败,发送一个 Rollback 消息给Broker,Broker 删除 Half消息。