（一）RocketMq与Spring的集成开发原理之RocketMq简介

（一）RocketMq与Spring的集成开发原理之RocketMq简介

文章目录

• 1.前话
• 2.基本概念
• 3.RocketMq架构
• • 3.1 基本架构
  • 3.2 部署架构

1.前话

  这个系列打算深入研究的是RocketMq和Spring集成开发时的一些原理，目的是为了后续在Spring框架内如何更合理方便的使用RocketMq，以达到后续可以为Spring程序定制RocketMq使用方法。
  本系列只站在Producer和Consumer的角度来分析（可以简单理解成客户端交互）其与Spring的开发原理和更合理的搭配Spring使用，关于Broker和NameServer那些便不做过多的分析。

  本文章主要介绍的是RocketMq的一些基本概念，如消费者生产者和Broker这些的含义，并且会介绍部署时每个角色的启动交互逻辑，看完这篇文章将会对NameServer、BrokerServer、Producer和Consumer这四个主要角色之间的通信数据交互关系有个大概的了解。

2.基本概念

1. 消息生产者Producer：负责生产消息，一个消息生产者会把应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息，单向发送不需要；
2. 消息消费者Consumer：负责消费消息，一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。RocketMq提供了两种消费形式：拉取式消费、推动式消费；
3. 主题Topic：表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位；
4. 标签Tag：为消息设置的标志，用于同一Topic主题下区分不同类型的消息。 来自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。 标签能够有效地优化RocketMQ提供的查询系统；
5. 代理服务器BrokerServer：消息中转角色，负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等；
6. 名字服务NameServer：名称服务充当路由消息的提供者。生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。多个NameServer实例组成集群，集群间相互独立，没有信息交换。

3.RocketMq架构 3.1 基本架构

  既然要了解客户端如何使用，那么了解RocketMq的的整体架构是必不可少的。技术架构图如下：

  RocketMq的架构角色分为四个部分：

1. Producer：消息发布角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟；
2. Consumer：消息消费角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求；
3. NameServer：一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。主要包括两个功能：
   1. Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；
   2. 路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。
4. BrokerServer：Broker主要负责消息的存储、投递和查询以及服务高可用保证，为了实现这些功能，Broker包含了以下几个重要子模块
   1. Remoting Module：整个Broker的实体，负责处理来自clients端的请求；
   2. Client Manager：负责管理客户端(Producer/Consumer)和维护Consumer的Topic订阅信息；
   3. Store Service：提供方便简单的API接口处理消息存储到物理硬盘和查询功能；
   4. HA Service：高可用服务，提供Master Broker和Slave Broker之间的数据同步功能；
   5. Index Service：根据特定的Message key对投递到Broker的消息进行索引服务，以提供消息的快速查询。

  具体Broker模块图如下：

  需要注意的是NameServer通常也是集群的方式部署，各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer,Consumer仍然可以动态感知Broker的路由的信息。

3.2 部署架构

  部署架构图如下：

  结合部署架构图，描述集群工作流程：

• 启动NameServer，NameServer启动后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心；
• Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系；
• 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic；
• Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息；
• Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

  RocketMq网络部署特点：

• NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步；
• Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。 注：只有BrokerId=1的从服务器才会参与消息的读负载；
• Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署；
• Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，消费者在向Master拉取消息时，Master服务器会根据拉取偏移量与最大偏移量的距离（判断是否读老消息，产生读I/O），以及从服务器是否可读等因素建议下一次是从Master还是Slave拉取。

  本文章取自RocketMq官方github中文文档Apache RocketMq中文文档。