物联网网关开发：基于MQTT消息总线的设计过程

物联网网关开发：基于MQTT消息总线的设计过程
MQTT网关的作用
       MQTT物联网这个词语的范畴太广，似乎所有的硬件设备，只要能够接入网络，就可以称之为物联网产品，似乎物联网这个词可以把一切都纳入到其中。
这么空洞的词语不利于6163银河net163am的讲解，因此6163银河net163am就用一个可以感知、想象的场景来代替，那就是智能家居系统，这是物联网时代的典型产品了。
1.指令转发
       在一个智能家居系统中，假设有这么几个设备：红外感应、门磁、插座、排插、声光报警器、灯泡。
       这些设备的通信模块，如果是 WiFi 或者是蓝牙，那么一般都可以直接通过手机来控制(当然，需要厂家提供相应的手机 APP)，手机就相当于一个中心节点，控制着所有的设备。
       目前市面上的一些智能设备单品都是这样的通信方式，例如：空调、吸尘器、空气净化器、冰箱等等。只要在这些设备中加一个无线通信模块即可(例如：ESP8266模块)。
       如果通信模块是其它的通信模块，例如：RF433、ZigBee、ZWave等，由于手机没有这些通信模块，因此就需要一个网关来“转发”指令。

       手机和网关都连接到家中的路由器，处于同一个局域网中，手机把控制指令发送给网关，网关再把指令转发给相应的设备。

2.外网通信
       在上面的通信模型中，手机和网关由于处于同一个局域网中，因此可以直接通信。如果手机不在局域网中呢？那么就要通过云端的服务器来转发了，通信模型如下：
       手机把指令发到服务器；
       服务器把指令转发给网关；
       网关把指令发给指定的设备；
       以上是控制指令的流程，如果是设备发出的报警信息呢，数据的流向就是反向进行的。

       可以看出，网关是所有设备之间通信的中心节点，也是内网与外网之间通信的中转节点，也就是把各种智能设备连接到互联网的中转器。

3.协议转换
       上面已经提到，硬件设备上的通信模块都是确定的(RF，ZigBee，ZWave等等)，一般来说，可以把这些通信模块称呼为无线通信协议。在一套智能家居系统中，所有设备的无线通信协议大部分都是相同的。
       那么，不同类型的无线通信协议设备是否可以共存在同一个系统中呢？
       答案是：可以。只要在网关中，集成了相应的无线通信协议模块就可以达到这个目的！
       从手机APP上看，所有的设备都是相同的，不会关心设备的无线通信协议是什么，因此，发出的控制指令都是协议无关的。
       当网关接收到控制指令时，首先根据指令内容查找出目标设备，然后确定目标设备的无线通信协议，后把指令发送给对应的硬件通信模块，由该通信模块通过无线电信号把控制指令发送到设备。
       从这个指令的传输过程来看，网关就充当着协议转换的角色。
       另外还有一种通信场景：当系统中的一个“输入”设备与一个“输出”设备进行绑定/关联时，例如：
       （1）红外感应器与声光报警器绑定：当红外感应器监测到人体时，发出信号，然后控制声光报警器发出报警；
       （2）门磁与灯绑定：当开门时，门磁发出信号，自动打开灯光；

       如果“输入”设备与“输出”设备是不同类型的无线通信协议，也需要网关来进行协议转换。

4.设备管理
       在一个智能家居系统中，设备可多可少，对这些设备进行管理也是很重要的事情。网关作为系统的中心节点，对设备进行管理的重任理所当然就由网关来承担。
       设备管理功能包括：
       设备的添加和删除；
       设备状态的管理(电量、设备断网、失联等等)；设备树的管理；
       边沿计算(自动化控制)
       在正常的情况下，网关是可以通过路由器，与服务器保持着长连接的。如果服务器的处理能力比较强大，智能家居系统中所有需要处理的事情都可以丢给服务器来计算、处理，服务器在计算之后把处理结果再发送给网关。看起来想法很完美！
       但是，考虑下面这 2 种情况：
       路由器出现问题了，网关无法连接到服务器，因此就无法把本地数据及时上报;
       系统中出现了异常情况，需要紧急处理，如果把信息上报到服务器，由服务器计算之后再回传给网关，耗费的时间可能超过了可容忍时间，该如何处理？(可以用车联网系统来脑补一下这个场景：自动驾驶中的汽车遇到紧急情况，如果把所有信息上传给服务器，然后等待服务器的下一步指令？)
       对于上面的这些场景，把一些计算、处理操作放在网关这一端来处理也许更合适！这也是近几年比较流行的边沿计算。
      （1）边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用能力为一体的开放平台，就近提供近端服务。
      （2）其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
      （3）边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据
       网关内部进程之间的通信
       在设计一个应用程序的架构时，可以通过多线程来实现，也可以通过多进程来实现，每个人的习惯都不一样，各有各的好处。6163银河net163am这里不去讨论孰优孰劣，因为我对多进程这样的设计思想比较偏爱，所以就直接按照多进程的程序架构来讨论。

5.网关中需要哪些进程
       网关中需要执行的所有进程，是根据网关的功能来决定的，假设包括如下的功能：
       （1）连接外网的进程 Proc_Bridge
网关需要连接到云端的服务器，需要一个进程与服务器之间保持长连接，这样就可以及时接收到服务器发来的控制指令，以及把系统内部数据及时上报给服务器。
这个进程需要把从服务器接收到的指令转发到网关系统内部，把从系统内部接收到的信息转发给服务器，类似于桥接的功能，因此命名为 Proc_Bridge。
       （2）设备管理进程 Proc_DevMgr
       这个进程用来执行设备管理功能，设备的添加(入网)、删除(退网)，都由此进程来管理。
       （3）协议转换进程 Proc_Protocol
       下行：把应用层的统一通信协议，转换成不同类型无线通信协议，发送给相应的无线模块。
       上行：把设备上报的、不同类型的无线通信协议，转换成应用层的统一通信协议。
       （4）边沿计算进程(自动化控制) Proc_Auto
       很明显，这需要一个进程来处理各种计算，这个进程就相当于系统的大脑。
       （5）无线通信协议相关的进程 Proc_ZigBee, Proc_RF, Proc_ZWave
       在硬件上，每一种无线通信模块通过串口或其他硬件连接方式与到网关的 CPU 进行通信，因此，每一种无线通信模块都需要一个相应的进程来处理。
       （6）其他“软设备”进程 Proc_Xxx
       在之前的项目中，还遇到一些硬件设备，它们与门磁、插座等设备在逻辑上处于同一个层次，但是与网关之间是通过 TCP 来连接。对于这样的设备，也可以使用一个进程来进行管理。
       MQTT消息总线
       以上这些进程之间需要相互通信，不是简单的点对点通信，而是一个网状的通信模型。比如：
       设备管理进程 Proc_DevMgr：当任何一种设备被添加到系统中时，都需要处进行处理，因此它需要与 Proc_ZigBee, Proc_RF, Proc_ZWave 这些进程进行通信;
       当某个设备上报数据时(例如：Proc_ZigBee)，Proc_Protocol 进程需要把数据进行协议转换，然后 Proc_Bridge 进程把转换后的数据上报给服务器，同时 Proc_Auto 进程需要检查这个设备上报的数据是否触发了其他相关联的设备；
       也就是说，这些进程中间的通信是相互交叉的，如果通过传统的 IPC 方式(共享内存、命名管道、消息队列、Socket)等，处理起来比较复杂。

       引入了 MQTT 消息总线之后，每个进程只需要挂载到总线上。每个进程只需要听自己感兴趣的 topic，就可以接收到相应的数据。

6.网关与云平台之间的通信
       上面讲解的设计过程，是网关内部的各功能模块之间通信方式，这也是6163银河net163am作为嵌入式开发者能充分发挥的部分。
       网关与云平台之间的通信方式一般都是客户指定的，就那么几种(阿里云、华为云、腾讯云、亚马逊AWS平台)。一般都要求网关与云平台之间处于长连接的状态，这样云端的各种指令就可以随时发送到网关。
       当然了，这些云平台都会提供相应的 SDK 开发包，一般使用的 MQTT 协议来连接云平台更多一些。在一些文档中，会把位于云端的 MQTT 服务器称作 Broker，其实就是一个服务器。
       进程 Proc_Bridge 的功能主要有 2 点：
       （1）与云平台的数据传输通道；
       （2）协议转换：把云平台相关的协议转换成网关内部的协议，以及相反的转换。
       也就是说：Proc_Bridge 进程需要同时连接到云平台的 MQTT Broker 和网关内部的 MQTT 消息总线。在下一篇文章中，6163银河net163am来专门讲解这部分的内容，并提供一个实现桥接功能的代码模板。