物联网及其四层模型

一、物联网概念 

随着互联网技术、传感器技术和人工智能技术的快速发展，物联网技术也应运而生，物联网技术在各类领域能发挥重要性变革，对解放生产力、提高工作效率和推动规模化生产等方面贡献颇大，特别是在农业领域大有可为。实现智慧农业，必须依靠物联网技术为依托，以智慧平台为核心，立足市场需求，构建生产组织智能化、产品质量溯源化、市场经营网络化为一体的产业体系。

物联网是通过智能传感器、射频识别、激光扫描仪、全球定位系统、遥感等信息传感器设备及系统和其他基于物－物通信模式的短距离自组织网络，按照约定的协议，在物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种巨大智能网络。它是通信网和互联网的扩展应用和网络延伸，主要是实现人与物、物与物的信息交互。
二、物联网四层模型

在信息层面，数据信息经历生成、传输、处理和应用四个阶段，分别对应着物联网的感知识别层、网络构建层、数据处理层和综合应用层。感知识别层是利用感知技术和智能装备对物理世界进行感知识别。网络构建层是按照特定的通信协议搭建各类网络对信息进行传输，以实现物－网互联。数据处理层通过大数据和人工智能技术对网络层采样的数据进行预处理、计算存储和数据挖掘等一系列 *** 作，最大地发挥出信息的生产效能。综合应用层是集成各类技术以实现实时控制、精准管理和科学决策等功能的应用系统，从而改进人的生产方式。各类技术应对不同环境、不同需求独立展开工作，各层面间又是联系紧密，如同链条式协同配合。
感知层作为物联网的“神经末梢”，主要是通过信息感知技术将生活生产各方面映射成数据信息，并能可靠传送到网络层，实现物理世界和信息世界连接起来。信息感知技术是指利用传感器、RFID、GPS和RS等实时实地对农业领域物体进行信息采集和获取。在农业生产现场可以利用无线传感器采集温湿度、光照、溶解氧浓度和农作物长势等参数，利用视频监控设备获取农作物成长现状，利用遥感技术大规模感知农作物表面和环境因素。信息感知层作为物联网的基础，获取大量的数据信息，为信息进一步加工、处理、分析而科学决策和指导生产经营打通“二元”壁垒。

网络层要在感知层和处理层发挥承上启下作用，是以现场总线技术、无线传感器网络技术（WSN）和移动通信技术互为补充的通信网络将传感设备连接“上网”。信息传输技术可分为有线和无线、短距离和长距离，它们有各自特点、应对不同环境、利用不同信道共同组建集成网络体系，以实现高度可靠的信息交流和共享。无线传感器网络成为农业信息传输的“主力军”，通过包括传感器节点、汇聚节点、任务管理节点。大量具有独立处理能力的微型传感器节点布置在监测区域逐跳传输，并路由到汇聚节点，然后通过互联网或卫星抵达任务管理节点，最后用户通过任务管理节点配置和管理传感器网络以实现监测任务发布和数据收集。常见的无线局域网技术有蓝牙、WIFI、ZigBee，无线广域网技术有LPWAN、NB-IOT、4G和5G。特别是以“万物互联”为目标的5G将农业物联网数据传输效率带来“质的跃升”。

处理层是农业物联网的“灵魂”，通过信息处理技术对感知层采集的信息存储和挖掘分析形成预测预警、智能决策、优化控制和疾病诊断等智能模型，从而对农业生产和经营给出科学的指导。农业生产和经营过程中，数据信息是呈指数型爆炸产生，不仅是体量大，而且结构复杂、实时性强、关联度高，必须通过大数据技术处理、存储和管理，才能从海量数据中获取更多的价值。农业大数据技术平台是以Hadoop架构、MapReduce软件模型、其他组件补充的生态软件体系形成的分布式海量数据存储管理、运算处理和分析平台。数据挖掘是指从海量数据中通过算法搜索隐藏的信息关系，主要手段是机器学习、深度学习、计算机视觉等人工智能技术。只要获取隐藏知识，才能帮助决策者做出合理、正确的决定和决策。

应用层是农业物联网的“指挥室”。主要通过感知技术、传输技术、处理技术和设备进行软硬件综合集成，形成智能控制、监控决策、专家系统、物流溯源等等应用。根据生产、经营的和管理不同需求，开发出特定功能的应用，用户通过web端或移动客户端应用实时掌握信息、发出精准控制指令。可以说，先进技术发挥设备的最大生产力，综合应用改变人的工作方式，有利于做出更科学合理决策。

物联网、大数据及人工智能都是近年来互联网行业比较火热的话题，三者之间具有非常紧密的联系。想探讨物联网、大数据及人工智能之间如何融合，首先需要了解其基本概念。

概念

1、物联网

根据百度百科的解释，物联网（InternetofThings，IoT）是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络（万物互联）。物联网网络架构设计由感知层、网络层及应用层组成，分别实现数据采集、数据传输及数据应用的功能。目前，物联网已经广泛应用于智慧医疗、智慧环保、智慧城市、智能家居及物流等领域。

2、大数据

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有体量大（Volume）、及时性（Velocity）、多样性（Variety）、低价值密度（Value）及真实性（Veracity）的“5V”特性。

3、人工智能

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前，人工智能正在改变各行各业的传统模式，作为人工智能分支的机器学习/深度学习已经广泛用于自然语言处理（NLP）、计算机视觉（CV）、机器翻译及推荐系统等领域。

深度融合

物联网、大数据、人工智能三者之间相辅相成，可以形成一个闭环通路。物联网作为智能感知层，主要负责采集现场的数据并将数据上传至分布式数据库中；大数据作为数据存储层，将经过ETL处理后的数据保存到分布式文件系统（HDFS）或数据仓库（HIVE）中；人工智能作为应用层，可利用sparkml或tensorflow实现相关的机器学习或深度学习算法，对存储在HDFS或HIVE中的数据进行数据挖掘。

应用案例

目前，物联网、大数据、人工智能已经广泛用于智慧城市、智慧环保、智慧交通等领域。以智慧环保中的空气预警为例，首先，物联网可以作为智慧感知层，安装在客户现场的空气监测设备采集的空气质量信息通过网络传输数据中心；而后，利用大数据ETL工具（spark、hive）进行数据清洗并存储至分布式数据库/文件系统/数据仓库中；最后，利用人工智能相关技术进行大数据分析（sparkml、tensorflow），预测未来若干天的空气质量，并以此辅助进行科学决策及改善环境。

随着互联网的蓬勃兴起，物联网，云计算，大数据，人工智能在大众视野出现的越来越频繁了。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。
人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。
而物联网是互联网的应用拓展，类似以前的“互联网+”，也就是结合互联网的业务和应用，核心是以用户体验为核心的应用创新。
我们主要讲一下其中的“大数据”。
大数据的定义
在 2001 年左右，Gartner 就大数据提出了如下定义（目前仍是关于大数据的权威解释）：大数据指高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义表明大数据具有 3V 特性。
简而言之，大数据指越来越庞大、越来越复杂的数据集，特别是来自全新数据源的数据集，其规模之大令传统数据处理软件束手无策，却能帮助我们解决以往非常棘手的业务难题。

大数据的价值和真实性
在过去几年里，大数据的定义又新增加了两个 "V"：价值 (Value) 和 真实性 (Veracity)。
首先，数据固然蕴含着价值，但是如果不通过适当方法将其价值挖掘出来，数据就毫无用处。其次，只有真实、可靠的数据才有意义。
如今，大数据已成为一种资本，全球各个大型技术公司无不基于大数据工作原理，在各种大数据用例中通过持续分析数据提高运营效率，促进新产品研发，他们所创造的大部分价值无不来自于他们掌握的数据。
目前，众多前沿技术突破令数据存储和计算成本呈指数级下降。相比过去，企业能够以更低的经济投入更轻松地存储更多数据，而凭借经济、易于访问的海量大数据，您可以轻松做出更准确、更精准的业务决策。
然而，从大数据工作原理角度来讲，大数据价值挖掘是一个完整的探索过程而不仅仅是数据分析，它需要富有洞察力的分析师、业务用户和管理人员在大数据用例中有针对性地提出有效问题、识别数据模式、提出合理假设并准确开展行为预测。
大数据的历史
虽然大数据这个概念是最近才提出的，但大型数据集的起源却可追溯至 1960 - 70 年代。当时数据世界正处于萌芽阶段，全球第一批数据中心和首个关系数据库便是在那个时代出现的。
2005 年左右，人们开始意识到用户在使用 Facebook、YouTube 以及其他在线服务时生成了海量数据。同一年，专为存储和分析大型数据集而开发的开源框架 Hadoop 问世，NoSQL 也在同一时期开始慢慢普及开来。
Hadoop 及后来 Spark 等开源框架的问世对于大数据的发展具有重要意义，正是它们降低了数据存储成本，让大数据更易于使用。在随后几年里，大数据数量进一步呈爆炸式增长。时至今日，全世界的“用户”— 不仅有人，还有机器 — 仍在持续生成海量数据。
随着物联网 (IoT) 的兴起，如今越来越多的设备接入了互联网，它们大量收集客户的使用模式和产品性能数据，而机器学习的出现也进一步加速了数据量的增长。
然而，尽管已经出现了很长一段时间，人们对大数据的利用才刚刚开始。今天，云计算进一步释放了大数据的潜力，通过提供真正的d性 / 可扩展性，它让开发人员能够轻松启动 Ad Hoc 集群来测试数据子集。
大数据和数据分析的优势：
1大数据意味着更多信息，可为您提供更全面的洞察。
2更全面的洞察意味着更高的可靠性，有助于您开发全新解决方案。
其次，大数据还具有大量、高速、多样化、密度低四大特性。
大量性：大数据与传统数据最大的差异在于资料量，资料量远大于传统数据，例如抖音数据流、百度点击流，面对的是海量低密度的数据，大数据的数据量通常高达数十PB。也因为资料量大，无法以传统的方式储存处理，因此衍生出大数据这一新兴科学。
高速性：大数据与传统数据最大的不同点，就是生成速度快。由于网际网路兴起与资讯设备普及，以用户突破20亿人的脸书为例，如果每个用户每天发一条消息，就会有20亿笔资料。每一个人随时随地都可以创造数据，数据生成的速度已非过去可比拟。
多样性：多样化是指可用的数据类型众多，随着大数据的兴起，文本、音频和视频等数据类型不断涌现，它们需要经过额外的预处理 *** 作才能真正提供洞察和支持性元数据。由于形式多元复杂，大数据储存也需要不同于传统数据的储存技术。
密度低：数据价值密度相对较低，随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。
大数据的挑战
1安全挑战
尽管大数据由于应用范围广泛，已成为各领域的发展趋势，但数据的公布有时会伴随使用者隐私的曝光，比如FaceBook资料外泄、Google+个人外泄风波等因数据外泄而引发隐私问题的事件层出不穷。用户的哪些数据是可以获取、哪些是不允许读取，始终存在侵犯用户隐私的法律风险。
2技术创新
大数据需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑，无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，对开源技术和相关生态系统的影响力仍然较弱，总体上难以满足各行各业大数据应用需求。
3成本过高
运营商需要处理的数据量巨大，基本都是以PB为单位，处理这些数据需要巨大的投入。
4实时性
具有实时性的数据才有价值，存储的数据数据时间越长，数据的价值就越低。在如今这个快节奏的社会，每一天的市场都瞬息万变，品牌商通过大数据分析用户的需求，如果得到的用户数据太过陈旧，参考这些数据来规划产品的方向，可能会对企业的发展造成毁灭性的打击。
无论哪个行业，想要在当今的形势下取得成功，都必须能够不断地从数据中挖掘业务价值，因此数据的保护离不开存储器，当下市面上用于大数据的存储器主要有固态硬盘，混合硬盘，传统硬盘。
固态硬盘(SSD)，由控制单元和存储单元，组成。固态硬盘的接口规格、定义、功能和用途与普通硬盘相同，形状和尺寸也与普通硬盘相同。广泛应用于军事、车辆、工业控制、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。
优点：读写速度快；震动；低功耗。无噪音；工作温度范围广；缺点：容量小；寿命有限；价格高。
混合硬盘是一种由传统硬盘和闪存模块组成的大容量存储设备。闪存处理存储器中最常写入或恢复的数据。许多公司都在提供不同的技术，他们希望这些技术能在高端系统中流行起来，特别是笔记本电脑和掌上电脑。
与传统硬盘相比，混合硬盘具有许多优势：更快的数据存储和恢复应用程序，如文字处理器；缩短系统启动时间；降低功耗；减少热量产生；延长硬盘寿命；笔记本电脑和笔记本电脑电池寿命；降低噪音水平：
传统硬盘指的是机械硬盘（HDD），电脑最基本的内存，我们常说电脑硬盘C盘，D盘是磁盘分区，属于硬盘。目前普通硬盘的容量有80G、128g、160g、256g、320g、500g、750g、1TB、2TB等，按容量可分为35英寸、25英寸、18英寸、5400rpm/7200rpm/10000rpm等。
通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务，这一切所产生的数据承载者——存储器，在第四次工业革命进化的方向中，存储行业也将是一颗亮眼的星。

需要的技术很多。

现在国内重点支持的关键技术研发项目：
1．超高频和微波RFID芯片设计、产品的技术研发；
2．微型和智能传感器技术研发；
3．无线传感器网络自组网技术研发；
4．低功耗无线传感器节点产品技术研发；
5．物联网数据传输中间件技术研发；
6．面向行业应用海量数据的数据挖掘技术研发；
7．图像视频智能分析和识别技术研发；
8．物联网安全等级保护和安全测评技术研发。

---