售前电话
135-3656-7657
售前电话 : 135-3656-7657
1. 大数据的概念
大数据(big data/mega data)是指超大的,几乎不能用现有的数据库管理技术和工具处 理的数据集。国际数据公司(International Data Corporation, IDC)在2012年Intel大数据
论坛提出了大数据定义。大数据有如下特征。
(1) Volume:数据量巨大。从TB级别跃升到PB级别。(1PB=1O24TB)
(2) Variety:数据种类繁多,来源广泛且格式日渐丰富,涵盖了结构化、半结构化和非 结构化数据。
(3) Value:数据价值密度低。举个例子来说,在视频监控中,此过程连续不间断,但是 有用的数据可能仅仅只有一两秒。
(4) Velocity:处理速度快。不论数据量有多大,都能做到数据的实时处理。与传统的 数据挖掘技术相比,在这一点有着本质的不同。
2. 物联网中的大数据特点
与互联网不同,物联网是在互联网的基础上而发展形成的新兴技术,因此对大数据技术 也有更高的要求,主要体现在以下几方面。
1) 数据量更加丰富
在物联网这个大的背景下,大数据技术应当不断扩大并丰富它的数据类型和数据量。 数据海量性是物联网最主要的特点,基于互联网的数据技术所能达到的水平已经远远不能 承载物联网带来的大规模增长的数量。为了从根本上满足物联网的基本需求,就必须提升 大数据相关技术。
2) 数据传输速度更快
一方面,物联网的海量数据要求骨干网传输带宽更大;另一方面,由于物联网与真实物 理世界直接关联,很多情况下需要实时访问、控制设备、高数据传输速率才能有效地支持相 应的实时性。
3) 数据更加多元化
物联网中的数据更加多元化:物联网涉及的应用范围广泛,涉及生活中的方方面面,从 智慧物流、智慧城市、智慧交通、商品溯源,到智慧医疗、智能家居、安防监控等都是物联网应 用领域;不同领域、不同行业有不同格式的数据。
4) 数据更加真实
物联网是真实物理世界与虚拟信息世界的结合,物联网对数据的处理以及基于此进行 的决策将直接影响到物理世界,物联网中数据的真实性显得尤为重要。
3. 大数据与物联网
1)从物联网看大数据
物联网由感知层、网络层和应用层这三层构成。感知层包括RFID等无线通信技术、各 类传感器、GPS、智能终端、传感网络等,用于识别物体和采集信息。网络层包括各种通信网 络(互联网、电信网等)、信息及处理中心等,网络层主要负责对感知层获取的信息进行传递 和处理。应用层主要是基于物联网提供的信息为用户提供相关的应用数据、解决方案。从 物联网来看大数据:
(1) 联网的实物大为扩展。由于联网的实物比互联网大为增加,各种实物需要各种各 样的传感器,同时这些传感器不停地感知周围的环境数据,使得数据量大大增加。而这些海 量数据需要存储、大数据分析以提取重要的信息。
(2) 网络层。物联网传输网络通过有线、无线通信链路,将传感器终端检测到的数据上 传至管理平台,并接收管理平台的数据到各节点。由于数据规模量大、种类多,实时性要求 不同,就需要有相应的大数据传输技术为应用层提供足够高的可靠承载能力。
2)物联网中的大数据处理技术
通过数据可视化、数据挖掘、数据分析以及数据管理等手段来推动物联网产业在数据智 能处理及信息决策上的商业应用,利用大数据分析可以有效增加公司管理、运营效益。大数 据处理技术在物联网中的的应用有:
(1) 海量数据存储。对物联网产生的大数据进行存储,通常采用分布式集群来实现。 传统的数据存储关系数据库就可以满足应用需求,但对物联网产生的海量异构数据,关系数 据库则很难做到高效的处理。Google等提出利用廉价服务群实现并行处理的非关系分布 式存储数据库解决方案。
(2) 数据分析。数据分析就是用适当的统计分析方法对收集来的海量数据进行分析, 提取有用的信息并且形成结论。数据分析可帮助人们做出判断从而使人们采取适当的 行动。