云计算与大数据技术应用 第二章

云计算与大数据技术应用 第二章

大数据的定义：
在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合。
经典案例：1.啤酒和尿布
                  2.谷歌和流感
大数据的范围：采集、储存、搜索、共享、传输、分析和可视化
内存：运行速度
储存：储存容量
海量数据产生：（1）来自大人群互联网
                         （2）来自大量传感器机械
                         （3）科学研究及行业多结构专业数据
1887年—1890年：电功器
19444年：预见大数据
1997年：用大数据描述超级计算机产生的大量信息
2003—2006年：谷歌提出大数据可重用方案
2008年：提出大数据概念
2009年：大数据逐渐走进互联网
2012年：大数据成为一种新的资产类别
2013年大数据元年

1zb=10亿TB
各数据量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
单位以PB衡量的数据可成为大数据
1位（二进制0或1）
1字节（8位）——1个英文字母或二进制8位数
1文字=2字节=16位

第四范式
第一范式（实验）→第二范式（理论）→第三范式（计算）→第四范式（数据）

大数据的特征
大量化：存储量大、增量大
多样化：来源多（搜索引擎、社交网络）格式多（结构化数据、非结构化数据）
快速化
有价值

大数据的关键技术
1.大数据预处理技术：
数据采集
数据存取
基础架构支持
计算结果展现
2.大数据存储技术：
存储设备能持久可靠的存储数据
提供可伸缩接口
提供高数查询，更新 *** 作
3.大数据分析技术：
数据处理
统计与分析
数据挖掘
模型预测
4.大数据计算技术

大数据的典型计算架构
Hadoop→处理本地数据
spark→收集并更新
storm→延迟毫秒级