大数据的基本概念:
1.大数据的产生
a.科学研究
b.物联网的应用
c.海量网络信息的产生
2.大数据概念的提出
3.大数据的“4V”特征
a.Volume(容量大):大数据巨大的数据量与数据完整性
b.Variety(种类多):要在海量、种类繁多的数据间发现其内在关联
c.Velocity(速度快):更快地满足实时性需求
d.Value(价值密度低):将信息转化为知识
4.大数据的应用领域
a.商业
b.金融
c.医疗
d.制造业
大数据的处理流程
1.数据采集
2.数据处理与集成(过滤)
3.数据分析(核心)
4.数据解释(数据可视化)
大数据关键技术
1.云计算和MapReduce
云计算:
a.服务IaaS
b.平台即服务PaaS
c.软件即服务SaaS
MapReduce:
2.分布式文件系统
GFS:主要采取主从结构(Master-Slave),通过数据分块、追加更新等方式实现海量数据的高速存储
3.分布式并行数据库
BigTable:
NOSQL:
4.开源实现平台Hadoop
5.大数据可视化
大数据带来的挑战:
1.大数据的安全与隐私问题
2.大数据的集成与管理问题
a.数据存储
b.数据清洗
3.大数据的IT技术架构问题
a.大数据分析技术
b.数据融合
c.大数据能耗问题
4.大数据的生态环境问题