【大数据论文笔记】大数据技术研究综述

大数据的基本概念:

1.大数据的产生

a.科学研究

b.物联网的应用

c.海量网络信息的产生

2.大数据概念的提出

image

3.大数据的“4V”特征

a.Volume(容量大):大数据巨大的数据量与数据完整性

b.Variety(种类多):要在海量、种类繁多的数据间发现其内在关联

c.Velocity(速度快):更快地满足实时性需求

d.Value(价值密度低):将信息转化为知识

4.大数据的应用领域

a.商业

b.金融

c.医疗

d.制造业

大数据的处理流程

image

image

1.数据采集

2.数据处理与集成(过滤)

3.数据分析(核心)

4.数据解释(数据可视化)

大数据关键技术

1.云计算和MapReduce

云计算:

a.服务IaaS

b.平台即服务PaaS

c.软件即服务SaaS

MapReduce:

image

2.分布式文件系统

GFS:主要采取主从结构(Master-Slave),通过数据分块、追加更新等方式实现海量数据的高速存储

image

3.分布式并行数据库

BigTable:

image

NOSQL:

image

4.开源实现平台Hadoop

image

5.大数据可视化

大数据带来的挑战:

1.大数据的安全与隐私问题

2.大数据的集成与管理问题

a.数据存储

b.数据清洗

3.大数据的IT技术架构问题

a.大数据分析技术

b.数据融合

c.大数据能耗问题

4.大数据的生态环境问题

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgjzzy.html