Map-reduce的实现Hadoop的流数据处理效率非常高,列式存储的优点体现的淋漓极致。因此,HBase和Hypertable通常作为非关系型数据仓库,为Map-reduce进行数据分析提供支持。
关系类型的列标对数据分析效果不好,因此,用户经常将更复杂的数据存储在列式数据库中。这直接体现在Cassandra中,它引入的“column family”可以被认为是一个“super-column”。
列式存储支持行检索,但这需要从每个列获取匹配的列值,并重新组成行。
(列式数据库InfoBright 数据仓库性能很不错)
5.图形数据库
图形数据库存储顶点和边的信息,有的支持添加注释。
图形数据库可用于对事物建模,如社交图谱、真实世界的各种对象。IMDB(Internet Movie Database)站点的内容就组成了一幅复杂的图像,演员与电影彼此交织在一起。
图形数据库的查询语言一般用于查找图形中断点的路径,或端点之间路径的属性。Neo4j是一个典型的图形数据库。
选择哪一种数据模型?
数据模型有着各自的优缺点,它们适用于不同的领域。不管是选择关系模型,还是非关系模型,都要根据实际应用的场景做出选择。也许你会发现单一的数据模型不能满足你的解决方案,许多大型应用可能需要集成多种数据模型。(张志平/编译)
五个值得关注的图形数据库
图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。最常见的一个例子,就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好,其查询复杂、缓慢、超出预期,而图形数据库的独特设计恰恰弥补了这个缺陷。
Google的图形计算系统名为Pregel,下面让我们来为您介绍几个流行的图形数据库。
1. Neo4j
Neo4j是一个流行的图形数据库,它是开源的。
2. FlockDB
FlockDB是Twitter为进行关系数据分析而构建的。FlockDB迄今为止还没有稳定的版本,对于它是否是一个真正的图形数据库,尚有争议。
3. AllegroGraph
AllegroGraph是一个基于W3c标准的为资源描述框架构建的图形数据库。它为处理链接数据和Web语义而设计,支持SPARQL、RDFS++和Prolog。
4. GraphDB
GraphDB是德国sones公司在.NET基础上构建的。GraphDB托管在Windows Azure平台上。
5. InfiniteGraph
InfiniteGraph基于Java实现,它的目标是构建“分布式的图形数据库”,已被美国国防部和美国中央情报局所采用。
下一代Hadoop战略——数据即平台
在上周的Strata大会上,与会者透露出有关下代Hadoop的消息。包括对6000节点的支持、配备高可用性的HDFS以及下一代MapReduce的特性等。而未来Hadoop替代操作系统的大胆想法也让我们充满无限遐想。
在Strata会议上Hortonworks创始人和Apache Hadoop项目VP Arun Murthy透露新版Hadoop的相关特性。下一代的Hadoop将支持6000节点,同时配备高可用性的HDFS(Hadoop Distributed File System)。
而下一代MapReduce框架则被命名为YARN或MRv2(MapReduce version 2)。新框架已经不再是传统的MapReduce框架,甚至与MapReduce无关,YARN可被看做是通用的运行时框架,用户可以编写自己的计算框架,在该运行环境中运行。经过改良的MapReduce将分离HDFS中块和命名空间的管理,提高数据的可伸缩性。最重要的是改良后的MapReduce将对非MapReduce应用进行支持,这使得更多类型应用将具备在MapReduce工作的能力。
谷歌算法揭秘:一次搜索请求平均往返2400公里