Hadoop的分布式架构改进与应用(4)

虽然我对Hadoop有浓厚的兴趣,但是自己所能接触到的项目和环境,都没有到达一个比较饱和的需求点。要做分布式存储?根本用不着动用HBase或者别的NoSQL组成的分布式集群,只需要一个分布式的MySQL集群就可以了,NoSQL可以做的事,其实MySQL何尝不能完成?只是说NoSQL对某些数据的存储,在某些读写性能上有局部的个性化的优势而已。更不必说要用MapReduce去完成什么样大规模,TB级数据的分布式并行计算了。在数据和硬件设施方面,以至到技术程度方面,学校里都没有满足条件,没有如此的需求。

学校的课程里也没有涉及到分布式的内容。分布式文件系统/存储/索引之类的话题一直是存在于企业级别,存在于大公司大数据基础和服务器集群基础的。学校里偶尔可以听到如阿里开的关于分布式的讲座,也是很基础的,浅尝截止。

出生在什么样的年代,就会接触什么样的技术。学习什么样的技术,就能充实自己成什么样的技术人才。把握Hadoop,把握时代的核心技术,就掌握了现在大数据时代,甚至可以遇见并操控未来!

7.  参考文献和资料

[1] S. Ghemawat,H. Gobioff, and S.-T. Leung, “The google ?le system,” SIGOPS Oper. Syst. Rev.,vol. 37, no. 5, pp. 29–43, 2003.

[2] J. Dean and S.Ghemawat. MapReduce: Simpli?ed Data Processing on Large Clusters. In OSDI,2004.

[3] Bigtable: ADistributed Storage System for Structured Data. In OSDI, 2006.

[4] Apache HadoopGoes Realtime at Facebook. In SIGMOD, 2011.

[5] A. Abouzeidand et al. HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologiesfor Analytical Workloads. In VLDB, 2009.

[6] J. Dittrich etal. Hadoop++: Making a yellow elephant run like a cheetah (without it evennoticing). In VLDB, 2010.[7] CoHadoop: Flexible Data Placementand Its Exploitation in Hadoop. In VLDB, 2011.

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/6579237e397a3841fe5912b222081c72.html