揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车” (3)

至此,两个头痛的问题就算解决了。面对海量数据存储难题,谷歌推出了分布式文件系统 GFS、结构化存储系统 BigTable;面对海量数据的计算难题,谷歌推出了 MapReduce。

不过静下来想想,GFS 也好、MapReduce 也罢,无非都是秉承了大道至简、一人掌权、其它人办事、人多力量大的设计理念。另外画龙画虎难画骨,建议闲暇之余也多些思考:为什么架构要这么设计?架构设计的目标到底是如何体现的?

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

基于谷歌的“三驾马车”,出现了一大堆开源的轮子,不得不说谷歌的“三驾马车”开启了大数据时代。了解了谷歌的“三驾马车”的设计理念后,再去看这些开源的轮子,应该会比较好上手。

好了,门外汉“撩”大数据就聊到这儿吧,希望通过上文的分享能够了解几个关键词:大道至简、衍化至繁、谷歌三驾马车(GFS、MapReduce、BigTable)、痛则思变、开源轮子。

白头:番外篇 扯淡:不妨换一种态度

本文至此也即将接近尾声,最后是番外篇~

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

首先,借用日本剑道学习心诀“守、破、离”,希望我们一起做一个精进的人。

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

最后,在有限的时间内要多学习,不要停下学习的脚步,在了解和使用已经有的成熟技术之时,更要多思考,开创适合自己工作场景的解决方案。

文章来源:宜信技术学院 & 宜信支付结算团队技术分享第6期-宜信支付结算部支付研发团队高级工程师许赛赛《揭秘:“撩”大数据的正确姿势》

分享者:宜信支付结算部支付研发团队高级工程师许赛赛

原文首发于公号-野指针

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpjzdf.html