扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
要对当下的大数据解决方案进行分类评估可着实不是易事。首先,大数据工具似乎是在一夜之间就如雨后春笋般涌现出来,因此大家自然会对它们抱有一丝怀疑,毕竟像Hadoop与NoSQL这样的大项目也才刚刚付诸实际应用。
这个嘛……各位的顾虑及审慎的态度当然值得赞赏,不过实际上大多数此类解决方案早就已经实际服务于生产生活了;另外,某些旧有方法(例如企业搜索)也是可以为大数据业务服务的。
Brian Proffitt是一位Linux及开源项目记者兼分析师,他撰写了一篇相当精彩的文章,详细阐述了当今IT业界中较有影响的几种大数据技术。在这里我要向大家郑重推荐这篇文章,甚至最好把它保存下来,用作日后参考。
首先,Proffitt介绍了NoSQL数据库的特色,并讲述了它与关系类数据库有何不同之处。他结合实例概括了以下五种NoSQL(请注意是非关系类)数据库类型:
分布式键-值存储(简称DKVS)数据库,又名最终一致性键-值存储数据库。这种数据库在设计上主要是为了处理大量服务器上的数据存储问题。此处的关键字是“Dynamo平台”,因为大多数DKVS数据库都采用Dynamo平台或是以Dynamo平台为基础。
键-值存储(简称KVS)数据库,它将数据存储在硬盘或是内存中,并将键与值加以映射。此类解决方案包括开源方案Redis、Berkeley DB以及Memcache DB。
列式存储数据库,作者将其描述为一套“单独的、巨大的数据库列表,内部还充满嵌入式数据列表。”Hadoop、Cassandra以及谷歌的BigTable都是列式存储数据库的典型代表。
文档式存储数据库,顾名思义,存储并对整套文档数据价值进行排序。这类数据库并没有使用像列表、行、列等常见的方法,而是倾向于使用“非shema 类JSON型对象即文档”方式,这与常规XML文档截然相反,他指出。此类数据库中的佼佼者包括MongoDB以及CouchDB。
图形式存储数据库。这种类型我不太熟悉,也很难快速掌握其特性,在这里就直接援引原作者的表述:“数据操作在一套面向对象的架构中完成,利用图形来映射键、值以及二者之间的关系,而不是通过常见的列表,”他写道。Neo4j、HypergraphDB以及Bigdata(没错,的确有这么一种大数据解决方案就叫‘Bigdata’——大家是不是在懊恼自己没有抢先使用这么好的名字?)都属于这一类型。
好了,这就是能在网上搜罗到的全部信息了,解释得也很清楚。不过我们要怎么利用它们处理业务中的数据呢?别担心,Proffitt同样精心给出了几种选择,朋友们放心,这份清单比上面的要短得多。熟悉关系类数据库的朋友们有福了,因为这些方案都可以直接创建在原有数据库内部。NoSQL就悲剧了,没有什么能够直接契合的选项。这里Proffitt给出的方案是:
MapReduce,这款产品在使用上比较复杂,而且常常需要我们进行手动编码。不过CouchDB与Hadoop也差不多,都比较难用。
企业搜索产品,这类方案在处理大量文档及日常业务等结构化数据方面表现极为出色。他列出的备选产品有Apache Lucene、Apache Solr以及ElasticSearch。
就这些,一共两种选择。信息量似乎不大,但好处还在后面:Proffitt在他的文章中列出了长达两页半的大数据服务供应商及解决方案选项。
濠电姷鏁告慨鐑姐€傛禒瀣劦妞ゆ巻鍋撻柛鐔锋健閸┾偓妞ゆ巻鍋撶紓宥咃躬楠炲啫螣鐠囪尙绐為梺褰掑亰閸撴盯鎮惧ú顏呪拺闂傚牊鍗曢崼銉ョ柧婵犲﹤瀚崣蹇旂節婵犲倻澧涢柛瀣ㄥ妽閵囧嫰寮介妸褋鈧帡鏌熼挊澶婃殻闁哄瞼鍠栭幃婊堝煛閸屾稓褰嬮柣搴ゎ潐濞叉ê鐣濈粙璺ㄦ殾闁割偅娲栭悡娑㈡煕鐏炲墽鐭嬫繛鍫熸倐濮婄粯鎷呯粵瀣異闂佹悶鍔嬮崡鍐茬暦閵忋倕鍐€妞ゆ劑鍎卞皬闂備焦瀵х粙鎴犫偓姘煎弮瀹曚即宕卞Ο闀愮盎闂侀潧鐗嗛幊搴㈡叏椤掆偓閳规垿鍩ラ崱妞剧凹濠电姰鍨洪敋閾荤偞淇婇妶鍛櫤闁稿鍊圭换娑㈠幢濡纰嶉柣搴㈣壘椤︾敻寮诲鍫闂佸憡鎸鹃崰搴敋閿濆鏁嗗〒姘功閻绻涢幘鏉戠劰闁稿鎹囬弻锝呪槈濞嗘劕纾抽梺鍝勬湰缁嬫垿鍩為幋锕€宸濇い鏇炴噺閳诲﹦绱撻崒娆戝妽妞ゃ劌鎳橀幆宀勫磼閻愰潧绁﹂柟鍏肩暘閸斿矂鎮為崹顐犱簻闁圭儤鍨甸鈺呮倵濮橆剦妲归柕鍥у瀵粙濡歌閸c儳绱撴担绛嬪殭婵☆偅绻堝濠氭偄绾拌鲸鏅i悷婊冪Ч閹﹢鎳犻鍌滐紲闁哄鐗勯崝搴g不閻愮儤鐓涢悘鐐跺Г閸犳﹢鏌℃担鐟板鐎规洜鍠栭、姗€鎮╅搹顐ら拻闂傚倷娴囧畷鍨叏閹惰姤鈷旂€广儱顦崹鍌炴煢濡尨绱氶柨婵嗩槸缁€瀣亜閺嶃劎鈽夋繛鍫熺矒濮婅櫣娑甸崨顔俱€愬銈庡亝濞茬喖宕洪埀顒併亜閹哄棗浜鹃梺鎸庢穿婵″洤危閹版澘绫嶉柛顐g箘椤撴椽姊虹紒妯哄鐎殿噮鍓欒灃闁告侗鍠氶崢鎼佹⒑閸撴彃浜介柛瀣閹﹢鏁冮崒娑氬幈闁诲函缍嗛崑鍡樻櫠椤掑倻纾奸柛灞剧☉缁椦囨煙閻熸澘顏柟鐓庢贡閹叉挳宕熼棃娑欐珡闂傚倸鍊风粈渚€骞栭銈傚亾濮樺崬鍘寸€规洖缍婇弻鍡楊吋閸涱垽绱遍柣搴$畭閸庨亶藝娴兼潙纾跨€广儱顦伴悡鏇㈡煛閸ャ儱濡煎褜鍨伴湁闁绘ǹ绉鍫熺畳闂備焦瀵х换鍌毼涘Δ鍛厺闁哄洢鍨洪悡鍐喐濠婂牆绀堟慨妯挎硾閽冪喖鏌曟繛褍瀚烽崑銊╂⒑缂佹ê濮囨い鏇ㄥ弮閸┿垽寮撮姀鈥斥偓鐢告煥濠靛棗鈧懓鈻嶉崶銊d簻闊洦绋愰幉楣冩煛鐏炵偓绀嬬€规洟浜堕、姗€鎮㈡總澶夌处