科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道Hadoop连接器座右铭:各得其所

Hadoop连接器座右铭:各得其所

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

这些厂商将Hadoop连接器软件视为“大数据管理”战略的重要一环,但是并不是只有主流的数据库厂商在做这件事。用户希望能够在非结构化数据、流数据、有意义的数据以及高度结构化的数据之间构建一座桥梁,以便能够通过分析来找到问题根源所在。

来源:存储在线 2012年3月5日

关键字: 连接器 云存储 Hadoop

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共2页)

Hadoop有多火?从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品,为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。

这些厂商将Hadoop连接器软件视为“大数据管理”战略的重要一环,但是并不是只有主流的数据库厂商在做这件事。像数据仓库提供商Teradata以及惠普公司的Vertica都推出了类似的Hadoop产品,也不乏Informatica、Talend这样的数据集成软件厂商。而像Hortonworks、Cloudera以及MapR这样的创业公司也在这一生态系统中扮演了非常重要的角色。

OpenLogic公司的技术总监Rod Cope在使用Hadoop方面有着非常丰富的经验,他告诫用户在使用Hadoop连接器之前,需要考虑应用到场景以及对数据的需求。Cope介绍他的公司使用了Hadoop、Hbase和一个列式的NoSQL数据库组合,它们作为OpenLogic主营业务的一部分,能够帮助其客户审计软件应用,以核查所使用的嵌入式开源代码是否符合相关的许可。

OpenLogic目前尚未部署任何连接器软件,但是Cope表现出对这一技术的几大好奇,他认为可以使用这样的软件来将频繁访问的数据从一个关系型数据库转移到Hbase上面做归档。

但是Cope认为,Hadoop连接器软件也并不能解决所有问题,感兴趣的用户需要注意加载数据的速度。在处理大数据的时候,人们往往对性能的标准并不如之前那么关注,如果加载数据到Hadoop用户的时间超长,那么使用连接器的意义就不大了。问题其实并不出在Hadoop上,而是你加载的数据源。

Ventana研究机构的分析师David Menninger表示,Hadoop分布式文件系统(HDFS)以及在其基础之上构建的数据库产品能够为用户提供非常好的数据管理与分析解决方案,这是相对于传统关系型数据库和数据仓库而言。这些数据可能是机器生成的大数据,比如Web搜素日志、社交媒体信息、手机通话记录以及其他一些非结构化的数据。

Menninger指出,Hadoop连接器软件使用的一个典型场景,就是企业使用Hadoop系统从大量的非结构化数据源中抽取少量结构化分析信息,然后再将其传输到关系型数据库当中以便使用BI工具进行进一步的分析。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章