科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道大数据很简单!基于AWS的Hadoop集群配置攻略

大数据很简单!基于AWS的Hadoop集群配置攻略

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

运行Hadoop的途径有很多,但如果你希望立马就开始、而又不想为自己搭建一个集群而烦恼的话该怎么办?你最好的选择可能是一个基于云的Hadoop集群,Amazon Web Services (AWS)上的Elastic MapReduce (EMR)也许可以让你快速地达到这个目的。

作者:ZDNet 来源:ZDNet存储频道 2013年1月17日

关键字: MapR Amazon AWS 大数据 Hadoop

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共6页)

 大数据很简单!基于AWS的Hadoop集群配置攻略

工作流创建好

如果一切顺利的话,你应该看到这样的画面,确认你的EMR工作流已经创建完毕。点击“关闭”,这样你就可以监视你的集群状态。

大数据很简单!基于AWS的Hadoop集群配置攻略

工作流

EMR工作留的屏幕应该显示你刚才设计的工作流程。确认工作流的状态是“启动的”(STARTING)。在工作流这一行的最左侧会出现一个橙色的旋转图标。

大数据很简单!基于AWS的Hadoop集群配置攻略

命令行

你想一次性的把前面所有这些步骤都完成吗?虽然需要一些准备步骤,但你是可以做到的。Amazon Web Services Elastic MapReduce Command Line Interface (AWS EMR CLI)将所有之前这些交互式选择都做成脚本化了。Amazon为下载CLI和完成所有先决步骤提供了完整的说明,包括创建一个AWS账户、配置证书和为日志文件设置一个Simple Storage Service (S3)。

如果你运行的是Windows,那么下载并安装Ruby 1.8.7(EMR CLI是依赖于它的),然后下载并安装EMR CLI自身。从命令窗口(又名DOS提示微幅),你将能够导航到EMR CLI的安装文件夹,进入一个类似于图示的命令,创建一个带有Hive、Pig和HBase的EMR工作流,基于一个m1.large EC2实例。

如果你聪明的话,会将所有这些都嵌入到一个Windows批处理(.BAT)文件内,在桌面上创建一个快捷方式。这样的话,你的Hadoop集群只需要一个双击即可。

大数据很简单!基于AWS的Hadoop集群配置攻略

到EC2实例

看工作流的流程是很有用的,但你需要一些关于EC2实例作为集群头节点的一些细节。因此,点击服务菜单选项右侧的金色三角,然后点击下拉面板中的EC2选项。

大数据很简单!基于AWS的Hadoop集群配置攻略

选择实例

要运行EC2实例,还需要一步进入到状态屏:在EC2界面上,点击左侧的“实例”链接

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章