CDH 是什么

参考文章:集群、全文检索、大数据(Hadoop)

一、痛点

一个产品的出现肯定是为了解决用户的痛点,在大数据领域,我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的Apache Hadoop,在工作中我总结出了如下痛点(部分):

  1. 集群规模很庞大时搭建Hadoop集群复杂度越来越高,工作量很大
  2. 规模很大的集群下升级Hadoop版本很费时费力
  3. 需要自己保证版本兼容,比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容
  4. 安全性很低

二、Hadoop发行版本引入

有了上述原生Hadoop不足,Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下:

  • Apache Hadoop
  • Cloudera’s Distribution Including Apache Hadoop(CDH)
  • Hortonworks Data Platform (HDP)
  • MapR
  • EMR

接下来我们开始介绍CDH

三、CDH介绍

CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera's Distribution, including Apache Hadoop。

CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还提供了WEB页面进行管理、监控。

四、CDH架构


 五、CDH优点

  •  版本划分清晰

        CDH3 基于Hadoop1.x,目前已经不再更新

        CDH4和CDH5基于Hadoop2.x

  • 版本更新速度快
  • 支持Kerberos安全认证
  • 文档清晰
  • 支持多种安装方式(Cloudera Manager方式)
    • Cloudera Manager

    • Yum

    • Rpm

    • Tarball

六、CDH获取

  • CDH5.4
http://archive.cloudera.com/cdh5/
  • Cloudera Manager5.4.3
http://www.cloudera.com/downloads/manager/5-4-3.html

 

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页