mysql> grant all privileges on sentry.* to ‘sentry‘@‘%‘ identified by ‘sentry_1234‘ with grant option;完成以上配置后，回到Cloudera Mana

Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署，在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效

第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。总结下，需要手动下载cds文件上传到CM服务器并修改owner，然后重启系统的cmservice，之后可能还需要登录到CM管理端，从页面重启CM服务，这两者的

hive表中 desc 及 show create table 查出来字段和表的中文comment全是 ？mysql> alter table COLUMNS_V2 modify column COMMENT varchar character se

报错描述：airflow调度程序，最近2周偶尔报错，报错类型有2类：1、无法初始化集群配置；2、读取配置权限问题。Number of reduce tasks is set to 0 since there‘s no reduce operator

目前而言，不收费的Hadoop版本主要有三个，分别是：Apache、Cloudera版本、Hortonworks版本，对于国内而言，绝大多数选择CDH版本，CDH和Apache版本主要区别如下：。 CDH对Hadoop版本的划分非常清晰，只有两个系列的版本

[root@node11~]## vi /etc/ntp.conf 注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器。server 172.30.0.19 iburst 在其他节点上把ntp指向master服务器地址即可 serve

解决办法： 执行sbin/mr-jobhistory-daemon.sh start historyserver 命令，启动日志守护进程 然后再次跑pig作业，一切正常 !

版本使用范围，大致 与Apache Hadoop编译步骤一致大同小异，因为CDH的Hadoop的本来就是从社区版迁过来的，所以，这篇文章同样适合所有的以Apache Hadoop为原型的其他商业版本的hadoop编译，例如，Cloudera（CDH）的ha

解决办法： 执行sbin/mr-jobhistory-daemon.sh start historyserver 命令，启动日志守护进程 然后再次跑pig作业，一切正常 !

在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上在使用过程中遇到一下几个问题，特记于此：。修真门槛障碍描述

hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/hadoop-hdfs”、“/usr/lib/hadoop-mapreduce”，“/usr/lib/hadoop

要不然会报如下错误：。以下运行状况测试不良： 时钟偏差.配置一台ntp服务器，所有的CDH节点作为此ntp服务器的客户端。

CDH通过alternatives切换多个配置文件，而apache hadoop配置文件只保存在$HADOOP_HOME/conf下面eclipse插件 cloudera CDH默认没有提供eclipse插件，需要自己编译，而且它的插件和apache ha

本文先是简要对比了当前的类似工具，而后详细记录了以离线方式部署CDH集群>的步骤。前言以Apache Hadoop为主导的大数据技术的出现，使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop有不少发行版：华为发行版 收费、Intel发

最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5只支持第一种方案，即 QJM 的 HA 方案。关于 had

spark0.8.1+shark0.8.1+hadoop2.2的整合，总体感觉是累。中间的章节由于时间问题还没整理处理，这里做些总体的评论。与传统hadoop结合方面，shark是一边倒在了CDH,cloudra給了钱也不能丢完节操啊。因为shark不支持

前边总结 了些hue下sqoop1,oozie,hbase的一些坑，今日项目到期，一定要搞定oozie工作流和定时调度执行，以是skr skr skr ....

cm cloudManageService oozie HUEmaster-1 Zookeeper NameNode HbaseMaster YARN HiveMetastore master-2 Zookeeper NameNode HbaseMaste

本文记录HBase高可用集群部署过程，在部署HBase之前需要事先部署好Hadoop集群，因为HBase的数据需要存放在hdfs上，Hadoop集群的部署后续会有一篇文章记录，本文假设Hadoop集群已经部署好，分布式HBase集群需要依赖zk，并且zk可