安科网

Linux搭建Hive开发环境

chenjiawei

chenjiawei

2018-04-29

关注 关注
Linux搭建Hive开发环境
1.Hive
Linux搭建Hive开发环境
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.
 
2.Hive安装
【1】官网下载Hive【https://hive.apache.org/】安装包：apache-hive-2.3.3-bin.tar.gz
Linux搭建Hive开发环境
 
【2】利用Sftp5工具把Hive安装包上传到：/usr/local/hive
 
Linux搭建Hive开发环境
【3】利用Xshell工具登录到Linux服务器，解压hive安装包：apache-hive-2.3.3-bin.tar.gz
[root@marklin ~]# cd /usr/local/hive
[root@marklin hive]# ll
total 226788
-rw-r--r--.  1 root root 232229830 Apr  5 21:42 apache-hive-2.3.3-bin.tar.gz
drwxr-xr-x. 10 root root       184 Apr  5 12:40 hive-2.3.3
[root@marklin hive]# ll
total 0
drwxr-xr-x. 10 root root 184 Apr  5 12:40 hive-2.3.3
[root@marklin hive]#
 
Linux搭建Hive开发环境
【4】配置环境变量，输入：vim  /etc/profile 
#Setting HIVE_HOME PATH
export HIVE_HOME=/usr/local/hive/hive-2.3.3
export PATH=${PATH}:${HIVE_HOME}/bin
Linux搭建Hive开发环境
保存退出后，运行[source /etc/profile]使配置立即生效。
【5】进入到：cd  /usr/local/hive/hive-2.3.3/conf，修改配置文件hive-env.sh：
[root@marklin ~]# cd /usr/local/hive/hive-2.3.3/conf
[root@marklin conf]# ll
total 288
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
生成hive-env.sh文件，输入：cp  hive-env.sh.template hive-env.sh
[root@marklin conf]# cp  hive-env.sh.template hive-env.sh
[root@marklin conf]# ll
total 292
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rw-r--r--. 1 root root   2365 Apr  5 22:18 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
授权hive-env.sh脚本文件，输入：chmod +x hive-env.sh：
[root@marklin conf]# chmod +x hive-env.sh
[root@marklin conf]# ll
total 292
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2365 Apr  5 22:18 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
修改配置，输入：vim hive-env.sh
[root@marklin conf]# vim hive-env.sh
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
export JAVA_HOME=/usr/local/java/jdk1.8.0_162
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.5
export HIVE_HOME=/usr/local/hive/hive-2.3.3
export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib/*
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_HEAPSIZE=1024
 
Linux搭建Hive开发环境
【6】将hive-default.xml.template文件复制一份，并且改名为hive-site.xml，输入：cp   hive-default.xml.template   hive-site.xml
[root@marklin conf]# cp   hive-default.xml.template   hive-site.xml
[root@marklin conf]# chmod +x hive-site.xml
[root@marklin conf]# ll
total 544
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2590 Apr  5 22:41 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:46 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
修改hive-site.xml，并添加：
  <configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;autoReconnect=true&amp;useUnicode=true&amp;characterEncoding=utf8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456Abc</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/tmp/hive/repository</value>
    </property>
    <property>  
        <name>hive.exec.scratchdir</name>  
        <value>/tmp/hive</value>      
    </property>
    <property>      
        <name>hive.metastore.local</name>  
        <value>true</value>     
    </property>      
    <property>  
        <name>hive.metastore.uris</name>  
        <value>thrift://marklin.com:9083</value>  
    </property>
</configuration>
 
Linux搭建Hive开发环境
Hive的配置需要Hadoop和Mysql的支持，本教程已经默认安装Hadoop和Mysql的支持。
 
【6】将hive-exec-log4j2.properties.template文件复制一份，并且改名为 hive-exec-log4j2.properties，输入：cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
[root@marklin conf]# cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
[root@marklin conf]# ll
total 548
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x hive-exec-log4j2.properties
[root@marklin conf]# ll
total 548
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
【7】将hive-log4j2.properties.template文件复制一份，并且改名为 hive-log4j2.properties.，输入：cp hive-log4j2.properties.template hive-log4j2.properties
 
[root@marklin conf]# cp hive-log4j2.properties.template hive-log4j2.properties
[root@marklin conf]# ll
total 552
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x hive-log4j2.properties
[root@marklin conf]# ll
total 552
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
【7】将beeline-log4j2.properties.template文件复制一份，并且改名为 beeline-log4j2.properties.，输入：cp beeline-log4j2.properties.template beeline-log4j2.properties
 
[root@marklin conf]# cp beeline-log4j2.properties.template beeline-log4j2.properties
[root@marklin conf]# ll
total 556
-rw-r--r--. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x beeline-log4j2.properties
[root@marklin conf]# ll
total 556
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
 
【8】配置llap-x文件：
[root@marklin conf]# cp llap-cli-log4j2.properties.template llap-cli-log4j2.properties
[root@marklin conf]# ll
total 560
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x llap-cli-log4j2.properties
[root@marklin conf]# ll
total 560
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rwxr-xr-x. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# cp llap-daemon-log4j2.properties.template llap-daemon-log4j2.properties
[root@marklin conf]# chmod +x llap-daemon-log4j2.properties
[root@marklin conf]# ll
total 568
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rwxr-xr-x. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rwxr-xr-x. 1 root root   7041 Apr  6 01:23 llap-daemon-log4j2.properties
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
Linux搭建Hive开发环境
 
【9】对数据进行初始化，输入：schematool -dbType mysql  -initSchema
[root@marklin ~]# schematool -dbType mysql  -initSchema
Metastore connection URL:     jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&autoReconnect=true&useUnicode=true&characterEncoding=utf8
Metastore Connection Driver :     com.mysql.jdbc.Driver
Metastore connection User:     root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
 
Linux搭建Hive开发环境
 
【10】输入hive执行：
[root@marklin ~]# hive
Logging initialized using configuration in file:/usr/local/hive/hive-2.3.3/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases; --显示数据库
OK
default
Time taken: 2.962 seconds, Fetched: 1 row(s)
hive> show tables;  --显示数据库表
OK 
Time taken: 0.46 seconds
hive>
 
Linux搭建Hive开发环境
【11】浏览器输入：http://192.168.3.4:50070/explorer.html#/
Linux搭建Hive开发环境
 

hive linux服务器 linux系统 root

chenjiawei

chenjiawei

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

3（Hive）

Hive 运行时，元数据存储在关系型数据库里面。用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。Hive中的元数据包

archive 2020-07-30

Hive函数大全-完整版

现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当

成长之路 2020-07-28

hdfs、hive、hbase的搭建总结

-- 完全分布式文件系统的名称 ：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

eternityzzy 2020-07-19

hive函数之~hive当中的lateral view 与 explode

lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral vie

taisenki 2020-07-05

hive函数之~窗口函数与分析函数

)row format delimited fields terminated by ‘,‘;第一个参数为列名，第二个参数为往上第n行，第三个参数为默认值。当ORDER BY和窗口从句都缺失, 窗口规范默认是 ROW BETWEEN UNBOUNDED P

tugangkai 2020-07-05

hive函数之~reflect函数

reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。create table test_udf row format delimited fields terminated by ‘,‘;hive > create ta

SignalDu 2020-07-05

hive函数之~条件函数

‘tom‘ when 2=2 then ‘mary‘ else ‘tim‘ end from tableName;

genshengxiao 2020-07-05

hive函数之~日期函数

语法: datediff返回值: int说明: 返回结束日期减去开始日期的天数。

tomson 2020-07-05

hive函数之~字符串函数

int start, int len)返回值: string说明：返回字符串A从start位置开始，长度为len的字符串。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。index)返回值: string说明：将字符

zlsdmx 2020-07-05

hive函数之~关系运算

select 1 from tableName where 1 <> 2;hive> select 1 from tableName where 1 < = 1;select 1 from tableName where 2 >

tomson 2020-07-05

Hive使用

大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制：。hive -e "insert into table t_dest select * from t_src;".

tugangkai 2020-07-04

Hive的安装与启动

<description>JDBC connect string for a JDBC metastore</description>. <description>Driver class name for a JDBC

tomson 2020-07-05

Hive llap服务安装说明及测试（二）

因为Apache Slider 已经不维护了，下面介绍不使用 Slider 的 LLAP使用方式。

xieting 2020-06-28

Hive学习之路 （二）Hive安装

bin binary-package-licenses conf examples hcatalog jdbc lib LICENSE NOTICE RELEASE_NOTES.txt scripts. -- 如果 mysql 和 hi

Zhangdragonfly 2020-06-28

Hadoop

Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运行在计算机集群中，用于管理 Hadoop 集群。像 Pig 一样，Hive 作为一个抽象层工具，吸引了很多熟悉 SQL 而不是 Java 编程

genshengxiao 2020-06-26

（一）hive远程模式搭建

# scp -r /opt/soft/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar :/usr/ 发安装包。# rpm -qa|grep mariadb 检查：这是离线包安装方式所以要检查并且卸载mariadb. #

成长之路 2020-06-26

Hive学习(二)【数据类型、类型转换】

可以指定字符集。可以使用单引号或者双引号。和c语言中的struct类似，都可以通过“点”符号访问元素内容。MAP是一组键-值对元组集合，使用数组表示法可以访问数据。数组是一组具有相同类型和名称的变量的集合。例如CAST将把字符串‘1‘ 转换成整数1；如果强

tomson 2020-06-26

Hive1.2.2（一）

本课堂主要围绕hive的基础知识点进行讲解。主要包括以下几个方面。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。对于Hive来说默认就是mapreduce任务。与操作本地文件系统类似，这里需要使用

蜗牛之窝 2020-06-26

hive开窗开窗函数进阶

NTILE： 把有序分区中的行分发到指定数据的组中， 各个组有编号， 编号从 1 开始，对于每一行， NTILE 返回此行所属的组的编号。hive > select name,orderdate,cost, sum over as sample f

成长之路 2020-06-25

数据仓库 ODS原始数据层操作

①ODS层存放的是原始数据，因此只需要一个字段就行。②ODS层的数据来源于HDFS，里面存储的文件带有压缩，因此需要指明相应的压缩方式。③在多人操作一张Hive表时，最好建立外部表，防止删表时将其中的数据也删掉了。2 编写将数据导入上述表中的脚本。④hiv

cyydjt 2020-06-25
chenjiawei

chenjiawei

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号