hive开发规范

hive常用交互命令

“-e”

不进入hive的交互窗口执行sql语句。

eg： bin/hive -e "show tables;"

“-f”

执行脚本中sql语句

eg: bin/hive -f "/home/user/hive/tmp/hivef.sql";

"!quit"

退出hive交互窗口

"help"

在hive窗口获取帮助

“dfs -ls /;”

在hive cli命令窗口中查看hdfs文件系统

hive的数据类型

基本类型

集合类型

DDL

创建数据库

create database bmsoft;

查询数据库

过滤显示查询的数据库

show databases like ‘db_hive*‘;

显示数据库信息

desc database bmsoft;

显示数据库详细信息，extended

esc database extended db_hive;

修改数据库

用户可以使用alter database命令为某个数据库的dbproperties设置键-值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名和数据库所在的目录位置。

hive (default)> alter database db_hive set dbproperties(‘createtime‘=‘20190828‘);

在hive中查看修改结果

hive> desc database extended db_hive;

删除数据库

删除空数据库

drop database db_hive2;

删除非空数据库

drop database db_hive;

创建表

查看表格式化数据

desc formatted dept;

内部表

hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir决定。 当我们删除一个管理表时，hive也会删除这个表中数据。

eg：

create table if not exists student2(
id int, name string
)
row format delimited fields terminated by ‘\t‘
stored as textfile

外部表

因为表是外部表，所以hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。

eg：

create external table if not exists student2(
id int, name string
)
row format delimited fields terminated by ‘\t‘
stored as textfile

删除外部表后，外部表删除后，hdfs中的数据还在，但是metadata中的元数据已被删除。

表的互相转换

内部表 --> 外部表

alter table student2 set tblproperties(‘external‘=‘true‘);

外部表 --> 内部表

alter table student2 set tblproperties(‘external‘=‘false‘);

注意：(‘external‘=‘true‘)和(‘external‘=‘false‘)为固定写法，区分大小写！

分区表

创建分区表语法

加载数据到分区表中

hive (default)> load data local inpath ‘/opt/module/datas/dept.txt‘ into table default.dept_partition partition(month=‘201709‘);

注意：分区表加载数据时，必须指定分区

增加分区

alter table dept_partition add partition(month=‘201706‘) ;

alter table dept_partition add partition(month=‘201705‘) partition(month=‘201704‘);

删除分区

alter table dept_partition drop partition (month=‘201704‘);

alter table dept_partition drop partition (month=‘201705‘), partition (month=‘201706‘);

删除表

drop table dept_partition;

修改表

更新列

alter table table_name change [column] col_old_name col_new_name column_type [comment col_comment] [first|after column_name]

修改表名

alter table old_table_name rename to new_table_name;

复制表结构

create table new_table_name like table_name;

DML

数据导入

向表中装载数据（load）

hive> load data [local] inpath ‘/opt/module/datas/student.txt‘ [overwrite] into table student [partition (partcol1=val1,…)];

（1）load data:表示加载数据

（2）local:表示从本地加载数据到hive表；否则从hdfs加载数据到hive表

（3）inpath:表示加载数据的路径

（4）overwrite:表示覆盖表中已有数据，否则表示追加

（5）into table:表示加载到哪张表

（6）student:表示具体的表

（7）partition:表示上传到指定分区

查询语句 插入（insert）

1．创建一张分区表

hive (default)> create table student(id int, name string) partitioned by (month string) row format delimited fields terminated by ‘\t‘;

2．基本插入数据

hive (default)> insert into table student partition(month=‘201908‘) values(1,‘wangwu‘),(2,’zhaoliu’);

3．基本模式插入（根据单张表查询结果）

hive (default)> insert overwrite table student partition(month=‘201907‘) select id, name from student where month=‘201908‘;

insert into：以追加数据的方式插入到表或分区，原有数据不会删除

insert overwrite：会覆盖表或分区中已存在的数据

4．多表（多分区）插入模式（根据多张表查询结果）

hive (default)> from student

insert into table student partition(month=‘201908‘)

select id, name where month=‘201908‘

insert into table student partition(month=‘201908‘)

select id, name where month=‘201907‘;

查询结果创建表加载数据（as select）

根据查询结果创建表（查询的结果会添加到新创建的表中）

create table if not exists student3 as select id, name from student;

建表时通过location指定加载数据路径

1. 上传数据到hdfs上

hive (default)> dfs -mkdir /student;

hive (default)> dfs -put /opt/module/datas/student.txt /student;

1. 创建表，并指定在hdfs上的位置

hive (default)> ``create external table if not exists student5(id int, name string)row format delimited fields terminated by ‘\t‘ location ‘/student;`

数据导出

insert导出

1．将查询的结果导出到本地
hive (default)> insert overwrite local directory ‘/export/student‘ select * from student;
2．将查询的结果格式化导出到本地
hive(default)>insert overwrite local directory ‘/export/student1‘ <br /> row format delimited fields terminated by ‘\t‘ select * from student;
3．将查询的结果导出到hdfs上(没有local)
hive (default)> insert overwrite directory ‘/student2‘ row format delimited fields terminated by ‘\t‘select * from student;

hive shell 命令导出

基本语法：（hive -f/-e 执行语句或者脚本 > file）
[ hive]$ ``bin/hive -e ‘select * from default.student;‘ > <br /> /opt/module/datas/export/student4.txt;

export导出到hdfs上

(defahiveult)> export table default.student to
‘/user/hive/warehouse/export/student‘;
export和import主要用于两个hadoop平台集群之间hive表迁移。

sqoop导出

数据清除

truncate只能删除管理表，不能删除外部表中数据

hive (default)> truncate table student;

函数

系统内置函数

1．查看系统自带的函数
hive> show functions;
2．显示自带的函数的用法
hive> desc function upper;
3．详细显示自带的函数的用法
hive> desc function extended upper;

自定义函数

1）hive 自带了一些函数，比如：max/min等
2）根据用户自定义函数类别分为以下三种：
（1）udf
一进一出
（2）udaf
聚集函数，多进一出，类似于：count/max/min
（3）udtf
一进多出，如lateral view explore()

hive中执行命令

add jar /home/hive/jar/my_udf.jar;

create temporary function sys_date as com.taobao.hive.udf.UDFDateSysdate‘;

3）官方文档地址
https://cwiki.apache.org/confluence/display/hive/hiveplugins