Hive体系结构 —— 深入浅出学Hive
目录：
第一部分：概念
概念
•用户接口：用户访问Hive的入口
•元数据：Hive的用户信息与表的MetaData
•解释器：分析翻译HQL的组件
•编译器：编译HQL的组件
•优化器：优化HQL的组件
第二部分：Hive架构与基本组成
架构图
基本组成
•用户接口，包括 CLI，JDBC/ODBC，WebUI
•元数据存储，通常是存储在关系数据库如 mysql, derby 中
•解释器、编译器、优化器、执行器
•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算
各组件的基本功能
•用户接口主要有三个：CLI，JDBC/ODBC和 WebUI
•CLI，即Shell命令行
•JDBC/ODBC 是 Hive 的JAVA，与使用传统数据库JDBC的方式类似
•WebGUI是通过浏览器访问 Hive
•Hive 将元数据存储在数据库中，目前只支持 mysql、derby，下一版本会支持更多的数据库。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等
•解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行
•Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）
Metastore
•Metastore是系统目录(catalog)用于保存Hive中所存储的表的元数据（metadata）信息
•Metastore是Hive被用作传统数据库解决方案（如oracle和db2）时区别其它类似系统的一个特征
•Metastore包含如下的部分：
•Database 是表（table）的名字空间。默认的数据库（database）名为‘default’
•Table 表（table）的原数据包含信息有：列（list of columns）和它们的类型（types），拥有者（owner），存储空间（storage）和SerDei信息
•Partition 每个分区（partition）都有自己的列（columns），SerDe和存储空间（storage）。这一特征将被用来支持Hive中的模式演变（schema evolution）
Compiler
•Driver调用编译器（compiler）处理HiveQL字串，这些字串可能是一条DDL、DML或查询语句
•编译器将字符串转化为策略（plan）
•策略仅由元数据操作和HDFS操作组成，元数据操作只包含DDL语句，HDFS操作只包含LOAD语句
•对插入和查询而言，策略由map-reduce任务中的具有方向的非循环图（directedacyclic graph，DAG）组成
第三部分：Hive运行模式
Hive运行模式
•Hive的运行模式即任务的执行环境
•分为本地与集群两种
•我们可以通过mapred.job.tracker 来指明
•设置方式
•hive > SET mapred.job.tracker=local
第四部分：数据类型
原始数据类型
•Integers
TINYINT - 1 byte
SMALLINT - 2 byte
INT - 4 byte
BIGINT - 8 byte
•Boolean type
BOOLEAN - TRUE/FALSE
•Floating point numbers
FLOAT –单精度
DOUBLE – 双精度
•String type
STRING - sequence of characters in a specified character set
复杂数据类型
•Structs: 例子 {c INT; d INT}
•Maps (key-value tuples):. 例子'group' -> gid M['group']
•Arrays (indexable lists): 例子[‘1', ‘2', ‘3']
•TIMESTAMP 0.8版本新加属性
第五部分：Hive的元数据存储
存储方式与模式
•Hive 将元数据存储在 数据库中
•连接到数据库模式有三种
•单用户模式
•多用户模式
•远程服务器模式
单用户模式
此模式连接到一个 In-memory 的数据库 Derby ，一般用于 Unit Test
多用户模式
通过网络连接到一个数据库中，是最经常使用到的模式
远程服务器模式
•用于非 Java 客户端访问元数据库，在服务器端启动MetaStoreServer，客户端利用 Thrift 协议通过MetaStoreServer 访问元数据库
第六部分：Hive的数据存储
Hive数据存储的基本概念
•Hive的数据存储是建立在Hadoop HDFS之上的
•Hive没有专门的数据存储格式
•存储结构主要包括：数据库、文件、表、视图
•Hive默认可以直接加载文本文件，还支持sequence file 、RCFile
•创建表时，我们直接告诉Hive数据的列分隔符与行分隔符，Hive即可解析数据
Hive的数据模型-数据库
•类似传统数据库的DataBase
•在第三方数据库里实际是一张表
•简单示例
•命令行hive > create database test_database;
Hive的数据模型-表
•Table 内部表
•Partition 分区表
•External Table 外部表
•Bucket Table
内部表
•与数据库中的 Table 在概念上是类似
•每一个 Table 在 Hive 中都有一个相应的目录存储数据
•例如，一个表 test，它在 HDFS 中的路径为：/ warehouse /test
• warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录
•所有的 Table 数据（不包括 External Table）都保存在这个目录中。
•删除表时，元数据与数据都会被删除
内部表简单示例
•创建数据文件test_inner_table.txt
•创建表
•create table test_inner_table (key string)
•加载数据
•LOAD DATA LOCAL INPATH ‘filepath’ INTO TABLE test_inner_table
•查看数据
•select * from test_inner_table
•select count(*) from test_inner_table
•删除表 drop table test_inner_table
分区表
•Partition 对应于数据库中的 Partition 列的密集索引
•在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中
•例如：test表中包含 date 和 position 两个 Partition，则对应于 date = 20120801, position = zh 的 HDFS 子目录为：/ warehouse /test/date=20120801/ position =zh
•对应于 = 20100801, position = US 的HDFS 子目录为；/ warehouse /xiaojun/date=20120801/ position =US
分区表简单示例
•创建数据文件test_partition_table.txt
•创建表
•create table test_partition_table (key string) partitioned by (dt string)
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_partition_table partition (dt=‘2006’)
•查看数据
•select * from test_partition_table
•select count(*) from test_partition_table
•删除表 drop table test_partition_table
外部表
•指向已经在 HDFS 中存在的数据，可以创建 Partition
•它和 内部表 在元数据的组织上是相同的，而实际数据的存储则有较大的差异
•内部表 的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除
• 外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个 外部表 时，仅删除该链接
外部表简单示例
•创建数据文件test_external_table.txt
•创建表
•create external table test_external_table (key string)
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_inner_table
•查看数据
•select * from test_external_table
•select count(*) from test_external_table
•删除表 drop table test_external_table
Bucket Table
•可以将表的列通过Hash算法进一步分解成不同的文件存储
•例如：将age列分散成20个文件，首先要对AGE进行Hash计算，对应为0的写入/warehouse/test/date=20120801/postion=zh/part-00000,对应为1的写入/warehouse/test/date=20120801/postion=zh/part-00001
•如果想应用很多的Map任务这样是不错的选择
Bucket Table简单示例
•创建数据文件test_bucket_table.txt
•创建表
•create table test_bucket_table (key string)
clustered by (key) into 20 buckets
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_bucket_table
•查看数据
•select * from test_bucket_table
•set hive.enforce.bucketing = true;
Hive的数据模型-视图
•视图与传统数据库的视图类似
•视图是只读的
•视图基于的基本表，如果改变，指增加不会影响视图的呈现；如果删除，会出现问题
•如果不指定视图的列，会根据select语句后的生成
•示例
•create view test_view as select * from test
第七部分：HiveUI介绍
启动UI
•配置
•hive-site.xml 添加
<property>
<name>hive.hwi.war.file</name>
<value>lib/hive-hwi-0.8.1.war</value>
</property>
•
•启动Hive的UI sh $HIVE_HOME/bin/hive --service hwi
相关推荐
archive 2020-07-30
成长之路 2020-07-28
eternityzzy 2020-07-19
taisenki 2020-07-05
tugangkai 2020-07-05
SignalDu 2020-07-05
zlsdmx 2020-07-05
tomson 2020-07-05
tugangkai 2020-07-04
tomson 2020-07-05
Zhangdragonfly 2020-06-28
genshengxiao 2020-06-26
成长之路 2020-06-26
tomson 2020-06-26
蜗牛之窝 2020-06-26
成长之路 2020-06-25