hive总结

1，hive架构

1）client，客户端

2）Driver：驱动器

3）解析器，编译器，优化器，执行器

4）底层默认使用mr作为数据处理引擎

5）元数据，通常配置mysql来存储，这样支持多个客户端的访问

2，hive和传统数据库的比较

相同之处：都拥有类似的查询语言

不同之处：

　　1）数据存储位置不同

　　　　hive数据存储在hdfs上，而数据库的数据存储在块设备或本地文件系统中

　　2）数据更新

　　　　hive不建议对数据改写。而数据库通常是需要对数据进行更新操作的。

　　3）执行延迟

　　　　hive的执行延迟较高，而数据库的执行比较快，但是是基于数据量不大的基础上，当数据量过大，数据库的处理能力会骤降，而此时hive的分布式处理的优势就得到了体现。

　　4）数据规模

　　　　hive可支持大规模的数据计算，而数据支持的数据规模较小。

3，hive的内部表和外部表

内部表，删除时，会把元数据和数据一起删除，不适合和其它工具共享数据。

外部表，删除时，只会删除元数据，而不会删除掉数据。

4，4个by的区别

sort by ：分区内排序。

order by ： 全局有序，最后只有一个reducer。

distrbute by ： 类似于mr中的分区，根据指定的属性分区，结合sort by 使用，在指定的数据分区中排序。

cluser by ： 当distrbute by 和 sort by 字段一致时，就可以使用 cluster by方式。但是排序只能是升序。

5，窗口函数

RANK() 排序相同时会重复，总数不会变

DENSE_RANK() 排序相同时会重复，总数会减少