hive原理和调优

参考:

hive参数:

https://www.cnblogs.com/yinzhengjie/articles/11065409.html

hive-site.xml
hive.async.log.enabled false #控制beeline跑时是否输出执行日志,默认是true

hive:
hive.exec.parallel.thread.number 50
hive.exec.reducers.bytes.per.reducer
该参数在0.14.0之前默认为1,000,000,000（约1GB），在0.14.0及以后默 认为256,000,000（约256MB）。该参数控制每个reducer平均处理的字节 数，默认值不一定适合所有的情况，应该根据企业内Hive作业通常处理的 数据量、集群节点数等参数来酌情配置
hive.exec.dynamic.partition

hive.exec.reducers.max 250
hive.server2.thrift.max.worker.threads 5000