EMR问题
参考:
https://dbaplus.cn/news-11-1983-1.html
1/连接参数
hive.server2.thrift.min.worker.threads 5
hive.server2.thrift.max.worker.threads 150
在emr中hive-hiveserver2-site中自定义添加
2/ hive.driver.parallel.compilation参数默认为false,导致HS2只允许同时一个Query编译, 有操作元数据比较多的查询编译读取元数据会比较慢,全局锁会卡住所有其他查询。 需要设置为true,打开允许多个Query同时编译。
hive-site:
hive.driver.parallel.compilation 这个参数可以设置为true
hive&hue优化
1、hue配置文件,修改max_number_of_sessions值大小,修改为10
[beeswax]
max_number_of_sessions=10
2、hue
hue的server_conn_timeout调大点
hive:
1、自定义hive配置中,增加这个属性:
hive.server2.parallel.ops.in.session=true
2、hive
将hiveserver2和mestatore的堆大小调大一些
3/ 字符集问题见mysql
4/ 队列问题见emr fair-scheduler