2.1.4 环境搭建
本次测试使用7台机器来部署LSQL集群,服务规划配置情况如下:
表2.1.4.1集群部署配置表
内存配置情况如下:
表2.1.4.2内存配置表
注意点
YARN的NodeManager内存默认8G包含在ResourceManager中;LSQL的Executor内存分配也是由YARN调控的,故包含在其中;LSQL的Driver分配28G内存但实际占用32G内存;
DataNode内存默认由1G调整为3G相对较小故忽略此部分内存占用,空白的为默认内存相对较小故忽略此部分内存占用;
Yarn分配给RM的内存为lsql的executor数量32G;
每台节点的executor数量= (机器总内存-机器总内存*1/4)/32
※当机器总内存*1/4 < 32G时,预留32G给系统以及其他进程开销