4.8. 运维页面

运维页面是直观反映集群状态的重要页面，一般一些问题、错误或多或少均会在这些运维页面上有所暴露。通过检查这些运维页面，可以帮助用户更快地定位问题。

4.8.1 LSQL主页面（1210页面）

在地址栏中输入装有LSQL的服务器地址，指定1210端口（如http://192.168.0.105:1210）即可访问LSQL主页面，主界面如下图。

​ 图 4.8.1.1LSQL主页面

机器标识：服务器当前使用网卡的MAC地址等硬件标识 当前IP：服务器当前配置的IP地址 当前时间：服务器时间 编译版本：LSQL当前正在运行的版本 存储空间：服务器当前 集群角色：当前节点的角色 授权状态：是否授权 授权日期：授权时间 授权结束：授权结束时间

4.8.2 数据表状态

在主页面上点击“数据表状态”或直接在地址栏输入http://lsql集群主节点地址:1210/tablelist（如192.168.0.105:1210/tablelist）可查看数据表状态，如图。

​ 图 4.8.2.1数据表状态

该页面展示了当前数据表的状态，包括表名，表类型，分区数等，可让用户对LSQL内现有数据表进行初步了解。

表名：LSQL中现有的数据表的表名 表类型：数据表的类型，一般分物理表和映射表。 分区数：该表所拥有的分区数，一般映射表和没有数据的物理表分区数为0，导入数据未指定分区的物理表分区数为1(默认分区)，根据业务实际情况分区的，分区数以实际为准。 表大小：数据表在HDFS上占用的存储空间，分为sata,ssd0,ssd1，分别对应在SATA盘(sata)和SSD盘(ssd0,ssd1)上占用的存储，默认数据全部存在SATA，只有配置了异构存储策略才会将数据存储在SSD。 文件数、目录数：数据表在HDFS上存储的文件数量和目录数量，亦分为sata,ssd0,ssd1，且满足异构存储策略。 看明细：点击后可在页面下方，查看到该表详细信息和表结构以及该表相关的XML配置文件，如下图。数据预览则展示该表该分区的20条记录，数据条数则是统计展示该表该分区的数据总量。 路径：该表相关的XML配置文件存储位置。

​ 图 4.8.2.2数据表明细

4.8.3 数据清理记录

在主页面上点击“executor列表”或直接在地址栏输入http://lsql集群主节点地址:1210/cleaner（如:http://192.168.0.105:1210/cleaner）可查看数据清理记录，如图。

​ 图 4.8.3.1数据清理记录

该页面为数据清理记录页面，记录清除过期的数据表和清除垃圾目录的历史记录，在每10-15分钟执行一次垃圾目录检查与清理工作。

4.8.4 executor列表

在主页面上点击“executor列表”或直接在地址栏输入http://lsql集群主节点地址:1210/executorlist（如:http://192.168.0.105:1210/executorlist）可查看executor列表，如图。

​ 图 4.8.4.1executor列表

该页面为executor列表页面，可让用户初步了解有哪些executor正在运行，以及它们正运行在哪些服务器上。 {主机1=executor数1[,主机2=executor数2, 主机3=executor数3…]}为当前运行在各节点executor的情况，每行均为一个executor的状态。其中端口为1210的为LSQL主进程，不参加其他executor的计算、统计等工作。 域名：该executor所在的主机名 心跳：距离上一次发送心跳包的时间 启动：该executor已经启动的时间，正常情况下所有executor应和端口1210的LSQL主进程启动时间相等。 端口：该executor使用的端口 partXXXXX：每个executor上使用的分区号，对应其在HDFS上管理的分区，总分区数为CL_EXECUTOR_COUNT × CL_EXECUTOR_PARTITIONS（在lsql-env.sh中可配置）。该分区数要小于Kafka集群消费Topic的分区数。 SparkId：该executor的SparkID，可在Spark界面上看到（见下文Spark页面章节），当节点发生故障重启时，SparkID会递增。 ExecutorId：该executor的ID。 Pid：该executor进程PID号，在服务器上以CoarseGrainedExecutorBackend进程存在，对于主进程(端口为1210的)，则以SparkSubmit进程存在(可通过jps命令查看，对应下图中的PID)。

​ 图 4.8.4.2 查看进程

4.8.5 sql执行日志

在主页面上点击“sql执行日志”或直接在地址栏输入http://lsql集群主节点地址:1210/sqlstat（如:http://192.168.0.105:1210/sqlstat）可查看SQL执行日志，如图。

​ 图 4.8.5.1 执行日志

该页面记录SQL执行状态，包括历史执行SQL（最多1024条）和当前正在执行的SQL以及问题SQL的错误记录，用户可据此检查SQL的执行状态和问题。 ①id：SQL序号，增序排列，页面最多显示1024条。 ②运行状态：SQL运行状态，常见的有running（正在执行）和finish（执行完毕）。长期未结束的SQL和大规模查询SQL会影响系统性能。 ③sql类型：mdrillsql（LSQL里层执行）和hivesql（spark外层执行），嵌套复杂sql以及指定返回数据超过30000条的SQL将放到spark层执行，效率会有所下降。 ④运行时长：以毫秒为单位，若SQL未执行完，此项会持续增长。 ⑤运行开始/结束：SQL开始/结束运行的时刻，未执行完的SQL结束时间为全0。 ⑥执行日志：LSQL里层SQL会有mdrill标记，执行完的SQL会记录首次响应耗时（查到数据），首次返回数据耗时（返回第一条）和整体完成耗时（全部返回完毕)。若在SQL执行中报错，错误日志会被记录。 ⑦执行SQL：记录执行的SQL语句。 同executor状态，文本框亦可进行筛选操作，大小写敏感。如输入running或0000-00-00，可筛选出所有正在执行的SQL。

4.8.6 用户与权限

在主页面上点击“executor状态”或直接在地址栏输入http://lsql集群主节点地址:1210/userlist（如:http://192.168.0.105:1210/userlist）可查看用户列表，如图。

​ 图 4.8.6.1 用户列表

LSQL启动后即存在一个用户root，该用户不会在页面上显示。当创建新用户后，此页面会显示当前用户列表与用户所持有的权限列表。

4.8.7 executor状态

在主页面上点击“executor状态”或直接在地址栏输入http://lsql集群主节点地址:1210/executorstat（如:http://192.168.0.105:1210/executorstat）可查看executor状态，如图。

​ 图 4.8.7.1executor状态

该页面显示了所有executor的状态，包括executor启动时间，系统状态，数据消费情况等。本页面内容较多，是需要重点关注的页面之一。 rows表显示了当前运行的executor，以indexId:sparkId的形式展现（indexId即executorId）。 hostname表展示了各节点运行的executor数量。 文本框为筛选查询用，可用来查找相应的关键词所在的executor的状态，输入关键词后点击search即可查询（大小写敏感)。

executor基本信息： ①当前进程信息：进程PID以及给该executor分配的内存使用情况。 ②日志目录：该executor日志的记录目录，当executor发生故障或重启时，可借由此日志定位问题。 ③操作系统信息：服务器操作系统CPU、内存状态以及文件打开数量。 ④资源监控：缓存及列、索引的打开情况。 ⑤缓存命中率：读写cache的命中情况，入库情况。 ⑥索引合并状态：实时索引合并的情况，出于节约存储考虑，LSQL会适时进行索引合并（一般为晚上22点），有ram2disk_write,buffer_write,disk_write,final_write四种索引合并，颜色为红色表示正在进行合并，白天所有索引合并大小(size)应小于2GB。 ⑦索引合并统计：小时内各类索引合并的统计情况。 ⑧Kafka消费监控：从对应Topic消费数据的情况，若数据积压严重（消费进度低于90%），会以红色显示。 ⑨按小时统计：前一小时内的警告（紫色）、错误（红色）提示。 按天统计：一天之内的警告（紫色）、错误（红色）提示。 需要关注的点：

​ 图 4.8.7.2executor基本信息

4.8.8 慢sql日志

在主页面上点击“sql执行日志”或直接在地址栏输入http://lsql集群主节点地址:1210 /sqlstat slow=true（如:http://192.168.0.105:1210/sqlstat slow=true）可查看SQL执行日志，如图。

​ 图 4.8.8.1慢sql日志

同sql执行日志，该页面仅显示已查询结束且查询时间超长的SQL（执行时间超过3分钟），未执行完成的长时间SQL不会被收录。此页面上的某些SQL，若其他SQL仍能正常查询返回，则需检查此SQL是否存在优化空间。若所有查询都被归为慢SQL（如图中的查询)，则应检查环境是否存在问题。