2.9. 安装后验证
2.9.1 环境检测
诊断工具
参数配置
修改lsql/config/site/check_env.sh内的以下参数: export DhadoopHome=/opt/software/hadoop export DJAVA_HOME=/opt/software/jdk export DzookeeperHome=/opt/software/zookeeper export DmachineList=/tmp/HadoopList.txt export DlsqlkafkaHome=/opt/software/lsql/lib export Dslavedir=/opt/software/hadoop/etc/hadoop export Dlogdir=/opt/software/hadoop/logs export kafkaHome=/opt/software/kafka export lsql_Home=/opt/software/lsql
启动
check.sh位于lsql安装目录的tools目录下 整体巡检 sh check.sh会诊断所有项目 单项巡检 sh check.sh xxx xxx包括: os 系统配置情况 hadoop hadoop配置情况 kafka kafka配置情况 oom 内存爆掉情况 zookeeper zookeeper情况 containerlogdir container日志路径 kafkahost kafka域名解析 interspeed 网络带宽
诊断完后查看日志文件存在于/tmp/check_result文件夹内
硬盘检测
进入lsql安装目录下的tools目录下找到diskcheck.sh
crontab 定时自动检测获取检测当前节点磁盘
crontab -e */5 * * * * sh /home/diskcheck.sh filename hadoophome javahome checkdirs > /home/ diskcheck.log 2>&1 保存 示例: */5 * * * *sh /opt/software/lsql/tools/diskcheck.sh sql_site /opt/software/hadoop /opt/software/jdk /data,/data2 > /home/diskcheck.log 2>&1
脚本参数详解
注意:启动脚本的时候 输入的是四个参数 第一个参数是需要输入一个文件名字(测试时需要创建的文件,本来不存在的文件) 第二个目录是hadoop所在目录, 第三个是JAVA_HOME目录(防止crontab找不到jps命令), 第四个是需要检测的目录(如/home/java,/data/hadoop),多个目录以逗号分隔。 说明:脚本在进行检测的时候 请注意输入的hadoop目录一定要准确, 示例: sh diskcheck.sh 【文件名】【/hadoop目录】【JDK目录】【检测目录】 结果说明:如果检测到磁盘有问题,默认输入的hadoop安装目录会被移动为xxx_diskcheck,来防止DataNode被kill掉之后collie再次把DataNode进程拉起。
其他节点检测需要先将diskcheck.sh脚本scp过去,之后修改参数加入定时任务