7.9. Kafka动态刷新topic

7.9.1. Kafka动态刷新topic概述

​ 之前版本的LSQL在每次修改lsql-site.properties里kafka的相关配置后,都需要重启lsql才能够使配置生效。备受客户的诟病,因而在2.1版本中修改这一问题。之后的版本中对于lsql-site.properties的修改不需要重启LSQL,只需要将该文件同步到HDFS即可,请确保该文件一定要与本地的文件保持同步。

7.9.2. kafka动态topic的使用方法

在lsql启动的情况下将lsql/config/site/lsql-site.properties文件上传到HDFS指定目录

  1. lsql-site.properties文件下添加如下配置(该参数必须在lsql启动前配置完毕)
cl.kafka.refresh.mode=cluster #开启监控线程
  1. 修改lsql/config/site/lsql-site.properties ,为了看到效果请换一个其他的topic ,这样的效果更明显。
  1. 将修改后的文件同步到HDFS,HDFS目录为lsql-env.sh里配置的CL_HDFS_PATH
CL_HDFS_PATH=/data

则上传文件时应该执行的步骤为

hadoop fs -rm -f /data/ lsql-site.propertieshadoop fs -put /opt/software/lsql/config/site/ lsql-site.properties  /data/ lsql-site.properties
  1. 观察LSQL的1210界面,查看executor状态,可以看到对应kafka的统计信息的改变。

​ 注:请确保本地文件和HDFS文件是同步的,如果HDFS上的该配置文件存在,那么在LSQL的进程里是会覆盖本地配置的。

Copyright © lucene.xin 2020 all right reserved修改时间: 2021-07-02 11:42:23

results matching ""

    No results matching ""