7.9. Kafka动态刷新topic
7.9.1. Kafka动态刷新topic概述
之前版本的LSQL在每次修改lsql-site.properties里kafka的相关配置后,都需要重启lsql才能够使配置生效。备受客户的诟病,因而在2.1版本中修改这一问题。之后的版本中对于lsql-site.properties的修改不需要重启LSQL,只需要将该文件同步到HDFS即可,请确保该文件一定要与本地的文件保持同步。
7.9.2. kafka动态topic的使用方法
在lsql启动的情况下将lsql/config/site/lsql-site.properties文件上传到HDFS指定目录
- lsql-site.properties文件下添加如下配置(该参数必须在lsql启动前配置完毕)
cl.kafka.refresh.mode=cluster #开启监控线程
- 修改lsql/config/site/lsql-site.properties ,为了看到效果请换一个其他的topic ,这样的效果更明显。
- 将修改后的文件同步到HDFS,HDFS目录为lsql-env.sh里配置的CL_HDFS_PATH
CL_HDFS_PATH=/data
则上传文件时应该执行的步骤为
hadoop fs -rm -f /data/ lsql-site.propertieshadoop fs -put /opt/software/lsql/config/site/ lsql-site.properties /data/ lsql-site.properties
- 观察LSQL的1210界面,查看executor状态,可以看到对应kafka的统计信息的改变。
注:请确保本地文件和HDFS文件是同步的,如果HDFS上的该配置文件存在,那么在LSQL的进程里是会覆盖本地配置的。