5.2.2. 列簇用途

列簇用于管理不同列保存不同的周期。列簇存储适合只是追加,并不需要修改的数据,如:日志数据。lsql的列簇存储是将行存数据直接存储在hdfs上,通过减少了索引合并,从而提升创建索引的效率。不同的列簇可以设置不同的生命周期,不同的存储介质。

对于一张宽表可以有多种数据融合方案,如下所示:

假设一张宽表共300个列:

  • 前100个列都是图片,文件存储,比较大,保存10天,存储在SATA盘上;
  • 中间100列都是文本内容,经常全文检索,保存30天,一份副本存SSD,其他副本存储SATA;
  • 后100列,都是轨迹与关系数据,占存储空间相对较少,但需要进行统计分析,故存储90天,最近7天一份副本存在内存里,7天外存储在SSD,另外一份副本存储在SATA做备份。
Copyright © lucene.xin 2020 all right reserved修改时间: 2021-07-02 11:42:23

results matching ""

    No results matching ""