6.11. 数据快照

6.11.1. 快照介绍

​ 人为误操作是不可避免的,因管理制度的不同,仅仅是概率大小的不同。而实际情况每个厂商也均出现过因为误操作,将客户积累多年的数据给弄丢的情况。而数据丢失则有可能会给用户带来严重的经济损失。快照功能是在发生误删后恢复数据最佳的方式

基于lsql的快照策略

1. 删除数据找回

​ lsql的索引支持快照,如果因为人为误操作等原因,清理掉了数据,传统的ES集群是无法找回丢失的数据的,而lsql则可以将误删的数据从快照中找回,避免数据丢失带来的巨大损失。本身创建快照不会像异步备份那样耗费太多的成本,不需要单独复制数据出去,创建速度很快,一个1PB的集群2~3秒就可以创建一个快照。 ​

2. 升级回退

​ 快照在升级的时候也非常有用,一旦升级失败,有可能因为BUG和兼容性等原因,造成之前的旧索引损坏,数据丢失,而快照在这种升级失败情况下的回退是一个很好的安全保障。

建议启用快照,如果不启用会有如下风险

1. 一旦误操作,将数据清理掉,则无法恢复数据,数据永久丢失。

2. 程序升级有可能存在索引不兼容的问题,一旦没升级好,索引损坏了,则无法回退。

6.11.2. 快照使用

1. 创建快照

​ 在/opt/software/lsql/sbin/目录中添加snapshot.sh脚本实现数据创建快照,定期对hdfs数据进行备份,以防误删数据。

使用样例:

sh snapshot.sh             需要创建快照的路径        此目录能创建的快照最大数量
lsql/sbin/snapshot.sh              /data                         3

参数3标识保留最近三个快照,通常情况下,我们会将快照放到定时任务里,每天创建一次快照。

2. 查看快照

查看.snapshot 下快照是否生成成功:

hadoop fs -ls /data/.snapshot/

快照生成后也可以在hdfs的50070页面看到生成的快照。

3. 快照恢复

hadoop fs -cp /data/.snapshot/20191125162639 /data/
Copyright © lucene.xin 2020 all right reserved修改时间: 2021-07-02 11:42:23

results matching ""

    No results matching ""