

蓝鲸Influxdb节点迁移

嘉为蓝鲸

2019-10-11

导读：蓝鲸模块迁移是蓝鲸运维必不可少的技能，理解蓝鲸架构和安装脚本原理才能更好掌握模块迁移的方法，一定要在测试环境先验证自己的方法步骤，才能避免正式环境迁移出错

Influxdb是一个开源分布式时序、事件和指标数据库，使用 Go 语言编写，无需外部依赖。该组件在蓝鲸的功能定位是存储蓝鲸监控处理后的时序指标数据，在社区版属于单节点，在企业版属于双节点，由etcd+tsdbproxy+influxdb组成双写的架构。

在某企业的生产环境上，由于监控纳管的节点比较多，influxdb读写数据频繁，造成influxdb运行节点的机器内存不足，经常造成服务异常，因此，决定将influxdb节点迁移到内存充足的机器上，保证蓝鲸平台稳定运行。

Step1：前期准备

迁移方案的确定与测试，通过测试验证整理出升级步骤详情；
评估迁移的影响范围和风险，建立应对措施和回退方案；
申请变更窗口，安排相关人员，保证迁移后验证蓝鲸功能正常；

Step2：迁移方案

模块迁移属于蓝鲸运维工程师的必备技能之一，这里先讲解一下模块迁移的一般方法和思路：

若是迁移模块至新机器，需先初始化新机器环境，配置中控机到新机器免密，在新机器安装并启动consul服务
停止旧机器模块服务，删除$INSTALL_PATH/.intall_module的模块标签，停止相关计划任务
修改install.config模块定义文件，同步脚本和src文件
在目标迁移机器安装相应的模块，这里可以参考蓝鲸集成安装服务的脚本$CTRL_DIR/bk_install逻辑判断安装和初始化的步骤本$CTRL_DIR/bk_install逻辑判断安装和初始化的步骤
判断其它服务对迁移模块的依赖，这里可以参考架构图模块之间的依赖关系或查找其它模块的配置文件依赖，如这里以匹配job模块为例：grep -i job /data/src/*/support-files/templates/*，重新渲染依赖的模块配置文件，重启依赖的服务
若是迁移至新机器，判断迁移的模块是否需要连接mysql，判断方法同上，若有则initdata mysql授权

这里我需要迁移的目标机器已是蓝鲸原有的服务器，且迁移的是数据库，所以实际的迁移步骤会稍有不同，以下是迁移步骤详情：

备份需要迁移节点的数据库，并将备份目录拷贝至新节点，备份命令如下：

for i in `ls /data/bkee/public/influxdb/data`;do influxd backup -host 127.0.0.1:8088 -database $i /data/backup/influxdb_$(date +%Y-%m-%d);done

influxd backup -host 127.0.0.1:8088 /data/backup/influxdb_meta

迁移influxdb角色

停止需要迁移的influxdb节点；

systemctl stop influxdb

systemctl disable influxdb

清理crontab(influxdb tsdbproxy)

修改中控机install.config(删除旧节点，在新节点添加influxdb)，在新节点安装influxdb服务；

cd /data/install

./bkeec stop bkdata #停止监控数据写入

./bkeec sync common

./bkeec sync influxdb

直接ssh新节点直接安装influxdb

. /data/install/control.rc

. /data/install/install.rc

install_influxdb （如没计划任务手动添加crontab）

start_influxdb

start_tsdbproxy

检查influxdb服务解析是否正常

先删除旧机器/data/bkee/etc/consul.d/influxdb.json

中控机./bkeec update consul

dig influxdb.service.consul是否正常

还原数据到迁移后的数据库

进入新节点同步过去的influxdb备份文件目录

for db in $(ls *.rp_* | sed 's/\.rp_.*//' | sort -u); do influxd restore -database $db -datadir /data/bkee/public/influxdb/data /data/backup/influxdb_$(date +%Y-%m-%d); done

influxd restore -metadir /data/bkee/public/influxdb/meta /data/backup/influxdb_meta