大数跨境
0
0

浅析分布式备份系统架构

浅析分布式备份系统架构 云容灾备份安全治理
2018-01-02
2

适合读者

本服务说明书是适合于各省政务云管理机构介绍我们新一代基于云计算的备份平台运营服务的文档,使政务云管理机构理解并使用我们的产品设计所需要的备份服务平台,内容:

1、政务云数据安全的挑战;

2、政务云备份的核心技术;

3、政务云备份的技术架构; 

适合用户

此服务说明书介绍的云备份运营服务平台同样适合于:

1、政府信息主管部门建设的智慧城市以及政务云平台的数据备份;

2、各种类别的基于主机或机柜出租的互联网数据中心(IDC);

3、新型以出租云主机或云存储为业务的云计算服务平台;

4、各种以企业园区为使用单位的园区云运营机构;

5、大型分布广泛的企业数据备份;

6、主机托管或云计算运营商

阅读对象

云备份运营服务平台:所有G-cloud的使用人员,包括但不限于租户,测试人员等。鉴于租户管理的客户数据可能多种多样,因此阅读本文所需要的知识面也比较广泛,但是通常讲,阅读本文您需要以下基础知识:

1/ 良好的linux/windows系统管理知识

2/ 良好的数据库管理员DBA相关知识

3/ 良好的网络知识

4/ 良好的虚拟化,例如VMware/KVM相关知识

5/ 良好的存储知识,例如分区,格式化,挂载等知识

一、政务云数据安全的挑战

电信和云平台供应商2015年的建设,政务云计算平台已经建成,2016年,则是“上云”的密集期,到明年,非涉密电子政务系统都将在政务云中心建设和运行,全市社会管理和公共服务事项基本实现信息化覆盖。各级政府的重要政务运行数据都将集中到政务云的平台上,由云计算带来的数据大集中可以减少建设和运维的投入,但也带来更大的数据安全威胁。虽然云存储采用了对象存储,每一份数据保留了三个副本,但还是会有以下的数据丢失威胁:

Ø  应用程序或操作系统出错

由于操作系统或应用程序中可能存在不完善的地方,当碰到某种激发事件时,应用程序非正常终止或系统崩溃(只能通过改善程序或系统来解决);

Ø  人为错误

一些人工的误操作,如删除系统或应用文件,终止系统或应用服务进程,也会导致系统服务的无法访问;

Ø  电脑病毒/黑客入侵

由于目前的大多数计算机系统均连接在网络上,若缺少有效的防范机制,很容易遭受病毒的感染或黑客的入侵,轻者数据被损坏,重者系统瘫痪(只能通过加强管理杜绝);

Ø  自然灾害

由于一些意外的不可抗拒的因素,如雷击、火灾、洪灾等导致的计算机系统破坏,将会使一般系统的恢复非常困难和耗时,导致业务系统长时间的中断。

Ø  正常的停机

主要指计划内的系统升级、安装软件、系统备份等过程。

Ø  系统硬件故障

虽然有了三个副本,但数据也不全是万无一失,硬盘,分布式存储同样存在硬件故障,电源、硬盘、主板等都有出现故障的可能;对于省政务云平台运营服务机构,数据备份和灾难恢复是必须提供给租户的关键服务内容,如果没有措施能够保障租户的数据,甚至是无法成功恢复的数据,对租户以及对整个政务系统来说是个巨大的灾难。

 电子政务外网的政务云平台服务于政府部门,几百个业务系统,每个部门的数据又是属于部门私有,传统以内网和管理员为单位建立的独立备份系统的方案不再适合平台运营服务环境。政务云管理机构迫切需要一个能够支持在云计算环境下的数据备份方案,用以保护云上用户的数据安全。原先孤岛式的备份系统,省政府无法对数据的安全与备份进行及时有效的监管,只能依靠下级管理员的书面汇报,当数据汇集在云计算中心时,也迫切需要一个统一的数据备份监管平台,这个平台还要求统一到云计算监管平台,实现监控要求。

Avatar Cloud云备份平台是为云计算模式设计的备份平台,提供“平台共有、数据私有”模式的政务云备份服务,除了基本的备份功能外,平台完全是按照云计算模式设计的全新一代备份系统,主要特点有:

1.  备份系统所有资源按照用户模式提供,每个开通的用户拥有单独的备份管理界面;

2.  具体的数据备份完全由用户自助操作,平台管理人员无需参与到备份任务的定义,从而避免每个用户需要将自己的系统或者数据库密码交给平台管理员;

3.  按需申请与使用;与云计算资源一样,备份系统的资源(如备份空间,客户端数量,备份窗口时间,带宽)都由管理员定义并开通,租户只有在分配好的资源下使用。

4.  “平台共有,数据私有”,建设一套云备份平台,可以提供给几百个用户共同使用,相比每个用户单独建设备份系统,大大的降低了建设和维护成本。

5.  政务云管理机构可以监管租户的备份情况,通过监管平台,云备份管理人员可以监管所有任务的运行,可以查看统计报表,及时监管用户的数据备份和资源使用情况。

Avatar Cloud云备份运营平台提供了强大的、可扩展的、以及方便使用的备份和恢复方案,用以保护客户的基础数据。适合虚拟、物理以及混合的计算环境。云备份平台,采用了最新的技术手段,可以将数据备份到本地的磁盘、虚拟磁带库以政务云存储空间。通过Web界面简单的点击,用户可以很快的建立自己的备份系统,而无需关心复杂的备份服务器端的建设和维护,因为服务器端是共享的运营平台。

 常规的文件数据备份,Avatar Cloud云备份更加侧重于电子政务系统的数据,如虚拟机、数据库系统。保护用户所有需要保护的数据。为其服务于政务云提供一站式建设方案。

二、    政务云备份的核心技术

Avatar Cloud云备份运营平台允许服务提供商能够提供基于多租户备份服务,租用客户可以将自己的数据保存在本地或者异地存储设备。需要时,用户可以快速和方便的恢复自己的数据。运营商可以集中监控和管理所有备份操作。提供的云备份系统集合了以下关键型技术:

1、 数据采集和恢复安装在客户服务器上的Avatar Cloud的客户端具有从各个操作系统和数据库中获取需要的数据的能力,并根据设定的时间安排,自动运行;当执行数据恢复时,客户端可以将从备份设备传输来的数据插入到操作系统或数据库系统中。

2、 数据加密和压缩:不同于传统局域网的备份,云备份必须更加注重数据的加密和压缩,不仅仅是节约宝贵的带宽,更是为了保证数据的安全,“平台共有,数据私有”是我们的设计原则,任何用户包括管理员都无法恢复用户的私有数据,我们会提供增强的加密手段,采用128位的AES加密算法,如果需要,客户还可以单独设置密码的方式以获得更加安全的数据保障。为了减少带宽的使用,Avatar Cloud在数据传输时采用了高效的压缩和重复数据删除技术,使得备份和恢复更加快速。

3、 网络穿透技术:虽然用户最终都会采用云主机和云存储的模式,但在目前大部分租户云上数据只是一部分,很多租户还是希望将本地机房的数据也备份到云中;还有客户需要将云上的数据备份到本地来。Avatar  Cloud支持复杂的网络环境,支持NAT、PPPOE、VPN等低带宽地址不固定的网络环境。

4、 并行与分布式架构:云计算用户的增长以及每用户数据量的增长,都要求云备份的容量是弹性的,Avatar Cloud采用分布式架构,通过并行的扩容提高存储容量和I/O带宽。

5、 运营管理、计费、SLA:Avatar Cloud云备份的商业模式是给用户提供增值服务,有可定制化的管理模式和收费模式,运营机构可以根据用户使用量(容量、客户端类型数量、带宽)进行收费,从而获得收益。

三、           云备份技术架构

Avatar  Cloud云备份运营平台可以在政务云计算中心建设的过程中或者运营后进行单独建设,不影响原有计算业务的服务。独立建设一套备份系统,对于1000台以下规模的政务云服务机构。所需要的软硬件如下: 

名称

常规配置

数量

说明

云备份对外运营Web服务器

双志强E5处理器,32GB 内存,6TB 系统磁盘

2

2台可以做负载均衡

云备份数据库服务器

双志强E5处理器,32GB 内存,6TB 系统磁盘

2

2台可以做负载均衡

备份设备(磁盘)

不低于200T的分布式文件系统、磁盘阵列或者虚拟磁带库

1

作为备份设备

备份设备(磁带库,离线导出)

50槽位,LTO5以上磁带库

1

可选

备份软件

Avatar  Cloud 软件

1

提供备份服务

管理控制台

I5以上台式机器或者笔记本

1

运营管理控制台

政务云后台一共需要5台角色服务器,分别为agent/master/db/device/web。

操作系统建议用ssd安装;db服务器建议采用ssd部署数据库;所有服务器建议至少双千兆网卡绑定以预防网络故障。分布式备份系统组成架构,如表所示

备份软件内容

系统盘

数据盘

CPU

内存

网络

备注

Agent

240G SSD

1TB

4核8线程以上

8G

双千兆口


Master

240G SSD

1TB

4核8线程以上

16G

双千兆口


Db

240G SSD

512G SSD

4核8线程以上

16G

双千兆口


Device

240G SSD

16TB

4核8线程以上

16G

双千兆/万兆口

可多台

Web

240G SSD

1TB sas

4核8线程以上

8G

双千兆口

连接邮件服务器

以上配置,一台Master,三台device可以支持100个租户,300个客户端。如果数据量很大, Device服务器还可以加。

架构图拓扑图:

说明:G-cloud 的最终使用方,通常是最终用户的数据管理员,由他使用G-cloud前台界面完成用户数据的备份,恢复以及其他运维工作。下图整个G-cloud的拓扑架构,红框部分,即为租户A和租户B专注的工作内容:

主要特点:

提供本地磁盘备份、本地到云、云到本地的备份和恢复模式;

全面兼容主流操作系统,包括各种版本的Windows、各类Linux和IBMAIX\HP-UX\Solaris 操作系统;

支持常用数据库系统,包括Oracle、SQL Server、Mysql;

支持主流的虚拟机系统Vmware,KVM;

将服务平台提供的磁盘空间作为云备份空间提供给客户使用;

结合本地备份和云备份,可以满足客户快速恢复数据的要求;

提供客户简单友好的操作界面,减少技术支持需求;

提供计费、开通、充值等运营功能;

提供界面和功能定制服务,树立良好的服务平台形象。


【声明】内容源于网络
0
0
云容灾备份安全治理
分享云灾备规划、实施、运营、备份与恢复、数据安全、数据治理;窥视国内外备份软件与监控软件知识前沿水平线; 越努力,越幸运!
内容 2171
粉丝 0
云容灾备份安全治理 分享云灾备规划、实施、运营、备份与恢复、数据安全、数据治理;窥视国内外备份软件与监控软件知识前沿水平线; 越努力,越幸运!
总阅读4.1k
粉丝0
内容2.2k