大数跨境
0
0

DSG数据异构实时复制助力全国第七次人口普查

DSG数据异构实时复制助力全国第七次人口普查 DSG Financial Division
2021-05-23
1
导读:关键词:人口普查、数据异构实时复制背景:前些日第七次人口普查结果陆续的公布了一些数字,让我们再一次通过具体的统计分析数字感受了近10年间人口的一些变化趋势。

关键词人口普查、数据异构实时复制

背景:前些日第七次人口普查结果陆续的公布了一些数字,让我们再一次通过具体的统计分析数字感受了近10年间人口的一些变化趋势。

一、 为什么要人口普查

我国人口普查每10年进行一次,尾数逢0的年份为普查年度全国人口普查相当于对人口进行一次全国大点名全国人口普查涉及每一个人、每一个家庭以及社会的各个方面,不只是要摸清人口总数这一项指标,还要全面查清人口结构、分布等方面的最新情况,要统计的事项涵盖姓名、公民身份号码、性别、年龄、民族、受教育程度、行业、职业、迁移流动、婚姻生育、死亡、住房等方方面面的情况。因为只有摸清楚人口家底,才好提供基础设施,做好社会保障等方面安排,为制定和完善相关民生政策提供决策依据;同时摸清人力资源结构信息,才能够更加准确地把握需求结构、城乡结构、区域结构、产业结构等状况,为建设现代化经济体系后续产业的发展提供信息支持;也是为人口战略和政策提供信息,才能更好地完善人口发展战略和政策体系,促进人口长期均衡发展。

二、 怎么实现人口普查

        人口普查工作分三个阶段进行:普查准备、普查登记、数据汇总和发布阶段。在当下数字化和高科技快速发展的今天,用好各项先进的信息技术是确保普查工作顺利、高效完成的关键因素之一。而承载这么大数据量的采集数据存放及统计数据分析,数据库的选择至关重要。

TDSQL做为本次采集数据存放的数据库,它是腾讯打造的一款企业级数据库产品,具备强一致高可用、全球部署架构、高 SQL 兼容度、分布式水平扩展、高性能、完整的分布式事务支持、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。现已品牌升级为TDSQL MYSQL版本(TDSQL for MySQL)

TBASE做为本次统计数据分析的数据库,它是腾讯自主研发的分布式数据库系统,集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身,采用无共享的集群架构,为用户提供容灾、备份、恢复、监控、安全、审计等全套解决方案,适用于GB~PB级的海量 HTAP 场景。现已品牌升级为TDSQL PostgreSQL版(TDSQL for PostgreSQL)

三、 DSG数据异构实时复制在本次人口普查中具体做的工作

1.从腾讯TDSQL分布式数据库实时同步到腾讯TBASE数据库

 

2.通过解析TDSQL 日志文件提供总数据量、日增数据量、高峰数据量、延迟数据的指标(部分延迟受业务影响)

    3.提供腾讯TDSQL分布式数据库实时同步到腾讯TBASE数据库的运维及故障快速处理



四、 DSG数据异构实时复制在本次人口普查中克服的难题

1.TDSQL(MYSQL引擎)数据库到TBASE(PG引擎)数据库的数据异构实时复制,并且要保证业务高峰数据同步的实时性,确保统计数据的时效性、准确性

2.TDSQL数据库节点切换后,DSG数据异构实时复制软件能自动接续从新节点断点分析及保证数据一致性

3.源端TDSQL字符集utf8mb4到目标端TBASE字符集UTF-8乱码的解决

4.新开发出并发写入机制并通过不断优化将写入TBASE(PG引擎)偏分析型数据库性能提升近三十

5.仅用两名交付工程师完成现场高并行、高强度、高压力、长时间的现场工作

五、 沉重哀悼袁爷爷

第七次人口普查结果显示,全国人口共141178万人。我们泱泱大国14亿多的人口,吃的饱饭并且全员脱贫,绝对和袁隆平院士“我毕生追求就是让所有人远离饥饿”的誓言和为之奋斗一生实干精神分不开。当听到他突然离世的消息我们不敢信,不愿信,不禁感叹:天地有灾,圣人离去;国士无双,先生千古!

 


1999年,国际天文学将1996年中科院河北兴隆观测站发现的一个小行星命名为:“袁隆平星”。国际小行星中心给它的永久编号是8117,今这颗小行星运行到了位于南边天区的天秤座内,虽然这颗小行星肉眼看不到,且距离我们非常遥远,我们没法亲临参加袁爷爷的追悼会,但不妨向南边的天空注视一下,致敬袁老,袁爷爷一路走好!

六、 附:第七次人口普查结果

(一)人口总量。全国人口共141178万人,与2010年(第六次全国人口普查数据,下同)的133972万人相比,增加7206万人,增长5.38%,年平均增长率为0.53%,比2000年到2010年的年平均增长率0.57%下降0.04个百分点。数据表明,我国人口10年来继续保持低速增长态势。

(二)户别人口。全国共有家庭户49416万户,家庭户人口为129281万人;集体户2853万户,集体户人口为11897万人。平均每个家庭户的人口为2.62人,比2010年的3.10人减少0.48人。家庭户规模继续缩小,主要是受我国人口流动日趋频繁和住房条件改善年轻人婚后独立居住等因素的影响。

(三)人口地区分布。东部地区人口占39.93%,中部地区占25.83%,西部地区占27.12%,东北地区占6.98%。与2010年相比,东部地区人口所占比重上升2.15个百分点,中部地区下降0.79个百分点,西部地区上升0.22个百分点,东北地区下降1.20个百分点。人口向经济发达区域、城市群进一步集聚。

(四)性别构成。男性人口为72334万人,占51.24%;女性人口为68844万人,占48.76%。总人口性别比(以女性为100,男性对女性的比例)为105.07,与2010年基本持平,略有降低。出生人口性别比为111.3,较2010年下降6.8。我国人口的性别结构持续改善。

(五)年龄构成。0—14岁人口为25338万人,占17.95%;15—59岁人口为89438万人,占63.35%;60岁及以上人口为26402万人,占18.70%(其中,65岁及以上人口为19064万人,占13.50%)。与2010年相比,0—14岁、15—59岁、60岁及以上人口的比重分别上升1.35个百分点、下降6.79个百分点、上升5.44个百分点。我国少儿人口比重回升,生育政策调整取得了积极成效。同时,人口老龄化程度进一步加深,未来一段时期将持续面临人口长期均衡发展的压力。

(六)受教育程度人口。具有大学文化程度的人口为21836万人。与2010年相比,每10万人中具有大学文化程度的由8930人上升为15467人,15岁及以上人口的平均受教育年限由9.08年提高至9.91年,文盲率由4.08%下降为2.67%。受教育状况的持续改善反映了10年来我国大力发展高等教育以及扫除青壮年文盲等措施取得了积极成效,人口素质不断提高。

(七)城乡人口。居住在城镇的人口为90199万人,占63.89%;居住在乡村的人口为50979万人,占36.11%。与2010年相比,城镇人口增加23642万人,乡村人口减少16436万人,城镇人口比重上升14.21个百分点。随着我国新型工业化、信息化和农业现代化的深入发展和农业转移人口市民化政策落实落地,10年来我国新型城镇化进程稳步推进,城镇化建设取得了历史性成就。

(八)流动人口。人户分离人口为49276万人,其中,市辖区内人户分离人口为11694万人,流动人口为37582万人,其中,跨省流动人口为12484万人。与2010年相比,人户分离人口增长88.52%,市辖区内人户分离人口增长192.66%,流动人口增长69.73%。我国经济社会持续发展,为人口的迁移流动创造了条件,人口流动趋势更加明显,流动人口规模进一步扩大。

(九)民族人口。汉族人口为128631万人,占91.11%;各少数民族人口为12547万人,占8.89%。与2010年相比,汉族人口增长4.93%,各少数民族人口增长10.26%,少数民族人口比重上升0.40个百分点。民族人口稳步增长,充分体现了在中国共产党领导下,我国各民族全面发展进步的面貌。

 

PS.公司与产品简介

公司简介:迪思杰(北京)数据管理技术有限公司

迪思杰是一家专注数据管理领域,拥有业界领先的数据实时复制工具及平台的原创技术型公司,成立18年以来主要专注于数据备份、迁移、容灾、复制、交换、共享、集成、大数据应用等。

·  公司拥有北京、成都、西安三个研发中心

·  1000+以上客户,10000+套软件线上运行

·  26个办事处,近200多名技术工程师

· 主要行业客户:运营商、政府、金融、公安、医疗等


产品简介迪思杰数据异构实时复制

DSG SuperSync是迪思杰(北京)数据管理技术有限公司研发的一款拥有自主知识产权的大型数据库高性能同构&异构数据复制平台。广泛的应用于容灾备份、业务分离、数据异构、数据共享、数据迁移、数据上云、大数据应用等诸多场景;拥有全量复制、增量复制、结构变更同步、数据探测、数据转换、数据脱敏、数据质量实时检测、数据集成、数据校验、图形化多维动态监控等功能;具备全量增量一体化、实时日志分析性能高、支持结构变更同步、字符集转换、特殊字段及特殊属性表同步,多种数据分析模式及多种数据装载模式,多种异构数据库之间同步,支持多种复制架构等优点。围绕DSG SuperSync提供DMP监控管理平台、DataXone数据集成平台、XCMP数据管理平台、NDMP数据切换平台等多种专属功能平台,并可以组合搭配使用,满足客户不同需求。


【声明】内容源于网络
0
0
DSG Financial Division
DSG 数据时代的数据管理领导者!
内容 3
粉丝 0
DSG Financial Division DSG 数据时代的数据管理领导者!
总阅读5
粉丝0
内容3