专栏主题：大数据与数据技术
针对大规模物联网(IoT)数据完整性验证中存在的计算效率数据质量监控是数据处理领域的重要挑战。提出了一种创新方法，通过规则配置高效生成数据质量验证规则与告警策略，并在单一SQL查询中实现多指标并发校验，显著提升了校验效率。详细阐述了技术方案设计原理并做了性能对比实验：数据处理速度提升10~20倍,规则配置效率提升4~5倍，实际应用中的资源消耗指标(CPU、内存）与传统解决方案基本一致，准确率仍保持在99.99%，为大数据环境下的数据质量管理提供了可量化的参考实践。
大数据 数据治理 数据质量 数据清洗 数据质量监控
程胜,郜美华,冉瑛,等. 数据质量高效校验方法研究［J］.网络安全与数据治理，2025，44（10）：75-79.
民航局2022年印发《关于民航大数据建设发展的指导意见》［1］，明确要求加强数据质量管理。航信作为民航数据服务的主要提供商，其数据质量直接影响航空安全与运营效率。
根据国际数据治理协会统计［2］，数据质量问题导致企业平均每年损失15%~25%的营收。传统数据质量工具(如Apache Griffin)存在配置复杂(平均每个规则需4~6步操作)、执行效率低(单指标独立SQL查询)等问题。本研究通过实证分析，提出了一种优化方案，经生产环境验证，配置效率可提升5倍(从平均15 min/规则降至3 min/规则)，执行速度提升8~10倍(多指标合并查询减少I/O开销)。
程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1
(1.中国民航信息网络股份有限公司重庆分公司,重庆401120;
2.中国民航信息网络股份有限公司,北京101300)
本文收录于《网络安全与数据治理》2025年10期！
点击杂志封面进入电子期刊专栏
👇⬇⬇⬇
了解更多请关注我们---
