苏宁全场景大数据用户画像实践入围2020 TOP100年度案例- 大数跨境

苏宁全场景大数据用户画像实践入围2020 TOP100年度案例

苏宁科技

2020-12-18

导读：《ClickHouse在苏宁用户画像场景的实践》入围2020 TOP100年度案例。

TOP100 Summit

Top100全球全球软件案例研究峰会（TOP100Summit）是科技界一年一度的案例研究峰会。峰会面向国内外软件/互联网领域研发团队征集优秀案例，经由行业资深技术专家组成的出品人团队筛选，最终甄选出最具分享价值的100个技术创新/研发管理实践入会，共同解读、点评，分享企业在本年度最值得总结、盘点的实践启示。

2020 TOP100大会于12月18日-20日在北京举办，苏宁易购旗下科技集团大数据中心高级架构师杨兆辉，携《ClickHouse在苏宁用户画像场景的实践》案例参会，并分享了苏宁全场景大数据用户画像实践。

杨兆辉

苏宁易购旗下科技集团大数据中心高级架构师，ClickHouse Contributor。在 OLAP 领域、大规模分布式计算领域有着深厚的技术积累，目前负责数据中台、标签平台相关的架构工作。曾就职于中兴通讯10+years ，从事大规模分布式系统研发。

案例简述

采用ClickHouse对标签平台进行重构，对标签的存储模型、数据分布、查询流程进行一系列的迭代优化，最终实现了6亿用户千亿级别的标签数据的秒级用户画像，带给用户很好的查询分析体验。
重点讲解了ClickHouse在用户画像场景下的性能优化思路，以及对其进行深度定制的功能特性。

案例背景

想做营销活动，如何找到目标人群及用户特征？人群的筛选通常离不开用户画像，用户画像就是根据用户特征、业务场景和用户行为等信息，构建一个标签化的用户模型。比如消费者用户画像分为属性和行为标签两类。通过多年的建设，苏宁构建了完整的用户标签体系，覆盖零售、金融、体育等多个产业。同时搭建了标签服务平台，通过开放丰富的标签数据能力，为广告、推荐等提供智能化的标签中台服务能力。随着数据的日益增多，如何对6亿用户千亿级别的标签数据进行秒级用户画像？本案例将带来用户画像技术的新发展和架构实践，介绍基于ClickHouse定制开发的标签平台，真正做到海量标签数据的快速导入和秒级用户画像查询分析，提供一整套从前期人群筛选到后期的营销策略优化的标签体系。

成功（或教训）要点

RoaringBitmap是一种广泛使用的Bitmap压缩算法库，通过将其集成到ClickHouse这款优异的OLAP分析引擎中，让ClickHouse在一行记录中可以保存大量的id信息。将标签模型用Bitmap的方式进行存储、计算，极大的提升了性能，同时在空间耗用上也比较低。在人群筛选、用户画像场景中发挥了很好的作用。在数据模型设计上充分挖掘了ClickHouse分布式并行计算的特性。亿级用户标签查询，秒级响应，带给用户很好的查询分析体验。

案例ROI分析

1、亿级以上人群画像响应时间在2到3秒，原先为20多秒。
2、支持标签数据准实时更新。
3、存储容量、数据导入性能、查询性能，可以通过增加机器线性扩展。
4、相对于ElasticSearch的配置，可以节约一半硬件资源。
5、标签表达式和查询SQL对用户来说比较友好，提升系统的易维护性。

案例启示

找到一款优异的开源软件，根据业务场景进行深度定制，让其更切合场景化需求，快速为用户创造价值，避免了重复造轮子，同时也将新增的功能特性回赠给社区，促进开源软件的进一步发展。