大规模图搜索和实时计算在阿里反作弊系统中的应用- 大数跨境

首页

大规模图搜索和实时计算在阿里反作弊系统中的应用

京一

2017-03-07

导读：淘宝反作弊结构淘宝反作弊体系结构可以从数据、算法、和系统三个维度来解释数据主要是将识别的作弊数据汇总到买家、

一、淘宝反作弊体系结构

淘宝反作弊体系结构可以从数据、算法、和系统三个维度来解释。

数据：主要是将识别的作弊数据汇总到买家、宝贝、订单和卖家四个维度并全量提供给了数据平台供各业务方使用，即可用作算法训练样本的特征，也方便系统查询和监控作弊数据的趋势变化情况；

算法：覆盖了包括账号网、交易网、资金网和物流网四网合一的大数据，彻底打通了售前、售中、售后全链路业务，可以多方位识别各种作弊行为；

系统：主要是建立在数据层基础之上的一套包含监控预警、在线分析和风险运营系统，能快速高效地窥视刷单行踪并及时阻断其获利点；

此外，淘宝反作弊系统还引入了评估体系，是评价淘宝反作弊的效果和价值的一套完整方法，主要包括人工和算法结合的评测，召回率和准确率用来评估算法模型本身的覆盖面和精准度，落地率、纯净率和反弹率来评估业务效果和价值。

道高一尺魔高一丈，无论刷单手法多么诡计多端，淘宝反作弊算法体系都能快速响应。其中最重要的就是实现了一套覆盖全链路（售前、售中、售后）大数据（账号网、交易网、资金网、物流网）的实时分析处理能力，因此任何一条隐蔽性强的“精刷”作弊路径都可以被海量大数据从多个点来进行算法建模和交叉分析，从而能快速地识别并控制住风险。淘宝反作弊算法框架大致见下图1。

图1 淘宝反作弊算法框架

淘宝反作弊算法框架主要覆盖了阿里电商两大场景：日常反作弊和大促反作弊。算法主要是以大规模图挖掘（Graph Mining）和在线学习（online learning）为核心，在线学习可以对一些规则性的算法做到实时更新模型用来防范“试探性”地作弊手段，主要是基于规则的的模型（决策树和LR逻辑回归模型），根据一些交易特征建立强规则来进行识别计算，对那种明显的商品作弊模式的识别非常高效；而大规模图挖掘则是通过跳出行为“局部性”的方法考虑行为的“全局性”来深挖“精刷”类型的作弊手段。比如概率图模型对用户行为路径进行时间序列建模（假设正常用户的行为轨迹的时间序列是服从某种概率分布，异常的行为轨迹在某些点上服从其他概率分布），对那种机器刷单或者固定模式刷单能非常有效地识别；图标签传播模型可以来做团伙刷单的识别，对炒信平台隐蔽性高组织性强的“精刷”模式的识别非常高效准确。为了进一步验证算法模型的精准性，反作弊体系也增加了实时干预模块来做交叉验证和分析，主要包括专家知识、人工举报、异常监控和人工评测，这些外部数据源加工处理后可以作为验证数据动态帮助模型进一步优化。