11月25日，苏宁科技集团研发中心技术总监李永翔进行了门店数字化赋能系列课程——《低成本赋能门店数字化》的分享，他表示苏宁全数字化视觉无人店不是基于人工智能技术的门店业态的终点，而是线下门店数字化技术突破的起点。苏宁从立项第四代视觉无人店项目研发的开始，即着眼于如何去赋能苏宁数十种业态数万家门店，如何提升消费者在线下门店的购物体验以及门店自身的管理水平。
以下为演讲视频：
以下基于演讲内容整理:
大家好，我是来自苏宁科技集团星河云研发中心的技术总监李永翔，今天给大家带来的是我们门店数字化专项的第九期直播课程，主要是和大家分享苏宁第四代全数字化视觉无人店是如何低成本的赋能门店数字化的。本期课程将和大家分享如下三方面内容：
1）门店数字化的内容；
2）无人店技术赋能门店数字化；
3）门店数字化解决方案。
我们首先来看当前线下零售门店遇到的挑战和机遇。挑战主要有人货场三个方面。首先是消费者需求的变化，90后、95后、00后已经逐渐成为消费群体的主力，该群体的特征是对价格并不敏感，但更加重视购物体验和商品品质，他们既有自己的个性化需求，同时也愿意融入社群，愿意分享自己的观点，重视社群领袖的意见。这正是当前拼购和直播成为零售领域重要带货方式的原因。其次是商品管理难度加大，商品种类极大丰富，线上电商的SKU数以千万计，线下门店的SKU也数以万计，传统供应链的定产定销方式已经不能满足消费者的快速变化需求，但是另一方面，长尾商品特别是在线下门店，对销售额和利润贡献率低，长时间无人问津，门店和仓库的日常盘点耗费大量人工。最后就是门店业态规模扩张迅速，当前城市化率不断增加，例如苏宁就有十多种业态，超万家门店，门店业态也从单一的电器店扩张到便利店、生鲜超市和百货广场等多种形式，每月新增开店往往数十上百，门店数量急剧增加后，人员管理难度加大，流程规范执行到位等都对我们提出了非常大的挑战。
为了应对这些挑战，我们更多的是顺应市场发展趋势，基于大数据、云计算和人工智能等技术手段，化被动为主动，从六个主要的产品维度去考量，从人货场角度来解决上述的困难。首先从消费者需求角度，我们采用精准推荐和互动营销的方法，去选取符合消费者需求的商品，并通过无感知的方法精准触达，通过AR/VR，社群直播的方式去提升消费者的体验。对商品来说，我们采用反向定制和无人盘点，将商品需求端和制造端互通连接并提升商品管理效率，对日常的商品管理来说，我们通过无人盘点技术，推广到门店数字化中去，通过半自动化的方式结合多种传感器，实现对货架和库房商品的盘点。对于门店的管理，我们采用数字选址和场景监控的方法，精准的识别被选址地区的人群属性和客流量等，对于日常的监控，我们通过视觉识别技术对门店的环境和人员服务规范进行实时的督查，来进行日常的门店管理。综合这六个维度，我们希望可以满足日益变化的消费者需求、商品的管理以及门店的快速扩张。
下面我们来看门店数字化中的产品和技术矩阵，无人店项目的研发正是围绕这六个产品维度，就是刚才说精准推荐、互动营销、反向定制、无人盘点、数字选址和场景监控，进行的技术攻关和强化。从无人店技术研发角度来说，我们建立起了图像算法、推荐算法、硬件能力、媒体终端四个技术点。
拆解来看，在图像算法中，通过无人店技术研发，积累起了在线下场景中，更加智能和准确的人脸识别、行人检测、通用物体检测和商品识别等。攻克了无监督自学习、增量学习、拥挤遮挡行人轨迹、人货交互行为分析和商品注册机制等技术难点。举例来说，在精准推荐中，需要精确的人脸识别获取我们的用户ID,通过行人检测获取用户完整的行人轨迹动线，通过人货交互行为分析算法，获取人与货的关系。
在推荐算法中，主要获取用户画像以及实践成功完整的基于线下购物行为的实时商品推荐系统，在线上推荐系统中，完整的推荐算法，已经在过去三四年得到了广泛的应用，例如短视频、音乐以及线上电商的商品等，但是在线下商品推荐中，很难对用户的行为做出完整、精确的认知，并且形成推荐决策机制，通过无人店技术研发，我们积累起了基于视觉识别技术对用户ID到用户行为轨迹到用户行为的完整闭环，将用户的线下行为一一对应到线上中，例如线上的浏览、评论、加购等，实现了线上线下要素的一一对应，将现有基于互联网电商的推荐算法复制到线下，形成线下端到端的实时推荐系统。
从硬件能力来看，传感采集和边缘加速是整个AI技术落地到线下场景中的两个关键技术，其中传感采集，不仅包括传感器还包括相机，采用多传感器多相机的数据采集方式，我们获得了多种信号、多模信息的综合，以此来获取完整的人与货的感知。边缘加速算法，也就是边缘计算盒子，我们真是因为有了边缘加速，我们才能够将AI模型比较低成本的放到线下场景中来，获取大量的推广和应用。
最后就是媒体的终端展现方式，我们通过大屏展示、短信、APP、微信等终端方式，通过ABTest的方式，实量对用户触达迭代机制，以此实现完整的推荐营销的闭环。
我们以无人店项目中可以拆解到门店数字化的三个典型技术能力来详细介绍。首先来看无人店技术的用户“一人一档”，它是指用户在苏宁线上与线下购物的全生命周期维持统一的ID标识，线上包括苏宁易购APP、公众号和小程序等，线下包括苏宁小店、电器店和家乐福等。同时，线上线下共享同一套用户画像，包括用户性别、年龄、购物习惯等。此外，在线下我们通过人脸抓拍相机、3D深度相机、普通安防相机的视频数据采集，得到门店内外完整的客流信息以及顾客轨迹，再结合门店实际销售数据，得到较为准确的客流核心链路转化率并辅助门店动线设计；人脸识别在线下门店场景相比配合式的人证比对，由于成像质量不高以及姿态多变，准确率一般下降明显。我们通过分库和多姿态注册的机制，在生产环境构建用户的长短期人脸注册照以及临时的全身注册照，相互校验保证ID准确。
其次从商品角度看，如何实现“自动建模”。自动建模是我们无人店商品研发的一个亮点，过去商品识别算法相对人脸识别算法的难点在于三个方面，首先是商品识别算法本身的难度，我们知道如果是人脸识别，首先要做到人脸检测，以此对人脸进行归一化，降低人脸识别难度，但是商品的种类非常繁多，线下大型门店的SKU种类数以万计，小型便利店的店内SKU虽然只有数百，但是变动频繁，因此识别率较低并且注册机制繁琐，这就是商品识别本身的难度。那么正因为有这么多的SKU，我们的样本积累也是非常耗时耗力，我们知道建立一个比较标准的人脸识别模型，可能需要数十万、百万张图片，这还是人脸仅仅一个品类。相当于商品来说，商品数十万SKU，如何采集样本图片、标注，如果按照传统的算法，成本是非常高的。
我们知道在线下门店中，货架上商品并不是一成不变的，这些都对商品建模的算法提出了比较大的挑战。通过无人店技术研发，我们提出了自动建模算法，它的基本原理是结合传感器、视觉的图像信息和货架棚格图，去实现完整的生产环境自动的建模和模型迭代流程。我们简单介绍下，首先每个货架有各自的棚格图，棚格图就是指导每个货架摆放哪些商品，考虑到可能有错拿错放，我们货架上有称重传感器，通过重量变化对商品的种类做限制，结合棚格图就对此时此刻用户拿取商品做了个监督信号，在生产环境中，我们通过货架上方的视频相机截取了用户拿取商品的视频片段，结合称重、触发以及棚格图信号作为半监督，我们就可以实现生产环境中模型的更新。我们只需要训练一个通用的模型，来把人手上的商品给截取出来，那么在生产环境中结合传感器、棚格图信号，可以假设在实际中至少有95%的商品是符合我们的称重变化和棚格图的限制，基于95%都正确的假设，实际上经过统计确实如此，通过我们深度学习挖掘能力，排除5%的错拿错放情况，另外的95%正常的数据去迭代商品识别模型，这样就省去大量离线的人工标注，可以在线不断的更新迭代商品识别模型。
有了商品检测算法以后，就可以在门店数字化应用中实现三个方面业务能力，第一，可以检查货架商品的规范，如排面商品陈列是否符合棚格图规范、排面商品陈列是否符合管理规范等；第二，我们可看到商品转化率，识别用户拿取放下商品的次数，绘制商品热力图，结合销售数据得到商品转化率，指导单品经营决策；第三，可以帮助做商品盘点，对于无人店，能够实现货架的实时盘点，并能统计店内顾客的虚拟购物车；对于一般门店，能够实现店内货物的非实时盘点（闭店无顾客购物时刻）。
接下来介绍怎么通过无人店技术实现推荐算法“双线融合”。线下门店的最大痛点是难以实现精准的人货匹配，根本原因是缺乏完整的线下推荐系统链路，因此在线下场景中用户的消费体验没有线上好，因为很难通过搜索的方式，获得符合预期的商品。对于门店来说，也无法像线上一样精准的弹出广告、推送消息给用户。通过我们无人店技术的研发，实现了推荐系统的双线融合。举例来说，我们的一用户最近浏览的家居商品很多，那为什么我们苏宁易购的1页面推荐的是小Biu全屋智能呢，我们是通过算法模型，将用户的浏览、点击等行为进行输入，但是在线下场景中呢，因为无法感知用户，以前是没有任何输入的，但是在线下，我们现在可以获取用户走过哪些货架、拿取哪些商品等行为，这些都是推荐算法依据，这样就可以将线上算法和线下算法一一对应起来。
那么线下用户画像，第一可以通过用户ID去复用线上用户画像，第二可以通过线下积累的数据，去获取用户线下画像。举例来说，为什么我们苏宁易购APP2的位置是台手机，而不是同类型的台式电脑，位置3不是商品而是维修的服务呢，这些从算法层次来说，是通过向量embedding算法的方法，推测用户画像、商品画像哪个距离最小，以此来作为推荐依据。同样，在以前线上有用户积累行为，在线下同样可以获取用户行为，构建用户画像，通过向量embedding表示算法去推测用户的兴趣爱好。在推荐展现方式上，线上是不同的广告位，线下则通过店内大屏，复用现场APP等方式推送给用户。所以不论从用户画像、用户行为、商品画像、推荐方式这四个维度，我们都可以在线下找到和线上一一对应的方式。因此称之为双线融合。
最后我们以两个解决方案来具体看下，我们的无人店技术是如何赋能门店数字化的。第一个案例是便利店饮料选品，这个是以苏宁第四代全数字化视觉无人店落地的研发工坊BIU店来举例说明的。在研发工坊BIU店开业后的三个月左右，数据统计发现“饮料货架区域长时间停留的女性客流比例”和“饮料消费的女性比例”存在15%的差异，换句话说，饮料品类的女性消费者转化率显著低于男性。再通过分析销售数据发现，女性消费者更加偏爱无糖、低卡、网红类饮品，而这三个品种的饮料在店内占比确实较少，原因是工坊BIU店的现有饮料品类的SKU配比由类似便利店的历史销售额占比决定，没有考虑客流量属性，更无法获取饮料区域男/女性客群的转化率。在明确的数据分析指导下，工坊BIU店增加了以上三个品类饮料的数量，将现有饮料品类销售占比后10%的SKU替换为新引入的无糖、低卡和网红类饮品。并在随后的销售数据中得到印证，我们替换后整体的饮料类销售额提升了20%。也就是说我们将以前空缺的女性消费者的潜力挖掘出来了，同时维持住了以前的热销商品。同理，我们还将这样的数据分析方法推广到了全店SKU的选品和定价中去。
这个案例是想说明我们整个线下门店的选品是可以通过AI技术去精准指导的，在过去只能通过店长、营业员等直观经验去选品，但是选品工作，往往不是热销产品就有好的销量，热销商品之间可能存在互相挤占的现象，我们必须通过对人群客流的分析，分析每个客群喜欢什么样的商品，以此达到整个店铺营业额的最优。
下面这个案例我们来看无人店技术如何赋能比较大的场景，比如百货商场全场景监控系统。以苏宁生活广场慈云寺店举例，苏宁生活广场（慈云寺店）集餐饮、娱乐、商超、办公于一体，总建筑面积47000平米大型综合体。为提升用户购物体验，更全面的感知用户消费行为，我们将无人店的全场景视觉技术应用到生活广场对外营业楼层的智能化改造方案。
通过这个智能化的改造方案，我们希望能够达到对整个对外营业场景，就是1-3层的商超、餐饮区域实现对用户行为的全流程感知。在过去，商超里面的监控摄像头往往只是起到事后人工回看的功能，不能进行实时检测、更不能对门店的经营起到帮助的作用。我们现在的方案是结合现有的监控信息、网络结构进行布线改造，再添加一些采集设备，增加相机密度，增加计算设备，达到全场景智能化升级。
我们来主要看三个方面，第一个是相机部署方案，从相机部署来看，主要包括三个场景，分别是出入口、扶梯口、长通道和开阔区域。其中出入口主要部署的是人脸抓拍相机是用来获取用户的ID,同样在扶梯口也是部署的人脸抓拍相机，因为扶梯口往往是楼上楼下，行人的追踪往往是有个断层的。在长通道和开阔区域部署的是俯拍安防相机，对用户的全场景轨迹做一个持续的跟踪。
第二个是视觉算法解决方法，我们的相机采集主要分为三个场景，首先是进店，通过人脸抓拍相机识别用户的人脸ID,通过人脸的ID规划到前面所说的“一人一档”，去检测识别到用户的苏宁会员ID，并且与当前的行人检测建立起临时的行人ID,因为行人的场景变化是比较多样的，是无法做到对多个店面，通过行人全身像去关联，所以我们是通过人脸关联到不同店的ID。在通道或者开阔区域，通过行人跟踪检测算法，维护全流程行人轨迹踪线，如果遇到行人丢失，或者遮挡、弯腰、上下扶梯等，那么他的行人轨迹踪线必然丢失，这个时候是通过人脸ReID或者行人ReID算法关联恢复轨迹踪线，最后是出店。
硬件方案成本方面主要是两套方案，主要是计算成本，第一套是常规方案GPU服务器，我们是单台服务器，4块T4卡，单块T4卡可满足8路视频流实时计算，总预算如图所示。同时，通过无人店技术研发，我们还积累了边缘盒子，边缘计算加速能力，我们知道边缘盒子，也就是边缘计算，往往能够大幅降低计算成本，还具有很多优势，首先是部署方便，其次很多边缘盒子往往自带了视频解码芯片，可以大大降低GPU和CPU的解码计算的压力，同时部署时的散热、噪音等都比大型服务器小。综上就是我们无人店对视觉识别技术的研发，对整个的线下百货商场的全场景监控系统做的方案规划。
通过以上，我们可以看到通过对无人店技术研发，可以分解到线下门店的各种场景中去。我们热忱的欢迎线下零售业态的朋友们和我们一起加入到线下零售技术研发的大潮中，提升线下门店技术研发的能力与部署的进程。
