疫情期间，自助技术成为推动零售业发展的关键因素。无接触购物和支付、智能购物车以及全渠道系统的需求急剧增长。在视频分析领域已有技术储备的零售连锁企业脱颖而出。Х5集团创新部门负责人罗曼·蒂马耶夫介绍了其公司如何成为俄罗斯零售业的技术领导者之一。
Х5 Group早在2014年就开始在视频分析领域进行初步实验。截至目前，其创新部门正在评估27种理论上可应用视频分析工具的场景。其中部分场景已被集团实施或测试并获批准，但出于各种原因尚未正式投入运行。
“测试平台”包括集团旗下的普通门店以及实验性的“Пятёрочки #налету”。目前，X5拥有两家这样的门店，它们彼此差异显著。第一家位于莫斯科的"Испанские кварталы"住宅小区，这是一个至今仍继续运营的原型店。去年，X5在霍登斯基林荫道开设了新的"Пятёрочки #на лету"业态门店。
与原型店不同，新店的入口是开放的。顾客需使用“Пятёрочка #Налету”应用程序并注册Х5 ID才能进行购物。该门店采用“智能家居”模式运作：基于物联网（IoT）架构，店内设有15个摄像头监控全场动态，货架配备电子价签，出口处设有自助收银机。在#Налету门店，平均购物时间约为3.5分钟，最快仅需30秒。
据蒂马耶夫称，这一新概念仍需进行试点，并对某些决策进行现代化改造，但它更接近该集团希望在大众化形式中看到的样子。
商店中采用了该公司的多数技术成果，在某些方面与著名的Amazon Go相似，但也存在重要差异。
“与亚马逊不同，我们从一开始就致力于让‘无人收银店’模式在未来实现盈利。为此，我们放弃了一些我们认为成本过高的技术。在客户旅程中，移动应用发挥着最关键的作用，所有主要的购买环节都依赖于它。”蒂马耶夫表示。
根据X5的初步评估，视频分析技术使货架陈列合规性检查效率提升数十倍，将未购物离店顾客比例降低10%，并将门店损耗减少20%。
与商店顾客的互动
门店客流监测
在此情况下，视频监控系统的主要任务是识别进入商店的人员并追踪其在整个卖场内的移动轨迹，生成“热力图”，从而明确顾客最集中的区域、他们偏好的货架、阻碍通行的因素以及较少出现的区域。
"借助这套系统，我们可以提出假设，解释为何在特定地点某些商品销量不佳，并据此调整陈列或重新摆放货架，以提升相关商品的销售额。" 蒂马耶夫解释道。
目前，该系统仅在“Perkyost”（Перекрёсток）进行测试。在“Pyaterochka #налету”门店中尚未开展试点，因为这些门店规模过小，无法生成“热力图”。
商品条码扫描（“快速扫描”）
“快速扫描”系统是自助购物的关键解决方案。它将智能手机上安装的应用程序转变为个人收银台。该技术实现了对整个购买流程的全面支持——从扫描条形码、完成支付，到在商店本地系统、中央系统及销售税务系统中记录结果。
工作原理：开始使用前，需下载X5“快速扫描”应用程序，并使用X5ID注册，同时绑定银行卡以支付购物费用。在商店中，用户扫描想要购买的商品条形码。应用程序将代码发送到Goods服务，该服务掌握商品的所有主数据及其销售限制（例如涉及酒精类产品时）。随后，Price服务和促销机制微服务根据每位客户享有的所有折扣和优惠，生成商品的最终价格。顾客可在应用界面内完成结账并离开商店。
据X5分析师评估，应用用户平均在店内停留5分钟，比标准顾客少3分钟。使用“快速扫描”功能购买最多的商品是乳制品（17%）、干货食品（15%）、糖果点心（13%），以及果汁和水（各占11%）。
“我们于2020年9月开始测试这项技术，当时在不利疫情形势下，消费者对无接触购物有着迫切需求。然而，用户在2021年继续使用这一功能，因为他们切实感受到了它的便捷性。”蒂马耶夫表示。
实现该服务的主要难点在于，系统在商品购买过程中需考虑客户可能参与连锁旗下各商店的忠诚度计划。为此，引入了X5ID平台。
商店排队情况的监控与预测
该系统旨在防止排队人群聚集，预测收银员将无法及时处理大量顾客的情况。这减少了购物车被遗弃的数量和商店的声誉损失，降低了顾客的不满，因此NPS（净推荐值）也随之上升。
工作原理：安装在商店入口和收银台附近的摄像头组收集顾客数量数据，传输到神经网络进行处理。数学模型基于进站客流和收银台小票数据构建预测，预测时间间隔为10分钟。目前，在所需收银台数量测算方面的准确率已超过90%。
通过实时获取计数器数据、监控开放收银台数量并拥有历史数据，神经网络可以预测10分钟后服务区域内的人数。如果我们发现即使所有顾客均匀分布在各个收银台，仍有某个收银台有超过3名顾客，系统会自动连接商店的语音广播，通知收银员开启额外的收银台。
生物识别支付
作为X5在其门店中推广的最具前景的服务之一，非接触式支付通过Face ID模块实现。创新部门为自助结账机配备了专用前置摄像头，用于识别顾客面部。这些用于生物特征支付的摄像头在自助结账机开发初期就已内置，当公司决定推出“目光支付”功能时，无需进行额外的技术改装。
工作原理：客户在自助收银台付款时，可以选择“刷脸支付”选项。此时摄像头会启动，拍摄顾客面部照片，并向项目合作伙伴“俄罗斯联邦储蓄银行”（Sber）请求身份验证，由该行负责生物识别数据的存储与处理。系统会将采集到的生物特征数据与客户账户中绑定的数据进行比对。确认身份后，系统将自动从客户的银行卡中扣款完成支付。
“我们持续接入门店，配备面部支付模块的收银台不仅出现在新店，也出现在进行改造的老店中。目前已有超过300家门店配备了生物识别支付模块的收银机。”罗曼·蒂马耶夫表示。
如今每天已有成千上万的人通过人脸识别进行支付，公司对他们的兴趣表示完全满意。目前还过早地谈论该项目是否达到了既定的KPI，对其成功性的评估计划仅在2022年6月进行。在此之前，X5将与VISA联合开展一场营销活动。
顾客在店内的行为
视频分析系统评估人的移动模式并监测异常行为。它能够判断访客是想偷窃商品还是仅仅感到紧张，是否处于严重醉酒状态等。相应的信号会发送至安保部门。
此外，该系统还能发现顾客遗忘的包、从货架上掉落的商品、被遗弃的购物车或阻碍人们通行的放置在过道中的托盘。
"有时顾客会从冰箱里拿出鸡肉后改变主意。现在，等到被发现并放回原位时，时间已经流逝，鸡肉可能已经变质。算法将预警此类情况"，蒂马耶夫说道。
目前该解决方案仍处于开发阶段。
无人商店的反欺诈系统
在无员工商店中，视频分析最重要的应用是监控顾客的行为。早在2016年，X5就开始开发一种能够制止顾客违法行为的反欺诈系统。
在“无收银员商店”中试点了视频监控技术，该技术能在商店入口识别顾客面部并与之前有违规记录的顾客数据库进行比对。此外，系统还能监控每位顾客在店内的移动轨迹，例如判断顾客何时拿起某件商品又将其放回。
"我们没有引入识别具体哪些商品被拿取的系统，因为这是一项相当昂贵且耗时的工作。但神经网络能很好地应对经典的欺诈模式，即顾客从货架上拿了十件商品却只付八件的钱。此时会发生需要安保人员介入的事件"，蒂马耶夫解释道。
自助结账机的反欺诈功能
该系统目前仍处于开发阶段。其任务是追踪顾客试图欺骗自助系统的行为，例如将放入购物篮的虾替换为洋葱进行扫描。它还将防止未扫描商品带出、以其他商品的条形码冒充目标商品等行为。此外，它还能排除比欺诈更常见的低级错误，如因疏忽而未扫描商品的情况。
顾客年龄验证
潜在地，该系统可以在收银台识别顾客的年龄；如果顾客是未成年人，系统会向收银员发出要求，核实潜在购买酒精饮料、能量饮料或烟草制品的顾客的身份证明。然而，据蒂马耶夫解释，目前在俄罗斯，卖方仍需自行检查顾客的年龄，出于法律原因，尚不能在此环节使用技术。
个性化优惠
视频监控系统能够通过扫描进入商店的顾客面部，将其与忠诚度数据库进行比对，并分析这些人的购物历史。在顾客尚未开始购物时，系统可以为每位顾客生成个性化推荐，例如通过应用程序提供特定商品的折扣。然而，目前由于存在收集生物识别数据的法律限制，无法实施甚至启动此类解决方案的测试。只有作为生物识别数据运营商的主体才能尝试实施该方案。
卖场视频分析
价签监控
该解决方案旨在检查店内价签的存在及其准确性。
工作原理：通过对货架照片进行分析（照片中通常包含10至12个价签，具体数量取决于摄像头质量），系统可以识别文字。随后，识别出的文字将与系统中的数据进行比对。算法可以评估价签数据的准确性。此外，它还能发现未标注为促销商品的位置。
货架商品识别
另一项在X5进行过试点开发的成果是基于SKU级别的货架商品识别系统。
工作原理：算法读取监控货架摄像头的信号，并将其与门店的商品目录及仓库库存进行核对。其任务是确保当前货架上至少陈列有一件对应SKU的商品。
这些改进对销售额有积极影响，尤其是在实时运行的情况下。该技术货架商品识别准确率达到93.7%。在试点期间，它能够识别约1500种商品。实施自动化货架商品库存控制的潜在收益可能使货架商品可得性提高2%至5%，从而带动销售额增长。
排面管理控制
该工具执行对商品在货架上的摆放位置与商品陈列图一致性的检查。
店员使用应用程序拍摄商品陈列照片。经过专门训练的神经网络会自动将该照片与相应货架区域的排面图进行比对，确定差异并向员工提供建议。例如，如果商品在门店仓库中有货，系统可能会建议补货。这是一个更为复杂的系统，不仅监控商品是否存在，还监控其数量是否充足。
"算法知道，在该货架位置，理论上应该正面朝向顾客摆放两瓶0.5升的可口可乐。一旦出现任何不符，它会自动计算出员工应如何纠正问题，并将结果告知员工"，蒂马耶夫介绍道。
该系统已在莫斯科地区的五家“Перекресток”（交叉路）超市进行测试。据蒂马耶夫介绍，该系统使计划图的编制简化了数倍，提高了货架上商品的可用性，将未购物离店的顾客比例减少了10%，并将商店的损失减少了20%。
"一个问题在于，为每种商品进行识别训练并维持这种系统以应对商品轮换的成本非常高昂"，蒂马耶夫解释道。因此，该公司目前正在测试替代解决方案。
货架利用率监控
存在一个类似但稍简单的任务，这也是视频分析系统所面临的任务之一——确定货架上有多少商品。
工作原理：算法分析商品之间的空隙，一旦空隙超过特定阈值，就会向员工生成任务指令：补货茶、面条、糖果等。该解决方案不需要具体确定货架上摆放的是哪种商品，因此成本较低。
在试点商店引入技术后观察到，与对照组（没有视频货架监控系统）相比，部分商品类别的平均客单价有所增长。这是实现成本最低的货架商品监控方案，但由于不同商店出现了相反的结果，目前尚未获得利用率百分比对销售额影响的统计显著性证据。因此，目前尚未讨论在“Пятёрочка”大规模部署该系统。
不过，有两个商品品类已部署了远程货架利用率监控系统，即果蔬区（ФРОВ）和烘焙区。果蔬区被认为能吸引最多的门店客流并提升客单价，确保顾客始终有充足的高质量蔬果选择至关重要，因此与粮油或乳制品区不同，必须持续监控负责该区域员工的纪律执行情况。
视频分析可以监控展柜的填充情况，并预测陈列中出现空位的可能性。及时向员工发送通知不仅可以改善生鲜食品区（ФРОВ）的丰满度，还能提高部门的清洁度。
该技术已在30家“Перекрёсток”超市进行了测试。目前正在进行覆盖130家连锁超市的扩大试点。监控范围已扩展至自有烘焙食品的陈列。此外，公司还在测试水果和烘焙食品的质量评估系统，这些产品将在店内展示。这将实现烘焙食品实时动态规划的能力。
"在烘焙品类中，我们不仅引入了这项技术，而且已经更进一步：我们正在试点让系统识别每个层级的商品组合"，蒂马耶夫补充道。
机器人理货员
2021年8月，“Пятёрочка”在测试模式下开始使用一款专用机器人。该设备能够构建门店地图，在货架间自主移动，绕过障碍物和顾客，并扫描货架。同时，系统会对货架上的商品和价签进行识别，以便与陈列图进行比对，从而发现缺货情况并检查价签的正确性。
算法分析腾出的空间，不仅评估商品陈列，还评估整个货架的深度。机器人还能够检查价签的存在以及标价的正确性。所有收集到的信息会迅速传输到服务器进行进一步处理，随后商店员工会收到关于发现的不一致之处的报告。
视线管理
一种摄像头跟踪访客视线的解决方案。借助它，客户可以自助结账或管理店内的价格查询器。该场景目前甚至尚未由该公司开发，但其前景正受到积极探讨。
与员工的互动
在收银员秤上识别称重商品（“智能秤”）
智能秤系统帮助收银员处理称重商品。它能自动识别水果、蔬菜、糖果等物品，即使商品装在袋子里也能成功完成任务，从而加快收银操作速度。
据“Пятёрочка”统计，称重商品出现在30%的收据中。在一小时内，收银员平均进行约47次称重操作，每次操作平均耗时14.5秒。目前，该解决方案已在108家门店完成试点。试点结果显示，物体识别准确率达到98.4%。
蒂马耶夫表示：“目前，我们将此解决方案与其他替代方案进行比较，以确定哪种将投入批量应用。我们的任务是弄清楚，这项无需使用视频分析系统的技术，能否达到‘智能秤’所展现的性能指标（即商品称重速度提高30%，整个收银通道的整体通行能力提高5%）。”
收银操作的视频监控（“КЭШ контроль”）
该系统允许监控收银员在工作岗位上的操作，旨在防止盗窃和错误。
工作原理：收银区上方安装了摄像头，用于监视收银员的动作。专用算法以在线模式分析收银数据，将其与摄像头画面进行比对，从而发现收银员的可疑行为。
系统会分析收银机上的按键操作、收银员的行为、各项收银操作之间的时间间隔以及其他行为模式。如果算法怀疑存在欺诈行为，它将创建事件并将请求发送给安全部门。安全部门员工将以手动方式查看录像并处理这些事件。
热成像仪
X5认为在食品零售中有两种使用热成像仪的模式。
A. 第一种系统已部署并在公司办公室积极使用，用于检测进入公司的员工和访客的体温，并识别可能患病的人员。流动式热成像仪能够分析所有访客流量。一旦发现体温过高的人员，其进入办公室的权限将被阻止。
B. 监控制冷设备的运行状况。用于检测因各种原因导致存放冷冻或冷藏食品的靠墙冰箱温度升高的情况。
蒂马耶夫解释说：“如果设备发生故障，并不总是会自动创建事件并将相关信息传送到监控系统。有时是冰箱内部的传感器工作不正常。借助外部热成像仪观察可以解决这一问题。”
该系统目前仍在测试中。
基于FaceID的员工考勤
2020年，X5推出了升级版的价签扫描器。该应用不仅帮助顾客通过条形码查询店内商品价格，还具备多种其他功能：提供库存余量信息、展示或提交用户对商品或门店的评价、支持在“Pyaterochka”预约面试，以及像“投诉与建议簿”一样留下反馈意见。其中包括，借助该设备根据生物特征数据进行员工考勤。
工作原理：店员只需使用平板电脑内置的摄像头拍摄一张照片，即可完成上班打卡和下班签退。其余工作由自动化的面部识别与工时记录系统完成。
此外，该设备为员工提供信息服务：包括访问个人帐户、学习信息门户以及其他服务。
办公室和仓库工作
汽车安全与监控系统（"防瞌睡系统"）
该系统监控从配送中心向门店运送食品货物的卡车司机的状态，其任务是防止司机因自身行为在道路上引发事故。
工作原理：该方案采用了行车记录仪和面向驾驶员的摄像头。它们记录驾驶员的状态，包括头部转动、面部表情、眨眼频率等因素。算法判断驾驶员是否疲劳或注意力下降，并预测其是否有在驾驶过程中睡着的风险。当系统检测到此类情况时，会及时发出警示以防止事故发生。根据每位员工的精力状况制定司机的工作排班表。
此外，借助该系统可以监控影响驾驶不谨慎和不安全的行为：如聊天、吸烟和打电话。电子系统能够评估驾驶安全程度，为此收集有关交通标志和标线、与前车的距离以及急刹车或急加速等信息。该系统非常适合新手司机。