大数跨境

生成式人工智能如何助力亚马逊消除结账排队,重塑购物体验

生成式人工智能如何助力亚马逊消除结账排队,重塑购物体验 亚马逊
2023-09-27
2
导读:生成式人工智能及其他支撑亚马逊Just Walk Out技术的技术,正让排队结账成为历史。
无论西雅图海鹰队在场上面对哪支球队,他们的球迷总能赢得胜利。其秘密武器来自亚马逊的人工智能(AI)。
去年,海鹰队的Lumen Field成为首个引入亚马逊Just Walk Out技术的NFL体育场。该技术允许球迷进入餐饮区随意挑选商品后迅速返回座位,无需排队结账或等待收银员。
Just Walk Out技术让球迷能够进入餐饮区,随意挑选想要的商品,然后迅速返回座位,无需在结账队伍中等待。
这一成就融合了计算机视觉、物体识别、先进传感器、深度机器学习模型以及近期备受关注的生成式AI。
亚马逊研究人员让这些技术在后台无缝协作,几乎瞬间确定顾客拿取的商品并正确计费,实现“拿了就走”的购物体验。
亚马逊副总裁兼杰出科学家Gérard Medioni表示:“在不了解这项技术的情况下,它感觉就像魔法一样。但创造这种‘魔法’——即确定谁拿了什么——比你想象的要难得多。”
Medioni领导了该技术的研发团队,项目始于八年前。如今,Just Walk Out技术已在超过70家亚马逊自有门店及美、英、澳等地85多家第三方场所投入使用,涵盖体育场馆、机场、杂货店、便利店和大学校园。
Medioni指出:“当人们需要赶飞机或观看比赛时,不喜欢排队等候。我们开发Just Walk Out技术,正是为了满足购物者快速进店、找到所需商品并迅速离开的需求。”
在Lumen Field,Just Walk Out技术取得了显著成功。自2022年9月在District Market安装以来,这家提供啤酒、汽水、零食及周边社区特色菜肴的便利店销售额较原址翻倍以上,球迷满意度评分创历史新高。此后,Lumen Field又在八个额外餐饮区引入了该技术,成为全球拥有最多此类应用场地的体育场馆。
西雅图海鹰队运营副总裁兼Lumen Field总经理Zach Hensley表示:“我们在狭窄通道中看到了吞吐量显著增加,拥堵减少,满负荷运营时客流更加平稳有序。Just Walk Out是一项无缝衔接的技术,能让球迷在比赛暂停期间快速获取饮食并尽快回到座位。”
以下是使Just Walk Out技术顺利运行的各项技术详解:

计算机视觉和机器学习使 Just Walk Out 技术成为可能,同时保护客户隐私

顾客持信用卡或通过Amazon One掌纹设备进入商店。Amazon One是亚马逊推出的基于掌纹的身份识别和支付系统,使用人工智能和机器学习将信用卡与手掌关联。
店内天花板安装了多台专用摄像头俯瞰整个区域。Just Walk Out技术副总裁Jon Jenkins表示,计算机视觉与机器学习的结合使系统能够识别“谁拿了什么”,并在顾客离开时正确计费。
当顾客拿起一罐苏打水时,技术会将其添加到虚拟购物车;若放回货架,则自动移除。
Jenkins补充道:“我们的技术能够区分不同的购物者,而无需收集或使用任何生物识别信息。Just Walk Out技术检测到购物者的手与商品接触后,机器学习算法会确保将正确商品添加到虚拟购物车,整个过程无需了解个人特定信息。”
Just Walk Out技术独立于Amazon One运行,不收集任何生物识别信息。信任与隐私是该体验的核心。技术仅将顾客与其支付工具关联:进店时分配临时数字代码作为唯一签名,离店后清除;再次返回则分配新代码。
Medioni表示:“在每张图片中,我们能识别出属于某个人的像素数量。例如顾客脱下外套,身份特征会随移动更新。我们不收集生物识别信息,只需知道人在店内的位置及其手与商品的相对位置。”
该技术精度极高,甚至能追踪购物群体。多人可使用同一张信用卡进店,系统分别追踪个体但关联至同一支付工具,这对家庭购物非常实用。离店时,系统识别同卡顾客并为整个交易生成一张收据。
Medioni举例:“曾有一天来了一辆旅游大巴,车上90人全部用一张信用卡付款。即使顾客分开离开,我们仍能追踪该团体的购买情况。”

货架传感器与传感器“融合”技术,实现精准收据

Just Walk Out技术利用物体识别功能准确识别三明治、薯片等商品。Medioni表示,系统经过训练已明确观察对象,“如果顾客不小心放错商品,系统会相应调整”,并提醒店员归位。
对于口香糖或口红等较小且不易察觉的商品,货架上的重量传感器会在顾客拿起时进行检测。
Jenkins表示:“非常小的物品对计算机视觉系统是挑战,因为摄像头捕捉的信息有限。引入额外传感器解决了仅靠摄像头难以解决的问题,实现了许多令人惊叹的功能。”
货架上被称为“称重传感器”的重量传感器与摄像头输入数据相融合,帮助系统判断顾客拿走了哪件商品。
Jenkins强调:“Just Walk Out技术的关键在于,我们始终针对每家门店的独特情况进行分析,以确保部署最合适的技术组合。”

利用生成式 AI 和合成数据构建稳健的系统

在生成式AI成为热门话题前,亚马逊研究团队就已运用该技术开发Just Walk Out,通过创建逼真的合成数据集来解决现实中难以获取或教会计算机理解的情境信息。
Medioni表示:“这与自动驾驶汽车类似:基本场景易处理,但存在大量复杂的长尾案例。如果系统从未见过类似事件,表现可能不佳。因此我们生成虚拟顾客执行类似活动的视频片段,训练系统做出正确决策。”
Medioni及其团队使用生成对抗网络(GAN)为Just Walk Out技术创建合成数据。
他表示:“借助GAN,你可以完全控制虚拟顾客的每一个动作。”
团队使用了数百万张AI生成的合成图像和视频片段,模拟真实甚至罕见的购物场景,包括不同店铺布局、照明条件及人流变化。这种训练使Just Walk Out技术扩展为能准确识别数百万种行为而不出错的系统。
Medioni强调:“当顾客离开时,对其购买商品的准确记录至关重要。”
基于计算机视觉的Just Walk Out技术已在全球投入使用,新门店每月陆续开业。但Jenkins表示,就应用范围而言,亚马逊目前“才刚刚触及表面”。
他说:“我们从人们赶时间等明显应用场景入手,但长远来看,该技术几乎适用于任何地方,且不仅限于零售领域。这项基础技术具有内在的可迁移性。”
了解更多Just Walk Out技术和由Just Walk Out技术驱动的商店在您附近。
【声明】内容源于网络
0
0
亚马逊
亚马逊旨在借助亚马逊全球资源,帮助中国卖家抓住跨境电商新机遇,发展出口业务,拓展全球市场,打造国际品牌。
内容 3102
粉丝 0
亚马逊 亚马逊旨在借助亚马逊全球资源,帮助中国卖家抓住跨境电商新机遇,发展出口业务,拓展全球市场,打造国际品牌。
总阅读354.2k
粉丝0
内容3.1k