想象一杯典型的酸奶:它是素食的,含有活性益生菌,并提供每日推荐钙摄入量的15%。但你的阿姨莉莉来访了,她有乳糜泻(celiac)。所以在亚马逊上购买之前,你想知道这款酸奶是否无麸质。
通常,你必须按品牌查找某种酸奶,并检查标签以确认它是否经过无麸质认证。但如果有一种更简单的方法呢?如果你能在亚马逊上搜索经过认证的无麸质酸奶怎么办?或者如果你能说:“Alexa,哪些酸奶是无麸质的?”会怎样?
现在,借助由亚马逊消费者组织的一支科学家和工程师团队开发的产品图谱(product graph),你可以做到这一点。
什么是产品图谱?
Xin Luna Dong 是亚马逊产品图谱团队的首席科学家。Luna 的团队负责一项极其复杂的任务:将亚马逊上的每一件商品与具体和抽象的概念关联起来。这将使购物者能够使用诸如“野餐用品”、“适合新生儿的最佳玩具”、“中世纪现代风格家具”或“最耐用的手表电池”等搜索词,来寻找符合需求的最佳商品。
不用说,面对包含数百万件商品的目录,为每件商品附加属性是一项令人望而生畏的工作。而这正是 Luna 擅长的领域。
Luna 说:“我们的产品图谱将以结构化的方式呈现所有与世界信息相关的内容,这些内容与亚马逊上提供的所有商品有关。”例如,“Party in the USA”是一首非常适合在夏日烧烤时播放的歌曲。即时读取温度计也是烧烤派对中的必备好物。因此,如果你在亚马逊上搜索“夏日烧烤”,系统会为你提供选项,让你既能收听那首歌,又能购买温度计,尽管它们属于不同的产品类别。
通过这种方式,亚马逊的产品图谱将使用产品和非产品概念来描述每一件商品,并在不同实体之间建立链接。此外,该图谱还将帮助顾客在查找商品时使用更多样化的搜索词。
你说 tomato,我说 tomahto;你说“bathing suits”,我说“swimsuit”。但无论你怎么说,亚马逊都会帮助购物者找到最适合他们的商品。
构建产品图谱
产品图谱团队利用多种机器学习技术,从亚马逊的商品详情页以及整个互联网中提取与商品相关的信息。显而易见的挑战在于,互联网上的商品信息大多是非结构化的。例如,并非每个网站或博客都会将汤姆·汉克斯(Tom Hanks)整齐地归类到预定义的字段(如“演员”)下。
为了克服这一难题,产品图谱团队采用远程监督学习(distantly supervised learning)技术——即算法先在更小、更结构化的数据库上进行训练,以识别演员,然后再应用于更广泛的网络。随后应用开放信息抽取(Open IE)技术,以形成各种概念之间的关系(例如:汤姆·汉克斯、演员、《阿甘正传》)。
亚马逊真正与众不同之处在于,我们能够应用最先进的机器学习技术,并非因为它们酷炫或令人兴奋,而是因为它们能切实解决客户的实际需求。Xin Luna Dong - 亚马逊产品图谱首席科学家
该团队还应用知识关联与清洗技术,以确保数据的可靠性。其中一种方法是根据信息来源判断信息的有效性。例如,个人博客可能将《阿甘正传》的上映年份列为1993年,而IMDb则显示该电影的上映日期为1994年。在这种情况下,算法会选择使用来自更可信来源(即IMDb)的信息。
最终,团队应用图挖掘技术来识别有趣的隐藏模式。这将被用于提供诸如“购买 A 的人也购买了 B”之类的推荐服务。例如,该图可以发现,购买有机宠物食品的顾客也更可能对 Fitbit 感兴趣,因为关注宠物健康的人通常也会关注自身健康。
“亚马逊的真正不同之处在于,我们能够应用最先进的机器学习技术,并非因为它们酷炫或令人兴奋,而是因为它们能切实满足客户的实际需求。”Luna表示。“人们来到亚马逊不仅仅是为了购买商品,他们还会浏览亚马逊以了解最新或有趣的内容,或者发现能够简化并丰富其生活的方式。我很高兴有机会帮助他们实现这些目标。”

