大数跨境

在构建计算机视觉模型之前,需要问的四个问题

在构建计算机视觉模型之前,需要问的四个问题 海外洞察
2022-05-27
0
导读:在创始人开始构建人工智能系统之前,他们应认真评估自身的风险承受能力、数据管理实践以及为未来保障其AI技术栈的策略。

2015年,YOLO——一种能够进行实时目标检测预测的高性能计算机视觉模型——的发布引发了一连串进展,加速了计算机视觉从研究走向市场的飞跃。

自那以后,初创企业迎来了激动人心的时期。随着计算成本降低、模型精度提高及原始数据普及,越来越多的创业者在零售、农业、建筑等领域探索计算机视觉的应用场景。

然而,在构建AI系统之前,创始人应审慎评估自身的风险承受能力、数据管理实践以及保障未来AI架构的策略。

深度学习是否是解决我问题的合适工具?

这听起来可能有些荒谬,但创始人首先应该问自己:是否真的需要使用深度学习方法来解决问题。

在我从事金融行业的经历中,常看到新员工希望用最新的深度学习模型解决问题,但在深入研究后,往往发现使用线性回归变体效果更好。

这个故事告诉我们什么道理?

深度学习虽看似面向未来,但对细微因素非常敏感。通常,直接使用现有的“经典”算法等更简单的解决方案,能以较低成本获得同样好甚至更好的结果。

在构建深度学习模型之前,应从各个角度全面考虑问题和解决方案。总体而言,尤其是计算机视觉领域,为解决老问题创造新方法带来了巨大希望。但构建这些系统伴随着投资风险:你需要机器学习工程师、大量数据以及验证机制,才能将模型投入生产并构建功能完善的AI系统。

在启动如此大规模的工作之前,最好先评估是否有更简单的解决方案可以解决你的问题。

进行全面的风险评估

在构建任何AI系统之前,创始人必须考虑自身的风险承受能力,这意味着要评估应用层及研发阶段的风险。

粗略地说,研发阶段的风险在于模型无法达到基于指标的性能标准;而应用层面的风险,在于生产系统在其所处环境中无法成功运行。

虽然专注于机器学习的创始人往往侧重研发风险,但更好的第一步是建立应用层风险的评估标准。这些因素因应用而异,通常包括监管、公众认知和系统级工程方面的潜在风险。

构建有效框架的第一步,通常涉及理解模型错误(如假阳性或假阴性)在应用中产生的后果。目标用例对此分析有重要影响——毕竟,使用AI过滤电子邮件与使用AI驾驶自动驾驶汽车之间的应用风险有着天壤之别。

允许每1000封垃圾邮件中有1封进入收件箱的后果是轻微的,最坏情况下只会让人感到烦恼,因此该模型在生产环境中的应用风险水平是可接受的。然而,将绿灯误判为红灯的后果则是严重的。一个将每1000个绿灯中有一个误判为红灯的计算机视觉模型,根本不具备投入生产的能力。

创始人应首先梳理其应用中错误可能带来的后果,因为这些后果会影响研发风险的评估。根据应用风险的不同,AI系统在投入生产前需要满足不同的性能基准。

对于低风险应用,仅仅超越(基于人类的)现状往往就足够了。而对于高风险应用(如自动驾驶汽车),则需要达到新的黄金标准,人们才能信任模型的性能。即使自动驾驶车辆比人类驾驶员更不容易发生碰撞,但由于该技术被置于更高的标准之下,这一点并不重要。

警惕原型与生产之间的差距

为特定用例制作概念验证模型通常相对简单,而打造一个适用于生产环境应用的模型,所需工作量往往是前者的十倍以上。

为了避免陷入所谓的“原型-生产差距”,创始人必须仔细考虑模型部署所需的性能特征,以及这些需求将如何影响开发周期的长度和资源分配。

以部署高风险应用的计算机视觉模型为例:假设模型在原型阶段达到了95%的准确率,但为了投入生产,需要在99.99%的情况下做出准确预测。从开发角度来看,弥补这4.99%的准确率差距比构建原型要困难得多。

要达到这种准确率水平,模型必须在海量数据上进行训练,并学会对各种情况做出适当反应。AI系统缺乏常识,计算机视觉模型也无法像人类那样推理。当遇到从未见过的意外场景时,模型表现将不可预测。这些被称为边缘案例(edge cases)的场景在机器学习环境中 notoriously 难以调试,因为工程师必须从数百万个样本中找出那些因系统性原因导致模型失败的少数例子。

边缘情况往往导致模型在测试阶段无法达到100%的准确率。自动驾驶汽车就是一个很好的例子:人类驾驶员可以运用推理能力,而计算机视觉模型则不能。例如,模型经过海量数据训练后能识别骑自行车的人,但当遇到骑行者倒影时,可能会误判为真实存在骑行者并据此做出异常行为,而人类不会犯这样的错误。

创始人应意识到,那些对准确性要求极高、需投入生产的应用,在开发周期中需要更多的训练时间和数据。因此,在开始构建模型之前,必须预留额外的资源(如时间和资金)。

采取以数据为中心的方法

一旦决定构建模型,应采取以数据为中心而非以模型为中心的方法。

随着开源模型的不断改进,企业的竞争优势将不再来自于构建更复杂的模型,而是取决于数据的质量与数量。数据而非模型,将成为知识产权的核心。

要理解未采取以数据为中心的方法如何阻碍深度学习发展,可以考虑算法偏见问题。许多医疗AI未能实现从实验室到现实世界的跨越,是因为研究人员往往专注于在受控环境中提高模型准确性,而没有仔细思考训练数据是否具有广泛代表性。

当医疗AI模型在带有偏见的数据集上训练时,它们无法学会对不同年龄、种族和性别的人群做出预测。这种知识差距会导致误诊,并加剧现有的医疗偏见。

在以数据为中心的方法中,目标是从第一性原理出发,思考模型为实现最佳性能所需训练的数据。

在为计算机视觉构建以数据为中心的AI时,成功取决于获取数据的能力。优先获取可用的最佳专有数据集至关重要。与早已生成自有数据的成熟企业不同,初创公司可能在获取独家数据集方面面临挑战,应考虑与成熟企业合作,或采用高级爬取等创造性方法来确保获得独特数据集。

在确保数据供应之后,下一步是建立一个数据管理系统,使机器学习工程师能够以可扩展的方式有效地存储、过滤、查询和可视化数据。该系统需要具备结构化设计,以适应未来的需求和使用场景,包括摄入更多数据、重新组织数据、删除数据、清洗数据、通过任意查询点进行数据查询等。

有了管理系统后,下一步是确保持续标注和审查的流程。现实世界中的数据往往是杂乱且不完美的,因此以数据为中心的AI需要强大且迭代的标注流水线,而非一次性标注。

思考一下你将需要的领域专业知识和标注工具,以确保高质量的数据标注能够尽可能高效地完成。同时请记住,在数据驱动的人工智能世界中,标注层不再仅仅是程序性的工作。标签结构和架构设计选择将影响系统的学习方式,而这些数据标注技术将成为企业的知识产权,从而为公司带来竞争优势。

采取数据驱动的方法还使企业能够保持模型无关性,这意味着它们可以受益于未来的创新。如果系统依赖于某种特定的架构,就会限制企业利用更先进模型的能力。例如,如果一家公司依赖为某一模型需求而构建的标签摄入系统,那么重构该流程可能会很困难,并阻止公司将更新、更好的模型整合到其业务中。

技术格局正在迅速演变,五年后深度学习将呈现出截然不同的面貌。因此,今天开发的任何人工智能系统都需要采用数据驱动的方法,以便能够融入未来的模型。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k