在急于构建、测试和部署人工智能系统的过程中，企业往往缺乏足够的资源和时间来全面验证其系统并确保其无缺陷。Gartner在2018年的一份报告中预测，由于数据、算法或管理团队存在的偏见，85%的人工智能项目将产生错误结果。即使是大型科技公司也无法幸免于这些陷阱——例如，IBM 最终未能交付一个人工智能驱动的癌症诊断系统，该系统在4年内耗资6200万美元。
受“漏洞赏金”计划的启发，郑秀赫（Jeong-Suh Choi）和裴秀贤（Soohyun Bae）创立了Bobidi，这是一个旨在通过将系统暴露给全球数据科学社区来帮助企业验证其人工智能平台的平台。通过Bobidi，裴秀贤和郑秀赫希望打造一款产品，让客户能够通过API以“安全”的方式将人工智能系统与漏洞挖掘社区连接起来。
Choi在一封电子邮件采访中解释说，其理念是让开发者测试AI系统及其偏见——即系统表现不佳的边缘情况——从而缩短验证所需的时间。Bae此前是谷歌的高级工程师，曾在Niantic领导增强现实地图项目；而Choi曾是eBay的高级经理，并在Facebook负责“人员工程”团队。两人约在10年前的一次科技行业活动中相识。
Choi表示：“当模型的偏见或缺陷被揭示时，损害往往已经不可逆转。”例如，自然语言处理算法（如OpenAI的GPT-3）常被发现会发表涉及仇恨言论、歧视和侮辱的问题性评论，或对相关评论做出错误回应。使用Bobidi，社区可以“预测试”算法并找出这些漏洞，这实际上非常强大，因为可以在代表不断变化的社会和政治背景的特定条件下，让大量用户测试该算法。
为了测试模型，Bobidi的开发者“社区”会为给定系统构建一个验证数据集。当开发者试图寻找系统中的漏洞时，客户将获得一份分析报告，其中包括假阴性和假阳性的模式以及与之相关的元数据（例如边缘案例的数量）。
将敏感系统和模型暴露给外界可能会让一些公司犹豫，但Choi坚称，Bobidi会在一定天数后“自动过期”模型，以防止被逆向工程。客户根据社区进行的“有效”尝试次数支付服务费，相当于每10次尝试0.99美元。
Choi指出，开发者通过Bobidi获得的收入——每小时10至20美元——远高于全球许多地区的最低工资标准。假设Choi的估算基于事实，Bobidi逆势而行，打破了数据科学行业通常对数据验证者和标注者支付较低薪酬的趋势。一项研究发现，广泛用于计算机视觉的数据集ImageNet的标注者中位时薪仅为2美元，只有4%的人时薪超过7.25美元。
抛开薪酬结构不谈，众包驱动的验证并非新概念。2017年，马里兰大学计算语言学与信息处理实验室推出名为Break It, Build It的平台，允许研究人员提交模型，由用户负责生成能够击败这些模型的示例。此外，Meta维护着一个名为Dynabench的平台，让用户“欺骗”旨在分析情感、回答问题、检测仇恨言论等的模型。
但Bae和Choi认为，“游戏化”的方式将使Bobidi脱颖而出。尽管目前尚处早期阶段，但该供应商声称已拥有来自增强现实和计算机视觉初创企业的客户，包括Seerslab、Deepixel和Gunsens。
这种势头足以说服几位投资者为该项目注资。如今，Bobidi 完成了 580 万美元的种子轮融资，参与方包括 Y Combinator、We Ventures、现代汽车集团、Scrum Ventures、Meta 的新产品实验（NPE）、Lotte Ventures、Atlas Pac Capital 以及多位未具名的天使投资人。
值得注意的是，Bobidi 是 NPE 的首批投资项目之一，而 NPE 在 去年改变了方向， 从开发面向消费者的应用转向对专注于人工智能的初创企业进行种子轮投资。当被要求评论时，NPE 投资负责人 Sunita Parasuraman 通过电子邮件表示：“我们很高兴支持 Bobidi 才华横溢的创始团队，他们正在帮助公司利用一种由全球各地人员驱动的创新解决方案，更好地验证人工智能模型。”
Choi 补充道：“Bobidi 是社区与人工智能的结合，是我们共享的独特专业知识组合。我们认为大数据时代即将结束，我们将进入数据质量新时代。这意味着我们从‘在给定数据集的情况下构建最佳模型’的时代，转向‘在给定模型的情况下寻找最佳数据集’的新时代——这是一种完全相反的方法。”
郑秀赫表示，种子轮融资所得资金将用于招聘——Bobidi目前拥有12名员工——以及构建“客户洞察体验”和各种“核心机器学习技术”。尽管面临经济逆风，该公司仍希望在年底前将团队规模扩大两倍。