在做Shopify Listing的agent的时候,我遇到了非常多的问题。
这个agent跑了7个小时,依然只是完成了7%不到的产品,这效率是真的慢。
手动改了几个Demo,发现在一个幻觉上它卡了很久:
“供应商资料作为真实信息载体审核”
这一步卡了3个小时。
我寻思没这回事啊,怎么就来个这么个环节呢?
然后我发现他理解对了,但也错了,用了一个更为复杂的实现方式来做实现。
就好像,你让他去买一瓶果汁。
结果你等半天,问他,果汁呢?
他回答你:还在联系物流公司来取货中……你稍等,很快就好。
一查不得了,他先去买了水果,削皮,压榨,消毒,杀菌,罐装,上架,联系销售,准备发货……现在等待物流公司上门。
倒不是说工程信息不能这么解决,但显然有更快的方式来实现。
我思考了下,一开始的表达里,我也是在探索,而且是用非常复杂的方式去实现,从而也让上下文一直处于复杂的状态中,尽管在探索之中,我也陆续对我的需求还有技术实现的条件信息有了更为明确的认知,可是AI还是沿着我一开始的复杂路径去实现。
“over thinking”并没有解决问题。
那我只能静下心来,一步步测试,把MVP跑一下,发现问题,然后再去改,每次思考,都删掉一些流程,尽可能做到简单,流程清晰易懂 。
至少我要懂。
聊着聊着,诶,我发现可以用贝叶斯来实现。
于是给了他一个贝叶斯的方案,目前速度就明显比之前快了不少,精确度也得到大量的提升,人工校验的部分也得到改善。
如果纯走agent模式,也不是不行,炸开多agent来实现,构建路由器来协调,硬解要40个小时。相较于人工来说,当然也算划算。
但对我来说,这就非常不划算,昨天才刚重置,今天就给我干没了token,我后面几天不用干了?都codex 100刀了,怎么能让你这么嚯嚯token量。
所以必须得优化,必须得思考,必须要结合业务跟实际去用agent。
现阶段的AI已经能够超越绝大部分的人类,但在具体实现上要做到想要的事,本质还是要懂业务,懂技术逻辑,懂大量有用没用的知识。
我曾想,如果以前我没好奇学一下贝叶斯,学一下数据库设计,学一下前后端知识,真的就只做一个纯粹的跨境电商投流的,只学Google+Meta的知识,我真的能用得好AI吗?
大概率是用不好的。

