“ 对大模型应用的理解,需要你在不断的问题中去加深理解。”
之前有一个数据标准审核的需求,功能是针对数据表和字段进行审查,类似于DBA,需要对数据库表字段进行规范审核;如字段类型,描述,主键等进行审核。
之前的功能流程是使用大模型一条记录一条记录的审核,并且给出审核结果;之后根据审核结果对数据库表结构进行调整。
但由于交互问题,所以现在的功能改成了不一条条审了;而是直接给出一个审核报告,包含概述,审核结果和建议等。
所以,这个功能应该怎么做呢?
审核报告需求
从表面上来看,这个需求很明确好像也很简单,但等到真的着手去做的时候才发现,好像没有想象中的那么简单。
首先,第一步审核应该怎么搞?然后审核报告又应该怎么做?
从流程上来说,抛开大模型本身的问题,如库表结构太长导致模型无法处理或者处理效果太差;所以,在审核时还是选择一条一条审核比较好,这样审核的准确率会更高。
OK,审核的问题解决了,那下一步怎么生成报告呢?
从技术层面来看,对数据的审核的最终结果会是一个审核结果列表,其中有审核之后的问题,说明,修改意见等。
但这个最终怎么变成一份审核报告呢?
作者的想法是把审核结果列表,转变成可读性更强的excel或markdown文档,然后再把这个文档丢给模型,让模型根据审核文档生成一份专业的审核报告。
而这也符合DBA平常工作的流程和思路。
但这里还是有问题,首先是审核的数据长度不固定,这个是否需要先拆分再审核,最后拼接审核结果;其次,从严谨的角度来说,审核报告是由不同的块组成的,如果直接把审核结果文档丢给模型,模型是否有能力很好的完成这份审核报告。
还是说,采用同样的思路,把报告拆分成多个子模块,然后让模型分别生成对应的报告内容,之后再对报告进行统一整理,这样就可以尽量保证报告多个环节的质量问题。
这个需求虽然看起来好像不复杂,但梳理下来之后发现也没那么简单;而且以上只是一个大概的思路,但要想真正的做出来还有很多问题需要解决。
比如说,审核结果文档弄成什么样,才更有助于大模型的理解;让模型生成审核报告的提示词怎么写,用什么样的报告模板,什么样的风格,有哪些注意点?
最终生成的报告是否能达到我们想要的效果,这些都需要在实际开发中去解决。
从这段时间的开发来看,作者是真的深刻理解了大模型应用做出来和做好是两回事;更重要的是,我们要在理解需求的同时,还要清楚模型的能力极限,知道模型能干什么,怎么干,以及不能干什么。

