大数跨境

关于大模型偶尔抽风的现象,以及大模型与具体应用结合的思考

关于大模型偶尔抽风的现象,以及大模型与具体应用结合的思考 AI探索时代
2024-11-24
1
导读:解决问题是一个人能力的体现,不论是在职场还是在生活中

 解决问题是一个人能力的体现,不论是在职场还是在生活中



最近在对接GPT做一个图生文的功能,简单来说就是让大模型理解图像,然后做一些图像解析或反推提示词的效果。


在基础功能开发完成之后,然后让测试人员开始功能测试,然后就发现了一些问题;最常见的就是大模型抽风的问题,有时是一本正经的胡说八道,有时是一个问题能给出两个完全不同的答案;还有就是数据格式的问题等等。


总之一句话,大模型在真实的企业应用中面临着各种各样的问题,而怎么在真实的企业应用中避免或解决这个问题,就是很多技术人员需要考虑的问题。





大模型与真实应用场景的结合





大模型在与真实的应用场景结合过程中,一直面临着一个非常严重的问题,那就是大模型的抽风现象;这种现象在某些场景中还不是很严重,但在某些领域中可能就是致命的错误了。


比如说在AIGC领域,很多人会借助大模型的能力做一些自媒体或内容创作方面的助手;虽然大模型能够短时间内生成大量的创作内容,但最终的发布还是由作者自己控制;因此在AIGC领域,大模型的容错能力比较高,大家对大模型的容忍度也比较高。


但在某些领域,比如医疗,法律,自动驾驶,工业生产等领域;大模型的不稳定性将会给这些领域带来巨大的安全风险;所以这些领域对大模型的稳定性提出更高的要求;而这也是为什么之前马斯克在公开场合表示,没有在自动驾驶领域使用人工智能的原因。


当然,这些问题给大模型的应用带来了巨大的挑战,同时也带来了巨大的市场机会;谁能把控大模型,谁就能成为大模型时代的先驱者。



虽然自己并不是一个特别专业的大模型从业人员,但面对这些问题在自己的能力范围之内,还是要有自己的思路和解决方案,虽然这些方案可能会简单。


还是老规矩,我们从问题的角度出发,如果你遇到这样的问题,你会怎么解决这些问题,或者有些解决方案?


下面以个人的经验来说,遇到这些问题应该怎么解决?


首先遇到这些问题先别慌,可能有些人会有这样的想法,那就是这些问题都是大模型的问题,我能怎么办?解决不了就丢一边了;这是一种消极的逃避心理,问题不但没有解决,反而会让你养成遇事逃避,没有主见的状态。


所以,遇到问题,我们先不要怕,先想办法去解决,即使你的解决方案可能会很幼稚,甚至根本就是错误的;但这个并不重要,毕竟任何事情都是一个从不完善到完善的过程。



ok,遇到这种问题的时候,最简单也是成本最低的一种方式,那就是完善你的提示词;提示词作为目前人类与大模型打交道的主要工具,一个好的提示词能够让大模型尽可能的避免一些低级错误。


而且根据一些经验来看,提示词写的越完善,约束越多,大模型的回答就能更好,更稳定。而且,提示词工程也有自己的提示范式,这个大家可以从网上找一些怎么写好提示词的文章或者看一下之前的文章。



其次,还有一种方式就是让大模型去验证回答的逻辑问题;比如说,使用一个让大模型进行图像理解的提示词,然后再创建一个检查官的角色,然后把大模型对图像的理解再次输入到大模型中,让大模型去验证这个回答是否有严重的逻辑漏洞或者低级错误。


这种方式,有些人可能并不了解,但对做过RAG技术的人应该了解过一部分;Langchain框架就有专门的接口,可以通过多次调用大模型来让大模型生成更加准确的回答。


第三种方式,在调用大模型时,使用更高的温度值(template)来约束模型的发散性思维,来限制模型天马行空的想法。


第四种方式,根据不同的产品功能,让大模型去做它更擅长的领域,比如大模型在回答主观问题要比客观问题效果更好;比如理工科问题1就是1,2就是2,没有商量的余地;而对一些社会问题的看法,就可以各抒己见。


第五,换一个效果更好的模型。


第六,收集大量的关于大模型抽风的回答,然后用这些数据对大模型做指令微调。


第七,使用思维链技术,让大模型具备基本的逻辑判断能力,以此来约束自身。


当然,其实上面所有问题都可以归结于大模型的幻觉问题,而目前来说大模型的幻觉问题只能尽力缓解,而无法消灭。



不同的企业对待大模型幻觉问题,都有自己的处理方式;但归根结底都会沿着一个主要流程:


  • 简化复杂任务,将任务分解并描述清楚

  • 内置一些 meta prompt,比如“不要捏造事实”等话术

  • Few-Shot Learning,添加几个例子

  • 对模型生成结果进行后处理

总之,大模型在具体的企业应用中还面临着各种各样的问题,而这些都是大模型应用中未来需要解决的问题。


大模型幻觉的解决方案
https://blog.csdn.net/muyao987/article/details/134103494







【声明】内容源于网络
0
0
AI探索时代
专注AI工程化落地,让你的技术不再纸上谈兵
内容 367
粉丝 0
AI探索时代 专注AI工程化落地,让你的技术不再纸上谈兵
总阅读133
粉丝0
内容367