大数跨境

分析复杂文档的AI工具

分析复杂文档的AI工具 电商实践
2023-12-05
0
导读:解读长篇或复杂的文档既令人望而生畏,又耗时费力。人工智能(AI)应运而生。

生成式AI非常适合浓缩和简化海量信息。营销人员和高管的使用场景包括:

  • 解释复杂文档,例如专利文件。
  • 将长篇叙述总结为关键要点和定义。
  • 从电子书和白皮书中提取重要部分,用于博客和宣传材料。

以下是四种用于完成这些任务的生成式AI工具。为了进行测试,我指示这些工具分析Google为搜索生成式体验(Search Generative Experience)提交的2023年专利,并使用了三个提示词:

  • 这份文档是关于什么的?
  • SGE如何在回答中选择外部资源?这些资源是否源自自然搜索结果?
  • 定义文档中的基本术语。

我的目标是评估回答的准确性,并检查是否存在“幻觉”——即编造信息。

ChatGPT

ChatGPT

ChatGPT现在可以处理上传的文档,包括PDF文件。它针对“这份文档是关于什么的?”这一提示词提供了一个通用的概述。

但它是唯一回答了第二个问题“这些资源是否源自自然搜索结果?”的工具。

根据专利文档,并非所有文档都仅从自然搜索结果中选取。选择过程涉及不同类别的搜索结果文档:

查询响应式搜索结果文档:这些是响应用户提交的原始查询而获得的文档。

相关查询响应式搜索结果文档:这些文档源自为与原始查询相关的查询所执行的搜索。

近期搜索响应式搜索结果文档:这些是响应近期查询的文档,可能与当前查询或用户的搜索历史相关。

ChatGPT捏造了类别的名称(以粗体显示)!该专利中并未使用这些术语。

于是我提示道:“我在原始文档中没有看到这些类别名称。是你编造的吗?”

ChatGPT的回复:

你是对的,我为造成的混淆道歉。我使用的类别名称(“查询响应式搜索结果文档”、“相关查询响应式搜索结果文档”和“近期搜索响应式搜索结果文档”)确实是我为了总结专利中描述的概念而自行表述的。它们并非直接引用自文档。

该专利实际上讨论了基于文档对给定查询、相关查询和近期搜索的响应性来选择文档的过程。这些选择可以包括响应原始查询的文档,以及响应相关或近期查询的文档。我的意图是澄清这一过程,但我本应明确说明这些类别名称是我自己的总结,而非文档的直接引用。

感谢您指出这一差异。

ChatGPT的回复是“幻觉”现象的一个例子,这是许多生成式AI工具的弱点。

Claude

Claude

Claude是Anthropic开发的独立生成式AI模型,与其他列出的工具不同,它不使用ChatGPT。在我的测试中,Claude在回应时最为谨慎。

例如,其他三个工具对“所选文档是否来自自然搜索结果?”这一问题都回答“是”。只有Claude给出了更为细致的回应:

该专利并未明确说明文档是否选自自然搜索结果。

然而,有一些上下文线索表明它们指的是自然搜索结果:

  • 背景部分描述了提供基于查询的“搜索结果文档”摘要,但未指明这些是自然结果还是付费结果。通常,“搜索结果”指的是搜索引擎返回的自然结果。
  • 在选择要摘要的文档时,没有提到对付费/推广结果文档与自然文档进行不同的过滤或处理。
  • 目标似乎是对与搜索查询最相关的文档进行摘要,以便为用户提供概览。与自然结果相比,推广或付费结果通常在相关性优化方面较差。
  • 相关查询用于扩展文档选择范围。相关/扩展查询通常与自然文档集一起使用,而非付费广告结果。

因此,虽然未明确说明,但专利的措辞强烈暗示,为生成摘要而选择的响应查询的文档是自然搜索结果,而非付费或推广结果。

PDF Pals

PDF Pals

PDF Pals是一款桌面应用程序,提供30次免费测试问题。进行这些测试需要ChatGPT API密钥。

安装完成后,PDF Pals可以处理上传的PDF文档。

该工具在其回复中贴心地包含了页码,使得验证信息更加容易。点击任何页码都会带您跳转到文档中的相应部分。

在我的测试中,PDF Pals未能将专利内容简化到我能够理解的水平。尽管我提示它这样做,但其回复仍然过于技术化。尽管如此,这些摘要仍具有参考价值,只是略显复杂。

AskYourPDF

AskYourPDF

AskYourPDF是一款无需API密钥即可进行测试的网络应用。扫描文档后,AskYourPDF会建议可选的后续问题。与PDF Pals一样,它也包含页码,但这些页码不可点击。

AskYourPDF的回答比PDF Pals更易于理解,但全面性稍逊。此外,它未能从PDF专利中提取定义,并错误地声称其中不存在任何定义。

因此,在我的测试中,AskYourPDF适合提供高层级的概览,但不适合深入细节。不过,这种方法的优点可能是幻觉更少。

有趣的是,这四种工具对Google PDF专利的分析略有不同,各自提供了独特的解释。关键在于核实信息,所有工具都出现了错误。

【声明】内容源于网络
0
0
电商实践
电商实践
内容 8053
粉丝 0
电商实践 电商实践
总阅读37.4k
粉丝0
内容8.1k