大数跨境

RAG-Anything:你的论文终于能被AI"读懂图表"了——香港大学开源的多模态神器

RAG-Anything:你的论文终于能被AI"读懂图表"了——香港大学开源的多模态神器 AI大风歌
2026-04-22
0
导读:RAG-Anything:你的论文终于能被AI"读懂图表"了——香港大学开源的多模态神器

RAG-Anything:你的论文终于能被AI"读懂图表"了——香港大学开源的多模态神器


【一秒破冰】

你有没有遇到过这种尴尬:

论文里的图表、公式、代码截图,AI愣是看不见。你问它"这张实验结果图说明了什么",它回答"抱歉,我只能读取文本内容"。

明明是多模态时代,你的RAG却是个"睁眼瞎"。


【硬核解读】

香港大学数据科学实验室出手了——RAG-Anything,一个真正能"看见图表"的RAG框架。

它解决了什么痛点?

传统RAG只能处理纯文本。但现实世界的文档是这样的:

• 学术论文:图表、公式、实验流程图

• 金融报告:数据表格、趋势图、架构图

• 技术文档:代码截图、架构图、配置表

这些"非文字内容",传统RAG要么忽略,要么乱码。

RAG-Anything的做法很硬核:把多模态内容变成知识图谱的一部分。

它是怎么做到的?

四步流程,打通多模态"盲区":

1. 文档解析:用 MinerU/Docling/PaddleOCR 三种解析器,支持 PDF、Office、图片、文本

2. 内容分析:自动分类→图片/表格/公式→各自专用处理器处理

3. 知识图谱:跨模态实体提取+关系映射,图片和文字"连起来"

4. 智能检索:向量+图融合检索,找文本的同时带上相关图表

最惊艳的功能:VLM增强查询

你问:"这个公式在论文里是什么意思?"

系统会:

• 自动找到相关公式所在的上下文

• 把公式 LaTeX 代码和周围文字一起发给 VLM

• VLM 看着公式,理解语义,给出专业解读

以前:AI只能"猜"公式含义

现在:AI真的"看见"公式了


【实战演示】

import asyncio
from raganything import RAGAnything, RAGAnythingConfig
from lightrag.llm.openai import openai_complete_if_cache, openai_embed
from lightrag.utils import EmbeddingFunc

async def main():
    # 配置API(支持OpenAI/本地Ollama)
    api_key = "your-api-key"
    
    # 初始化RAGAnything
    config = RAGAnythingConfig(
        working_dir="./rag_storage",
        parser="mineru",  # 可选 mineru/docling/paddleocr
        enable_image_processing=True,
        enable_table_processing=True,
        enable_equation_processing=True,
    )
    
    rag = RAGAnything(config=config, ...)
    
    # 处理一篇论文(自动解析图片/表格/公式)
    await rag.process_document_complete("论文.pdf", output_dir="./output")
    
    # 问AI:那张实验图说明了什么?
    result = await rag.aquery(
        "请分析论文中的实验结果图,说明各组方法的性能差异",
        mode="hybrid",
        vlm_enhanced=True  # VLM自动看图
    )
    
    print(result)  # AI真的"看见"了图表!

asyncio.run(main())

三行代码,让你的RAG"睁眼":

• enable_image_processing=True:图片处理器开启

• vlm_enhanced=True:VLM增强查询开启

• 一篇论文进去,图表全部被理解


【老司机辣评】

✅ 真亮点

1. 学术级项目:香港大学数据科学实验室出品,有论文背书(arXiv:2510.12323)

2. 真实痛点:多模态文档处理是刚需,学术、金融、企业都头疼

3. 技术先进:知识图谱+VLM融合,不是简单的"OCR+文本拼接"

4. 开箱即用:pip install raganything,三种解析器可选

5. 开源免费:基于 LightRAG,MIT精神

⚠️ 局限性

1. 依赖较多:MinerU解析器需要额外安装,Office文档还需 LibreOffice

2. 学术偏重:论文/报告场景最强,但日常网页/聊天记录可能不如传统RAG轻量

3. VLM成本:图表分析需要调用视觉模型,API成本比纯文本RAG高

4. 门槛稍高:配置项多,新手可能需要学习曲线

🎯 适用场景

• 场景:推荐指数

• 学术论文处理:⭐⭐⭐⭐⭐

• 金融报告分析:⭐⭐⭐⭐⭐

• 技术文档问答:⭐⭐⭐⭐

• 企业知识库(含图表):⭐⭐⭐⭐

• 纯文本博客/新闻:⭐⭐(用传统RAG更轻)


【一句话总结】

以前:AI读论文像"看黑白电视"——图表全是黑块

现在:AI读论文像"看高清彩电"——图表、公式、表格全读懂

香港大学开源的 RAG-Anything,让你的RAG真正"睁眼"看世界。


项目地址: https://github.com/HKUDS/RAG-Anything

Star数: 16457+ ⭐

许可证: 开源(基于LightRAG)

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373