百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

ParseStudio:统一的文档提取API层

itomcoil 2024-12-19 13:42 109 浏览

PDF 无处不在 — 发票、报告、研究论文、合同等等。然而,从这些文件中提取有意义的内容一直是?一个挑战。

不同的工具专门用于提取特定内容 — 文本、表格、图像 — 但每个工具都有自己的学习曲线、语法和输出格式。这通常迫使开发人员和研究人员不得不同时使用多个库才能完成工作。

ParseStudio 改变了这种说法。它提供了一个统一的界面,支持多个解析后端,使文档解析一致、初学者友好且高效。无论你是处理 PDF、提取文本和图像还是分析表格,它都能确保你专注于目标,而不是工具。

1、为什么选择 ParseStudio?

跨后端的统一语法

使用多个解析库时最大的挑战之一是学习它们的 API。每个后端都有自己的怪癖,这可能会减慢开发速度并导致代码难以维护。此软件包通过提供与后端交互的统一接口解决了此问题,例如:

  • Docling:非常适合表格提取和 LLM 就绪解析文本。
  • PyMuPDF:轻量级且高效。
  • LlamaParse:基于云和 AI 增强的提取。

允许通过更改单个参数在这些后端之间快速切换,而无需修改其余代码。

具有一致输出的多模式解析

ParseStudio 支持使用相同语法从 PDF 中提取文本、表格和图像。无需为每种模式学习单独的 API — 一个库即可处理所有问题。

首先,通过 pip 安装:

pip install parsestudio

然后,使用提供的任何后端提取结构化输出。例如:

from parsestudio.parse import PDFParser

# Initialize the parser
parser = PDFParser(parser="docling") # pymupdf, llama

# Parse the PDF
output = parser.run(["path/to/file.pdf"], modalities=["text", "tables", "images"])[0]

# Access Text content (Markdown)
outputs.text  

# Access Table content
for table in outputs.tables:
    table.markdown  # Table in Markdown format
    table.dataframe # Table as Pandas Dataframe
    table.metadata  # Page number and Bounding Box

# Access Image content
for image in outputs.images:
    image.image.show()  # PIL image
    image.metadata      # Page number and Bounding Box
  • 文本:干净的、LLM 就绪的文本,使用 Markdown 格式化。
  • 表格:提取为 Markdown 和 Pandas DataFrames。
  • 图像:随页码和边界框等元数据一起提供。
  • 元数据:对于表格和图像元素,元数据包括页码和边界框。

设计上方便用户使用

为了试验 PDF 解析器而无需深入研究多个库文档,此软件包抽象了后端特定的复杂性。它允许你专注于提取内容,而不是排除语法故障。

即使是经验丰富的开发人员也能从简化的工作流程和缩短的设置时间中受益,使其成为任何使用 PDF 的人的省时解决方案。

2、ParseStudio支持的后端

ParseStudio目前支持3个后端:Docling、PyMuPDF和LlamaParse。

2.1 Docling

Docling 是一个强大的后端,提供针对复杂文档量身定制的高级文档解析功能。

主要特点:

  • 高级 PDF 理解:它理解详细的页面布局、阅读顺序和表格结构。
  • 光学字符识别 (OCR):对于扫描的 PDF 或包含文本的图像,Docling 集成了 OCR,可将文本图像转换为机器可读的文本。
  • 使用 TableFormer 进行表格提取:Docling 使用 TableFormer 模型识别和重建文档中的表格结构。
  • Markdown 中的图像嵌入:它允许将图像直接嵌入解析的 Markdown 输出中,保留原始文档的视觉上下文。

示例用法:

from parsestudio.parse import PDFParser
from docling.datamodel.pipeline_options import PdfPipelineOptions, TableStructureOptions, EasyOcrOptions, TableFormerMode
from docling.backend.docling_parse_backend import DoclingParseDocumentBackend

# Optional
# Set pipeline options to customize the extraction. Defaults:
pipeline_options = PdfPipelineOptions(
  do_ocr=True, 
  do_table_structure=True, 
  table_structure_options=TableStructureOptions(
      do_cell_matching=False, 
      mode=TableFormerMode.ACCURATE
      ), 
  ocr_options=EasyOcrOptions(
      force_full_page_ocr=True, 
      use_gpu=False
      ), 
  images_scale=1.0, 
  generate_picture_images=True
)

# Set Docling backend. Default:
backend = DoclingParseDocumentBackend


parser = PDFParser(parser="docling", parser_kwargs={"pipeline_options": pipeline_options, "backend": backend})

何时使用 Docling:

  • 处理需要详细布局分析的复杂文档时。
  • 对于包含扫描图像或以未知字体编码的文本的文档,OCR 是必需的。
  • 当精确的表格提取对于数据分析至关重要时。

2.2 PyMuPDF

PyMuPDF 是一种轻量级且高效的后端,非常适合优先考虑速度和简单性的任务。它基于 MuPDF 引擎构建,非常适合解析具有最小依赖性的 PDF。

主要特点:

  • 高性能:针对速度进行了优化,适合处理大量 PDF。
  • 最小依赖性:需要最少的安装,确保快速设置和低资源使用率。

示例用法:

from parsestudio.parse import PDFParser

parser = PDFParser(parser="pymupdf")

最佳用例:

  • 快速提取。
  • 需要轻量级解析器和最少设置的场景。

2.3 LlamaParser

LlamaParse 是一个 AI 增强型后端,旨在处理非结构化的复杂布局和非标准内容。

主要特点:

  • AI 驱动的解析:利用 AI 模型提高从布局复杂的文档中提取内容的准确性。
  • API 驱动的工作流程:基于云的解决方案,适用于大型或复杂的文档,不会给本地资源带来压力。需要 API 密钥。

设置说明:

  • 在项目的根目录中创建一个 .env 文件。
  • 添加你的 Llama Index API 密钥: LLAMA_PARSE_KEY=your-api-key

示例用法:

from parsestudio.parse import PDFParser

# Set options to customize extracion. Defaults:
llama_options = {
  'show_progress': True,
  'ignore_errors': False, 
  'split_by_page': False, 
  'invalidate_cache': False, 
  'do_not_cache': False, 
  'result_type': 'markdown', 
  'continuous_mode': True, 
  'take_screenshot': True, 
  'disable_ocr': False, 
  'is_formatting_instruction': False, 
  'premium_mode': True, 
  'verbose': False
}

parser = PDFParser(parser="llama", llama_options)

? 最佳用例:

  • 解析具有复杂布局的非结构化文档。
  • 需要基于云的 AI 实现可扩展性的应用程序。

3、结束语

ParseStudio 是一个统一的解决方案,可简化文档处理、支持多模式解析并在不同后端提供一致的输出。凭借不断增长的功能集和 Llama Parse 等基于云的功能,它是希望简化工作流程的开发人员、研究人员和企业的完美选择。

准备好释放文档的全部潜力了吗?今天就试试吧!


原文链接:ParseStudio:统一的文档提取API - 汇智网

相关推荐

《Queendom》宣布冠军!女团MAMAMOO四人激动落泪

网易娱乐11月1日报道据台湾媒体报道,南韩女团竞争回归的生死斗《Queendom》昨(10/31)晚播出大决赛,并以直播方式进行,6组女团、女歌手皆演唱新歌,并加总前三轮的赛前赛、音源成绩与直播现场投...

正确复制、重写别人的代码,不算抄袭

我最近在一篇文章提到,工程师应该怎样避免使用大量的库、包以及其他依赖关系。我建议的另一种方案是,如果你没有达到重用第三方代码的阈值时,那么你就可以自己编写代码。在本文中,我将讨论一个在重用和从头开始编...

HTML DOM tr 对象_html event对象

tr对象tr对象代表了HTML表格的行。HTML文档中出现一个<tr>标签,就会创建一个tr对象。tr对象集合W3C:W3C标签。集合描述W3Ccells返回...

JS 打造动态表格_js如何动态改变表格内容

后台列表页最常见的需求:点击表头排序+一键全选。本文用原生js代码实现零依赖方案,涵盖DOM查询、排序算法、事件代理三大核心技能。效果速览一、核心思路事件入口:为每个<th>绑...

连肝7个晚上,总结了66条计算机网络的知识点

作者|哪吒来源|程序员小灰(ID:chengxuyuanxiaohui)计算机网络知识是面试常考的内容,在实际工作中经常涉及。最近,我总结了66条计算机网络相关的知识点。1、比较http0....

Vue 中 强制组件重新渲染的正确方法

作者:MichaelThiessen译者:前端小智来源:hackernoon有时候,依赖Vue响应方式来更新数据是不够的,相反,我们需要手动重新渲染组件来更新数据。或者,我们可能只想抛开当前的...

为什么100个前端只有1人能说清?浏览器重排/重绘深度解析

面试现场的"致命拷问""你的项目里做过哪些性能优化?能具体讲讲重排和重绘的区别吗?"作为面试官,我在秋招季连续面试过100多位前端候选人,这句提问几乎成了必考题。但令...

HTML DOM 介绍_dom4j html

HTMLDOM(文档对象模型)是一种基于文档的编程接口,它是HTML和XML文档的编程接口。它可以让开发人员通过JavaScript或其他脚本语言来访问和操作HTML和XML文档...

JavaScript 事件——“事件流和事件处理程序”的注意要点

事件流事件流描述的是从页面中接收事件的顺序。IE的事件流是事件冒泡流,而NetscapeCommunicator的事件流是事件捕获流。事件冒泡即事件开始时由最具体的元素接收,然后逐级向上传播到较为不...

探秘 Web 水印技术_水印制作网页

作者:fransli,腾讯PCG前端开发工程师Web水印技术在信息安全和版权保护等领域有着广泛的应用,对防止信息泄露或知识产品被侵犯有重要意义。水印根据可见性可分为可见水印和不可见水印(盲水印)...

国外顶流网红为流量拍摄性侵女学生?仅被封杀三月,回归仍爆火

曾经的油管之王,顶流网红DavidDobrik复出了。一切似乎都跟他因和成员灌酒性侵女学生被骂到退网之前一样:住在950万美元的豪宅,开着20万美元的阿斯顿马丁,每条视频都有数百万观看...人们仿佛...

JavaScript 内存泄漏排查方法_js内存泄漏及解决方法

一、概述本文主要介绍了如何通过Devtools的Memory内存工具排查JavaScript内存泄漏问题。先介绍了一些相关概念,说明了Memory内存工具的使用方式,然后介绍了堆快照的...

外贸独立站,网站优化的具体内容_外贸独立站,网站优化的具体内容有哪些

Wordpress网站优化,是通过优化代码、数据库、缓存、CSS/JS等内容,提升网站加载速度、交互性和稳定性。网站加载速度,是Google搜索引擎的第一权重,也是SEO优化的前提。1.优化渲染阻塞。...

这8个CSS工具可以提升编程速度_css用什么编译器

下面为大家推荐的这8个CSS工具,有提供函数的,有提供类的,有提取代码的,还有收集CSS的统计数据的……请花费两分钟的时间看完这篇文章,或许你会找到意外的惊喜,并且为你的编程之路打开了一扇新的大门。1...

vue的理解-vue源码 历史 简介 核心特性 和jquery区别 和 react对比

一、从历史说起Web是WorldWideWeb的简称,中文译为万维网我们可以将它规划成如下的几个时代来进行理解石器时代文明时代工业革命时代百花齐放时代石器时代石器时代指的就是我们的静态网页,可以欣...