安装minerU的API服务

本地安装mineru的API服务,是为了可以自行调用mineru完成文件的内容获取。

下面是Window系统的操作,linux类似。

mineru官方文档地址:

MinerU - MinerU

1.下载minerU的源码

下载地址:

https://github.com/opendatalab/mineru

下载后,解压,然后进入到文件夹里面

在这个路径下面,打开cmd。

2.创建conda环境,防止版本冲突。

需要先安装conda,安装的方法查阅相关资料。

conda 安装完成后,创建conda环境,

conda create -n mineru_new python=3.10

 环境名:mineru_new,python版本为3.10

等待创建完成,然后进入到刚才创建的环境里面,进行相关操作。

执行下面命令,激活名称为mineru_new的环境

conda activate mineru_new

3.安装基础依赖

pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple

 执行语句报错了,然后根据提示,执行提示建议的命令,然后执行成功了。

4.安装mineru

执行下面命令进行安装

pip install -e .[core] -i https://mirrors.huaweicloud.com/repository/pypi/simple

等待执行完毕。

5.启动mineru的API服务

mineru-api --host 0.0.0.0 --port 8000 --source modelscope

 --source modelscope 表示从国内的魔塔社区加载需要的模型

如果要用到GPU资源,启动命令为:

mineru-api --host 0.0.0.0 --port 8000 --device cuda --source modelscope

根据mineru的代码逻辑看,如果要用GPU,它是根据torch去做判断是否使用,所以还需要安装torch。安装命令:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意这个要看电脑上cuda的版本,上面的命令是安装11.8版本对应torch。

6.访问API

在浏览器中访问 http://127.0.0.1:8000/docs 查看API文档。

点击尝试,可以直接调用api

第一次访问,会自动去huggingface上面拉取大模型,这个过程需要有科学上网,不然会失败,如果有了科学上网,也失败了,那就多次上传文件,让它多次尝试去下载模型。我通过这种方式把模型下载到本地了。

等模型下载完成后,再次上传图片,就可以看到命令窗口输出的执行过程。

未使用GPU加速的输出:

使用GPU加速的输出:

页面上也可以看到请求的结果,正确把图片内容解析出来了。

以上方式,只是部署mineru的API的一种方式,还有通过docker进行部署。查看官方文档进行操作。

03-08
### 关于MinerU的技术信息 MinerU是一个一站式的开源高质量数据提取工具,支持PDF、网页以及多格式电子书等多种形式的数据源中的内容抽取工作[^2]。对于希望从不同类型的文件或者在线资源里高效获取有用资料的研究人员或是开发者来说非常实用。 #### 获取途径 - **官方网站**: 可访问[MinerU官网](https://mineru.net/)了解更多信息并下载软件。 - **GitHub仓库**: [MinerU GitHub页面](https://github.com/opendatalab/MinerU)提供了完整的项目代码和开发文档,方便有兴趣深入了解或参与到这个项目的个人查阅。 - **线上演示环境**: 如果想要先体验一下MinerU的功能而不必立即安装本地版本,则可以尝试进入[线上Demo入口](https://mineru.net/OpenSourceTools/Extractor)[^1]。 #### Docker启动指南 为了便于部署和服务运行,在Docker容器中启动MinerU服务的方法如下所示: ```bash docker run -itd --name=mineru_server --gpus=all -p 8888:8000 quincyqiang/mineru:0.2-models ``` 这条命令会创建一个新的名为`mineru_server`的Docker实例,并将其内部端口映射到主机上的指定端口(这里默认为8888),同时分配所有的GPU给此容器使用以便加速某些计算密集型任务。需要注意的是,这里的端口号可以根据实际情况灵活调整[^5]。 #### 功能特性概述 作为一款专注于提升用户体验的产品,MinerU不仅限于基本的文字识别与结构化转换能力;更重要的是其具备高度灵活性——由于采用了开放源码的形式发布,任何人均可根据特定应用场景的需求对其进行个性化修改和发展,从而更好地服务于不同的业务流程。此外,这种模式也鼓励了更多人的加入和技术交流活动的发生,共同推动着整个生态系统的进步与发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值