本地安装mineru的API服务,是为了可以自行调用mineru完成文件的内容获取。
下面是Window系统的操作,linux类似。
mineru官方文档地址:
1.下载minerU的源码
下载地址:
https://github.com/opendatalab/mineru
下载后,解压,然后进入到文件夹里面
在这个路径下面,打开cmd。
2.创建conda环境,防止版本冲突。
需要先安装conda,安装的方法查阅相关资料。
conda 安装完成后,创建conda环境,
conda create -n mineru_new python=3.10
环境名:mineru_new,python版本为3.10
等待创建完成,然后进入到刚才创建的环境里面,进行相关操作。
执行下面命令,激活名称为mineru_new的环境
conda activate mineru_new
3.安装基础依赖
pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple
执行语句报错了,然后根据提示,执行提示建议的命令,然后执行成功了。
4.安装mineru
执行下面命令进行安装
pip install -e .[core] -i https://mirrors.huaweicloud.com/repository/pypi/simple
等待执行完毕。
5.启动mineru的API服务
mineru-api --host 0.0.0.0 --port 8000 --source modelscope
--source modelscope 表示从国内的魔塔社区加载需要的模型
如果要用到GPU资源,启动命令为:
mineru-api --host 0.0.0.0 --port 8000 --device cuda --source modelscope
根据mineru的代码逻辑看,如果要用GPU,它是根据torch去做判断是否使用,所以还需要安装torch。安装命令:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
注意这个要看电脑上cuda的版本,上面的命令是安装11.8版本对应torch。
6.访问API
在浏览器中访问 http://127.0.0.1:8000/docs 查看API文档。
点击尝试,可以直接调用api
第一次访问,会自动去huggingface上面拉取大模型,这个过程需要有科学上网,不然会失败,如果有了科学上网,也失败了,那就多次上传文件,让它多次尝试去下载模型。我通过这种方式把模型下载到本地了。
等模型下载完成后,再次上传图片,就可以看到命令窗口输出的执行过程。
未使用GPU加速的输出:
使用GPU加速的输出:
页面上也可以看到请求的结果,正确把图片内容解析出来了。
以上方式,只是部署mineru的API的一种方式,还有通过docker进行部署。查看官方文档进行操作。