- 博客(16)
- 收藏
- 关注
RSS订阅原创 Ollama和vLLM
Ollama是一个强大的大模型部署框架，简化了在本地服务器上下载、运行和管理大模型的整个过程。Ollama只需要适用一行代码就可以运行一个当下主流的大模型。GGUF是一种量化方法，它能够混合GPU和CPU执行大语言模型，优化内存存储和推理速度，它是Ollama支持的模型运行的唯一格式。该格式支持各种量化类型（Int4、Int8、Float8），同时保证模型的质量。同样也可以使用自己的GGUF文件，通过编写配置ModelFile文件的格式添加一个自有大模型#添加本地模型权重。
2025-07-18 10:15:44
752
原创 vLLM在Ascend上的适配解析
通过图片可以看到，vllm-ascend plugin使Ascend社区开发的能够让大模型推理框架vLLM无缝运行在华为NPU上的硬件后端插件。Plugin方法优点类似于面向对象思想当中的继承和多态，官方考虑通用性和定义框架标准（父类），由Ascend通过继承PlatForm，自己实现Worker、ModelRunner、AttentionBackend等子类。Ascend通过优化，将vLLM的核心计算图对接到了自己的CANN算子库上。
2025-07-17 17:01:59
992
原创 当前主流大模型开发框架技术调研
查询引擎、聊天引擎和Agent通常都是使用RAG来完成它们的任务，在RAG中数据会被加载等待检索或者是构建索引，索引将被用来构建最相关的上下文，然后上下文和用户输入的Query被用来构建Prompt并输入到LLM当中，最后得到模型的响应RAG严格划分可以划分为五个阶段：加载、索引、存储、查询和评估。
2025-07-15 16:08:24
792
原创 关于Pytorch在Ascend显卡上训练推理技术方案调研
Ascend910B主要有32G和64G显存两个版本使用的是torch-npu版本，不是torch官方给开放的开发者接口前置步骤安装环境最好使用Docker环境镜像直接安装。
2025-07-14 10:56:53
829
原创 [2022-KDD] Towards Universal Sequence Representation Learning for Recommender Systems
论文粗读
2022-11-15 10:57:29
805
原创 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
粗读论文，了解原理
2022-11-14 15:02:58
476
原创 【MarkDown】语法
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-06-23 21:23:25
101
原创 【python自学】python自学资源汇总
python作为一门语法简要、第三方库功能强大的编程语言，正在变得越来越流行，最近更是达到了编程语言排行榜第一的位置（可能是非官方野榜，hhh），以HelloGithub网址上的排行榜为例，下面的图是截止到2022年5月各编程语言的走势图。尽管该数据的权威性有待于进一步考量，不过不难看出python语言正变得越来越流行。博主最近也是闲的无事，将自己近期直接的零碎学习资源做一个简单的总结，后续会持续更新python语言有意思的语法以及机器学习相关的内容。作为一名python小白，从初学者到独自编写算法，这
2022-06-20 17:42:29
308
1
原创 Linux命令速查表
1.文件指令ls #列出目录ls -al #使用格式化列出隐藏文件cd dir #更改目录到dircd #更改到home目录pwd #显示当前目录mkdir dir #创建目录dirrm file #删除filerm -r dir #删除目录dirrm -f file #强制删除filerm -rf dir #强制删除dircp file1 file2 #将file1复制到file2cp -r dir1 dir2 #将dir1复制到dir2上，如果dir2不存在就创建它mv fil
2022-04-06 18:03:47
1055
原创 颜色空间内容讲解与图像分割应用
一、颜色空间讲解颜色空间也称彩色模型，在计算机视觉的角度来看就是组成一张图片的多组RGB所构成的一个数据集，通过对特定范围内的色域进行筛选就可以实现图像分割。那么如何进行筛选呢，这时候需要先介绍几组颜色空间的类别。1.RGB颜色空间RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。但在科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。自然环境下获取的图像容易受自然光照、遮挡和阴影等情况的影响，即对亮度比较敏感。而
2022-04-03 18:06:00
4625
原创 【无标题】python import小坑提醒
python import详解1.import定义import 是用来导入python项目需要的包或函数，包来源有两种一种是自己编写的包，还有就是官方提供的第三方包。import的用法主要有两种，第一种是直接import 第二种是from 文件 import 包2.导入第三方包这里推荐在自己的项目下创建按虚拟环境，如何在terminal上输入pip install 包名，具体如何创建虚拟环境可以查看我之前的文章，...
2022-04-02 15:57:04
532
原创 【无标题】python开源项目虚拟环境管理
python开源项目包的配置首先在clone下来的项目的目录下输入cmd，进入到项目目录下，输入python -v查看python版本，推荐版本python3.6，输入pip -v获取pip版本，pip版本要与python版本对应。一、创建项目的虚拟环境python -m venv venv3.6venv3.6是虚拟环境的名字二、进入虚拟环境输入 cd Scripts然后写入activate.dat进入到虚拟环境中三、导包输入pip install -r requirements.t
2022-04-02 00:44:07
212
原创 conda添加源
conda切换镜像源一、查看自己的conda配置conda config --show可以看到自己的默认镜像源，现在添加tuna的清华源二、添加conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda c
2022-04-01 21:57:27
4284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人