ollama修改模型问答的上下文长度（num_ctx）

已于 2025-06-15 14:53:51 修改
阅读量1.2w 收藏 25
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 大模型应用与实战 文章标签： ollama 大模型 上下文 Langchain
于 2024-08-01 14:41:32 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.csdn.net/jining11/article/details/140846446

在大语言模型应用落地的过程中，上下文长度一直是困扰开发者的关键瓶颈之一。特别是对于Ollama这样的本地部署方案，默认的2048上下文窗口大小常常无法满足我们处理长文本的需求。本文将深入探讨如何突破Ollama的上下文限制，从默认的2048扩展到32k甚至更高，让你的本地大模型真正发挥出"大"的威力。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

问题背景：这个2048到底卡住了谁的脖子？

当大模型遇上小水管

在使用ollama做大模型问答时，相信不少朋友都遇到过这样的尴尬场景：当你信心满满地输入一篇万字长文要求总结时，模型突然化身复读机：“抱歉，这个问题超出了我的处理能力”。这种时候请先别怀疑自己的姿势水平，问题很可能出在ollama那个丧心病狂的默认参数设定上！

num_ctx参数的前世今生

这个罪魁祸首

了解本专栏 订阅专栏 解锁全文 超级会员免费看
调用Ollama API的时候怎么指定输入长度（上下文长度）
qysh123的专栏
08-15 4893
这样就指定了上下文长度为8192。
使用Ollama配置本地微调的gguf模型文件
weixin_43217276的博客
07-30 3649
在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。
ollama 安装大模型 上下文2048限制修改
qq_29213799的博客
03-18 2089
ollama 修改默认上下文2048限制
Ollama 上下文限2048的解决方案
u013220851的博客
01-12 7818
ollama默认限制上下文的长度是2048，如果我们用ollama作为知识库基准模型，上下文超过2048直接会被阻断，提出内容不会根据上下文来回答官方提出一个解决方案那就是通过设置num_ctx的大小来设置上下文，但是如果把会话改成ollama支持的openAI的方式这个属性就无效了经过本人的测试默认qwen2.5:14b-instruct-q8_0占用17g的显存也就是限制上下文2048，但是如果改成8192显存会直接飙升到30g左右，所以要慎重更改。
Ollama（1）知识点配置篇
最新发布
05-30 737
本文介绍了Ollama模型的安装后配置方法。主要内容包括：1.修改模型下载路径（MacOS/Linux/Windows默认路径及Linux路径修改流程）；2.配置访问权限（如何开放远程访问和防火墙设置）；3.常用命令汇总（serve/create/run/pull等）。重点详细说明了Linux环境下修改模型存储路径的完整步骤，包括停止服务、创建目录、修改配置文件等操作，以及如何通过修改OLLAMA_HOST实现远程访问。
Ollama自定义模型备忘
大数据，大模型，服务器，技术、架构，方案
11-14 1746
服务，第一种对于调用 chat api 可以直接通过 api 调用参数传递，对于兼容 openai 模式的暂时就不行了（官方说是不兼容，实际上目前 openai 的 api 可以进行一些额外参数的传递，只要兼容也可以解决）。FlashAttention 是一种优化的注意力机制，用于加速深度学习模型中常见的自注意力计算，尤其是在 Transformer 架构中。之后需要使用创建出来的新模型。目前基本分类两种方法，一种是临时的，机制上还有一些差异，因为 ollama 内部实际也是拉起的。
通过环境变量定制ollama上下文长度
lilihli的专栏
03-08 1200
环境变量设置默认上下文长度。版本开始可以使用新的。
ollama修改模型参数 num_ctx【Linux】
YiHanXii的博客
10-23 7248
进入 nano 之后，你可以直接编辑文件内容，完成后按。此时目录下多了一个Modelfile文件。这个是我Modelfile文件的路径。可以查看新模型的参数。进入插入模式进行编辑。进入 vim 后，按。
设置ollama大模型增加上下文！释放模型的全部潜力。
weixin_61263533的博客
03-12 842
还在嫌弃你的大模型记忆力差？进来看看大妈都会改！
Ollama 高阶配置，如何增加上下文窗口大小？
m0_59235945的博客
09-04 1万+
使用Ollama部署大模型的时候，有几个注意事项要注意。Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。我们先看一下Ollama可配置环境变量：OLLAMA_DEBUG: 显示额外的调试信息（例如：OLLAMA_DEBUG=1）。OLLAMA_HOST: Ollama 服务器的 IP 地址（默认值：127.0.0.1:11434）。OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的时长（默认值：“5m”）。
使用ollama创建长上下文的LLM
大数据，大模型，服务器，技术、架构，方案
11-15 2847
模板部分定义了如何根据不同的输入格式化输出。系统消息和工具定义...{{- end }}如果存在系统消息或工具定义，则这部分会被包含在内。系统消息通常用于给模型提供背景信息或指示其行为方式。工具定义则允许模型调用外部函数或服务。消息循环...{{- end }}遍历所有消息，根据消息的角色（用户、助手或工具）来决定如何格式化输出。SystemLicensesuccess一般而言，对于英语文本，1个token大约是3~4个字符；而对于中文文本，则大约是1.5~1.8个汉字。
Ollama命令
2301_78554215的博客
11-05 2986
LobeChat可以让企业快速搭建私有对话模型解决数据泄密等安全问题，MaxKB可以把企业内部信息融入到大模型中，解决私有域数据不能被访问的问题。而Continue，则是面向企业内部程序员的，用于帮助程序员开始生成代码、代码排错的，与通义灵码类似，但相比通义灵码，企业结合Continue+Ollama可以更好的避免内部价值代码的安全，不被传输到外网。较高的值（例如100）将给出更多样化的答案，而较低的值（例如10）将更加保守。/save存储模型(可以把当前对话模型存储成一个新的模型)/bye退出对话模型。
ollama修改模型上下文长度
02-09
对于希望调整Ollama模型处理输入文本时所允许的最大上下文长度的情况，可以通过修改`num_ctx`参数来实现这一点[^3]。此操作能够有效解决因输入问题过长而导致模型无法正常响应的问题。 #### 方法一：通过配置文件...
ollama设置大模型的上下文长度
03-20
好的，我现在需要帮助用户解决如何在Ollama中设置大模型的上下文长度的问题。首先，我需要回忆Ollama的相关文档和使用方法。Ollama是一个本地运行大模型的工具，通常通过命令行配置。 用户的问题涉及到上下文长度的...
ollama run deepseek 改上下文长度
03-14
好的，用户想在使用Ollama运行DeepSeek模型时修改上下文长度。我需要先回忆一下Ollama的相关配置和API文档。 首先，根据引用[3]，Ollama的API文档提到了如何指定输入参数，可能包括上下文长度。用户可能需要通过API...
ollama + langchain + FAISS 向量数据库，给定知识上下文的问答
TuringEvo专栏
03-31 2984
3 基于上面查询提供语言模型 promt。1 把给定的文档向量化存储为数据库。基于 langchain 框架。4 语言模型生成答案。
ollama遇到的问题
前沿技术分享，人工智能、大模型技术分享，日常问题记录
02-11 776
ollama部署相关问题
Ollama全面指南：安装、使用与高级定制
热门推荐
全世界的博客
05-30 14万+
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。Ollama提供了一个直观且用户友好的平台，用于在本地环境中运行大型语言模型。启动Ollama服务：首先，确保Ollama服务已经安装并运行。在命令行中输入以启动服务。选择模型：使用命令查看可用的模型列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值