Qwen3最强攻略!4种姿势玩转最强开源模型!

最强开源模型Qwen3发布!你用上了吗?四种方法教你快速上手Qwen3

导读

本文主要内容

  1. Qwen3有啥模型?跟其他模型有啥区别?
  2. Ollama/HuggingFace安装和使用Qwen3的教程
  3. 硅基流动/无问芯穹,免费调用Qwen3的教程

📢 作为阿里巴巴开源新一代通义千问模型 Qwen3 (简称千问 3),性能全面超越 Deepseek-R1、豆包 1.5pro 等国内领先模型,并登顶全球最强开源模型!
(详见官网报道 https://qwenlm.github.io/zh/blog/qwen3/ )

🚀模型亮点

  1. Qwen 3 系列的所有模型,都是“混合推理模型”(能直接回答,也能先思考再回答)
  2. 支持119门语言和方言(Qwen2.5只支持 29 种语言)
  3. 支持 MCP 协议

啥是混合推理?简单来说,就是同时支持两种思考模式:

  1. 像DeepSeek-V3 一样:直接回答
  2. 像DeepSeek-R1一样:先思考,后回答


Qwen3 模型速览

模型家族展示图如下
b7dee77ab9e5cf37add17f948cd3665.jpg

从应用角度看,Qwen3提供了全谱系的选择:

  • Qwen3-0.6B:完美适合手机部署
  • Qwen3-4B、8B:适合个人PC使用
  • Qwen3-14B、32B:适合企业本地化部署
  • 更大的模型:适合云端部署使用

🔗 体验链接
通义网页:https://www.tongyi.com/
Qwen Chat:https://chat.qwen.ai
Qwen Chat界面

模型下载
Ollama:https://ollama.com/library/qwen3:8b
Hugging Face:https://huggingface.co/Qwen
ModelScope:https://www.modelscope.cn/models/Qwen
GitHub:https://github.com/QwenLM

百炼 API
https://bailian.console.aliyun.com/?tab=model#/efm/model_experience_center/text?currentTab=textChat&modelId=qwen3-235b-a22b
📢百炼已经提供Qwen3 API服务,8+2个模型,每个模型100万免费tokens!赶紧领取!

下面是使用Qwen3的四种方法,按需跳转。


Ollama安装Qwen3

Qwen3发布后,Ollama第一时间支持了本地部署,8B的模型仅需5.2G空间就能运行。这意味着,普通笔记本电脑也能轻松驾驭强大的AI能力,实现随时随地的AI自由!

Ollama官网 下载安装包

安装命令 ollama run <模型名称>,如

ollama run qwen3:8b

测试对话

CherryStudio 快速使用 本地的qwen3

测试对话


在提示词中输入“请不要思考”,可关闭思考模式!

ollama下载问题

The model you are attempting to pull requires a newer version of Ollama.

解决方案:升级Ollama

HuggingFace安装Qwen3

安装 huggingface 命令

pip install -U huggingface_hub

测试对话

先安装python包

pip install transformers accelerate

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

粘贴如下代码

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained("./models/Qwen/Qwen3-8B", trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    "./models/Qwen/Qwen3-8B",
    trust_remote_code=True,
    device_map="auto"  # device_map="cpu" #可明确指定使用 CPU
)

# prepare the model input
prompt = "Strawberry单词中有多少个r?"
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt")  # 移除 .to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.1
)

response = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
print("回复:", response)

免费调用Qwen3

标准三步走

  1. 官网选模型硅基流动/无问芯穹)如:Qwen/Qwen3-235B-A22B
  2. 创建API-KEY
  3. 在代码中调用Qwen3

硅基流动调用Qwen3示例

官网注册链接 https://cloud.siliconflow.cn/i/xJvN9Ecu
手机号码注册,薅 2000 万 Tokens

import requests

url = "https://api.siliconflow.cn/v1/chat/completions"

payload = {
    "model": "Qwen/Qwen3-235B-A22B", # 你选的模型
    "messages": [
        {
            "role": "user",		# 你扮演的角色是用户
            "content": "把大象装进冰箱分成几步"	# 你跟大模型对话的内容
        }
    ]
}
headers = {
    "Authorization": "Bearer sk-xxxxxx",	# 替换为你的Api-key
    "Content-Type": "application/json"
}

response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

回复如下

这是一个经典的脑筋急转弯问题,幽默的答案通常是:
分三步

  1. 打开冰箱门
  2. 把大象放进去
  3. 关上冰箱门

无问芯穹调用Qwen3示例

官网注册链接 https://cloud.infini-ai.com/platform/ai
手机号码注册,邀请即可免费在线体验或API调用,薅 无限 Tokens

import requests
url = "https://cloud.infini-ai.com/maas/v1/chat/completions"
payload = {
	"model": "qwen3-235b-a22b",
	"messages": [
		{
			"role": "user",
			"content": "9.11 和 9.8 谁大?"
		}
		]
	}

headers = {
	"Content-Type": "application/json",
	"Accept": "application/json, text/event-stream, */*",
	"Authorization": "Bearer sk-xxxxxx"
}

response = requests.post(url, json=payload, headers=headers)
print(response.json())

回复如下

在比较9.11和9.8的大小时,可以按照以下步骤进行:

  1. 比较整数部分: 两数的整数部分均为 9,因此需要进一步比较小数部分。
  2. 统一小数位数: 将9.8补零为 9.80(与9.11同为两位小数),方便逐位对比。
  3. 比较小数部分十分位:9.80的8 > 9.11的1,因此无需继续比较百分位。

结论:9.80 > 9.11
最终答案9.8 更大

因为虽然9.11的小数部分有两位数字,但小数比较时从高位到低位逐位进行,9.8的十分位(8)大于9.11的十分位(1),所以9.8 > 9.11。
常见误区
不要误以为小数点后数字位数多或数字本身(如“11”比“8”大)就代表数值更大,小数的大小取决于每一位的数值权重(十分位 > 百分位 > 千分位…)。


以上,是使用Qwen3的四种方法,实践出真知,与君共勉。

<think>好的,我现在需要帮助用户了解如何使用Qwen3模型搭建本地知识库。根据用户提供的引用内容,之前他们部署了Qwen2.5模型,现在想升级到Qwen3。我需要结合之前的回答和引用中的信息,给出一个清晰的步骤指南。 首先,用户提到了Ollama和Dify的部署,所以可能需要在教程中包含这些工具的使用。用户之前部署了Qwen2.5,现在转向Qwen3,我需要确认Qwen3是否支持类似的部署方法,或者是否需要额外的步骤。 接下来,用户提到要结合本地知识库作为Dify的上下文,这意味着需要将知识库集成到Dify中,可能涉及文档加载、向量化存储和检索增强生成(RAG)的应用。这部分需要详细说明如何处理知识库文件,如何配置Dify来使用这些数据。 另外,用户提供的引用中有关于资料领取的部分,但根据系统指令,应避免无关推广,所以需要忽略这部分内容,专注于技术步骤。 还需要考虑用户可能的痛点,比如环境配置、模型下载、知识库格式要求等。需要分步骤解释,确保用户能逐步操作,同时注意技术细节的正确性,比如正确的Ollama命令、Dify的配置参数等。 最后,生成相关问题时要围绕搭建过程中的常见问题、优化方法和应用场景展开,帮助用户进一步探索。</think>### 使用Qwen3模型搭建本地知识库的详细教程 #### 一、环境准备与模型部署 1. **私有化部署Qwen3模型** 使用Ollama工具部署Qwen3模型(7B或更高参数版本): ```bash # 拉取Qwen3模型(假设已支持) ollama pull qwen3:7b # 启动模型服务 ollama serve ``` 若官方未直接支持,可手动构建`Modelfile`: ```dockerfile FROM qwen/qwen3:7b PARAMETER temperature 0.7 SYSTEM "你是一个专业的知识库问答助手" ``` 2. **验证模型可用性** 通过CURL测试API接口: ```bash curl http://localhost:11434/api/generate -d &#39;{ "model": "qwen3:7b", "prompt": "量子力学三大基本原理是什么?" }&#39; ``` #### 二、知识库构建与处理 1. **文档格式规范** - 支持格式:PDF/TXT/MarkDown/HTML - 推荐预处理:使用Python库清洗文本 ```python from bs4 import BeautifulSoup def clean_html(raw_html): soup = BeautifulSoup(raw_html, "html.parser") return soup.get_text() ``` 2. **向量化存储** 使用LangChain构建向量数据库: ```python from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh") documents = [...] # 预处理后的文档列表 vector_db = FAISS.from_documents(documents, embeddings) vector_db.save_local("my_knowledge_base") ``` #### 三、Dify平台集成(社区版) 1. **部署Dify服务** ```bash git clone https://github.com/langgenius/dify cd dify/docker docker-compose up -d ``` 2. **配置知识库连接** 在Dify控制台: - 新建应用 → 选择「知识库问答」 - 上传预处理文档或连接现有向量库 - 设置检索参数: ```yaml retriever: search_type: "similarity" k: 5 score_threshold: 0.7 ``` 3. **RAG流程配置** ```python # 自定义处理链示例 from langchain_core.runnables import RunnablePassthrough retriever = vector_db.as_retriever() qa_chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt_template | llm | output_parser ) ``` #### 四、效果优化技巧 1. **混合检索策略** 结合关键词搜索与向量检索: ```python from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(docs) ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vector_retriever], weights=[0.4, 0.6] ) ``` 2. **查询扩展** 使用Query2Doc技术增强检索: ```python from transformers import pipeline expander = pipeline("text-generation", model="Qwen/Qwen1.5-7B") expanded_query = expander(f"生成与&#39;{query}&#39;相关的三个扩展问题") ``` #### 五、监控与维护 1. **日志分析配置** ```bash # 查看Dify请求日志 docker logs -f dify-api ``` 2. **知识库更新机制** ```python # 增量更新脚本示例 def update_knowledge(new_docs): global vector_db vector_db.add_documents(new_docs) vector_db.save_local("my_knowledge_base") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

华尔街的幻觉

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值