花了50 美元，测试大模型大海捞针能力，Qwen3_14B太惊艳了

于 2025-06-26 15:39:27 发布
阅读量973 收藏 11
点赞数 20
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jpld/article/details/148926709

大家好，我是Ai学习的老章

Reddit看到一个帖子：104个量化模型在大海捞针测试中的表现

作者在 H·G·威尔斯的《时间机器》中插入了几段荒谬对话，测试文本长达 1 万词元（约覆盖小说前 5 章内容），并附带简短系统提示要求大模型定位这些荒谬对话并复述。

选择的模型都是可以在 32GB 显存GPU可运行的量化模型

评分标准：所有模型在每个温度值下都进行了多次测试（例如在 0.0、0.1、0.2、0.3 等温度下分别进行多次测试），这些结果被汇总为最终得分。

"得分"列表示 LLM 成功解决提示的测试百分比（即正确返回异常行的情况）。

所有测试的上下文长度均设置为 16k——这是为了平衡模型在实际使用中在这个上下文范围内的表现，并为列表中的思维模型提供足够的推理空间。

测试结果

Model量化方式实验依据得分
Meta Llama 系列
Llama_3.2_3Biq40
Llama_3.2_3Bq50
Llama_3.2_3Bq6 量化0
Llama_3.1_8B_Instructiq443
Llama_3.1_8B_Instructq513
Llama_3.1_8B_Instructq6 量化10
Llama_3.3_70B_Instructiq113
Llama_3.3_70B_Instructiq2100
Llama_3.3_70B_Instructiq3100
Llama_4_Scout_17Biq193
Llama_4_Scout_17Biq213
英伟达 Nemotron 系列
Llama_3.1_Nemotron_8B_UltraLongiq460
Llama_3.1_Nemotron_8B_UltraLongq567
Llama_3.3_Nemotron_Super_49Biq2无思93
Llama_3.3_Nemotron_Super_49Biq2思考80
Llama_3.3_Nemotron_Super_49Biq3思考100
Llama_3.3_Nemotron_Super_49Biq3无思93
Llama_3.3_Nemotron_Super_49Biq4思考97
Llama_3.3_Nemotron_Super_49Biq4无思93
Mistral 家族
Mistral_Small_24B_2503iq450
Mistral_Small_24B_2503q583
Mistral_Small_24B_2503q6 量化77
微软 Phi 系列
Phi_4iq37
Phi_4iq47
Phi_4q520
Phi_4q6 量化13
阿里巴巴通义千问系列
Qwen2.5_14B_Instructiq493
Qwen2.5_14B_Instructq597
Qwen2.5_14B_Instructq6 量化97
Qwen2.5_Coder_32Biq40
Qwen2.5_Coder_32B_Instructq50
QwQ_32Biq257
QwQ_32Biq3100
QwQ_32Biq467
QwQ_32Bq583
QwQ_32Bq6 量化87
Qwen3_14Biq3思考77
Qwen3_14Biq3无思60
Qwen3_14Biq4思考77
Qwen3_14Biq4无思100
Qwen3_14Bq5无思97
Qwen3_14Bq5思考77
Qwen3_14Bq6 量化无思100
Qwen3_14Bq6 量化思考77
Qwen3_30B_A3Biq3思考7
Qwen3_30B_A3Biq3无思0
Qwen3_30B_A3Biq4思考60
Qwen3_30B_A3Biq4无思47
Qwen3_30B_A3Bq5无思37
Qwen3_30B_A3Bq5思考40
Qwen3_30B_A3Bq6 量化思考53
Qwen3_30B_A3Bq6 量化无思20
Qwen3_30B_A6B_16_Extremeq4无思0
Qwen3_30B_A6B_16_Extremeq4思考3
Qwen3_30B_A6B_16_Extremeq5思考63
Qwen3_30B_A6B_16_Extremeq5无思20
Qwen3_32Biq3思考63
Qwen3_32Biq3无思60
Qwen3_32Biq4无思93
Qwen3_32Biq4思考80
Qwen3_32Bq5思考80
Qwen3_32Bq5无思87
Google Gemma 家族
Gemma_3_12B_ITiq40
Gemma_3_12B_ITq50
Gemma_3_12B_ITq6 量化0
Gemma_3_27B_ITiq43
Gemma_3_27B_ITq50
Gemma_3_27B_ITq6 量化0
深度求索（蒸馏版）系列
DeepSeek_R1_Qwen3_8Biq417
DeepSeek_R1_Qwen3_8Bq50
DeepSeek_R1_Qwen3_8Bq6 量化0
深度求索 R1 蒸馏版千问 32Biq437
深度求索 R1 蒸馏版千问 32Bq520
深度求索 R1 蒸馏版千问 32Bq6 量化30
其他
Cogito_v1_Preview__Qwen_14B_iq33
Cogito_v1_Preview__Qwen_14B_iq413
Cogito_v1_Preview__Qwen_14B_q53
DeepHermes_3_Mistral_24B_Previewiq4无思3
DeepHermes_3_Mistral_24B_Previewiq4思考7
DeepHermes_3_Mistral_24B_Previewq5思考37
DeepHermes_3_Mistral_24B_Previewq5无思0
DeepHermes_3_Mistral_24B_Previewq6 量化思考30
DeepHermes_3_Mistral_24B_Previewq6 量化无思3
GLM_4_32Biq410
GLM_4_32Bq517
GLM_4_32Bq6 量化16

结论

原作提到，这个测试方法并非完全科学严谨，但最终结果何其实际感受还是相符的：

  • Gemma3 27B 在某些场景表现惊艳，但遇到大上下文时性能简直断崖式下跌！
  • Qwen3-32B 非常出色，但面对大上下文时总会过度思考。使用"/nothink"指令略有改善，在实际测试中我通常都会加上这个指令——除非具体用例确实需要高级推理能力
  • 即便 Llama 3.3 70B 受限于 32GB 显存只能运行更低精度的量化版本，其表现依然极具竞争力。我认为 Qwen3-32B 的用户值得将它重新纳入实验对比——尽管这个模型相对较老。
  • 在量化权重时确实存在一个"断崖式下跌"的临界点，但这个临界点在不同模型间差异巨大
  • 英伟达 Nemotron Super 49B 量化模型表现极为出色，在处理类似的大上下文任务时尤为聪明。与 Llama 3.3 70B 类似，建议在某些工作流中尝试使用
  • Nemotron UltraLong 8B 实际表现优异——在长上下文场景中稳定超越本就不俗的 Llama 3.1 8B
  • QwQ 模型的表现远超其参数规模，但推理所需的大量 token 让我更倾向于选择榜单上的其他模型
  • Qwen3-14B 堪称同量级中的冠军选手

制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个🌟，谢谢你看我的文章，我们下篇再见！

搭建完美的写作环境：工具篇（12 章）
图解机器学习 - 中文版（72 张 PNG）
ChatGPT 、大模型系列研究报告（50 个 PDF）
108页PDF小册子：搭建机器学习开发环境及Python基础
116页PDF小册子：机器学习中的概率论、统计学、线性代数
史上最全！371张速查表，涵盖AI、ChatGPT、Python、R、深度学习、机器学习等

博客
局域网本地部署大模型ChatBot，支持新用户注册，多模型同时会话
07-01 813
大家好，我是 Ai 学习的老章
博客
刚刚，华为开源了2个盘古大模型，百度开源了23个ERNIE 4.5 大模型
06-30 1115
大家好，我是 Ai 学习的老章
博客
全新大模型开源，腾讯（int4能打DeepSeek） Vs 谷歌（2GB运行多模态）
06-29 765
大家好，我是 Ai 学习的老章
博客
阿里 Qwen3 模型更新，吉卜力风格get
06-28 941
大家好，我是Ai学习的老章
博客
测试了7个AI音乐工具，只有一个好用
06-25 256
大家好，我是 ai 学习的老章测试了7个AI音乐工具，简单写写不深入的使用体检。
博客
20GB 内存，本地运行 DeepSeek-R1-0528
06-25 778
DeepSeek-R1-0528 是 DeepSeek 推出的最新推理模型，参数规模高达 671 亿（671B），性能据称可媲美 OpenAI 的 o3 和 o4-mini-high。原始模型需要 715GB 存储空间，对硬件要求极高。通过 Unsloth 团队的动态量化技术（如 1.78-bit、2-bit 等），模型大小压缩至 168GB（约 80% 压缩），显著降低了运行门槛，使其可在消费级设备上运行。此外，
博客
本地部署大模型性能测试，DeepSeek-R1-0528-Qwen-8B 依然是我的不二之选
06-24 1069
大家好，我是 ai 学习的老章介绍一个大模型并发性能测试工具看一下我高频使用的，在显卡上部署的 性能如何_我_特别喜欢的三个DeepSeek版本DeepSeek-R1-0528 蒸馏 Qwen3:8B 大模型，双 4090 本地部署，深得我心项目地址：LLM-Benchmark 是一个专为大语言模型（LLM）设计的并发性能测试工具，旨在为模型开发者和运维人员提供自动化压力测试和性能报告生成能力。通过该工具，用户可以在不同并发场景下全面评估 LLM 服务的响应能力与稳定性，为模型部署和优化提供数据支持。主要
博客
kimi 开源
06-18 732
摘要：MiniMax开源456B参数的M1系列MoE大模型，支持100万token上下文。同时Kimi开源基于Qwen2.5的72B模型"Kimi-Dev-72B"，专为软件工程优化，在SWE-bench测试中以60.4%成绩刷新纪录。但实测效果被质疑不如DeepSeek-R1，存在多语言处理弱化、严重幻觉等问题。作者通过OpenRouter测试发现其中文回复效果较差，仅改变颜色而内容仍为英文。文章包含模型对比及测试方法，并提供相关技术资料链接。
博客
开源大模型, 重量级选手+1
06-17 841
MiniMax-M1大模型重磅开源：4560亿参数支持百万token上下文 摘要：国内AI公司MiniMax发布开源的MoE架构大模型MiniMax-M1，采用混合专家模型和闪电注意力机制，具备三大技术优势：高效计算、参数激活优化和线性扩展能力。该模型总参数达4560亿，原生支持100万token超长上下文输入和8万token输出，处理效率超过同类产品。性能测评显示，其在复杂推理、长文本处理和工具调用方面表现优异，数学推理成绩达96.8%。部署需要8块H800/H20 GPU服务器，模型文件达910GB。实
博客
我特别喜欢的三个DeepSeek版本
06-16 413
老章分享了三个高频使用的DeepSeek模型：1）DeepSeek-R1-0528-Qwen3-8B，低成本高性能，适合知识库相关任务；2）DeepSeek-R1-0528，性能强大的免费模型，常用于资料查询和代码编写；3）DeepSeek-V3-Fast，极速推理版本，适用于快速总结和翻译。文中还推荐了相关技术资料和工具，并邀请读者点赞关注。（148字）
博客
一个超强的推理增强大模型,开源了,本地部署
06-11 876
Mistral公司发布首款推理大模型Magistral及其自研强化学习流程。Magistral包含24B参数的开源版Small和企业版Medium，采用纯RL训练方法增强多步推理能力，在GPQA等专业测试中表现优异。该模型支持128k上下文，量化后可本地部署。官方提供了llama.cpp等量化版本，并建议特定参数设置以获得最佳性能。Magistral的设计理念强调透明推理流程和多语言适应性，但中文支持相对较弱。
博客
阿里牛逼，又开源两个遥遥领先的模型（向量化、重排），知识库要翻天地覆了
06-06 1030
阿里开源家族新增Qwen3-Embedding和Qwen3-Reranker两款模型，专为文本表征、检索和排序任务设计。Qwen3-Embedding提供0.6B、4B和8B三种参数版本，其中8B版在MTEB多语言排行榜位列第一，0.6B版模型文件仅1.2GB。Qwen3-Reranker同样提供三款参数版本，在多项检索任务中表现优异。两款模型均支持指令感知和119种语言，适用于知识库、RAG等场景。Qwen3-Reranker-0.6B已超越同类产品BGE-reranker-v2-m3。目前模型可通过Mo
博客
DeepSeek-R1蒸馏Qwen3-8B模型，双 4090本地部署，深得我心
06-05 1468
《DeepSeek-R1-0528-Qwen3-8B模型实测：2张4090部署，性能接近32B大模型》 文章介绍了DeepSeek最新开源的数学推理专用模型DeepSeek-R1-0528-Qwen3-8B，该模型通过思维链蒸馏技术训练，在AIME数学竞赛测试中86.0分，性能超越原版Qwen3-8B 10%，接近Qwen3-32B水平。作者使用2张4090显卡通过vLLM成功部署该16GB模型，推理速度达90 tokens/s（Qwen3-32B为40 tokens/s）。实测显示，该模型在自我介绍、代码
博客
用大模型，把论文吃干榨净！
06-04 649
大家好，我是 Ai 学习的老章大模型火热，各种论文满天飞我主要在 arxiv 看最新的 AI、大模型方面本号数次推荐过一些好用的读论文工具，有点散本文就做个总结——借助大模型，把论文精髓吃干榨净。
博客
一个超强的代码Agent大模型，开源了，本地部署
06-04 1026
大家好，我是 Ai 学习的老章。
博客
小米又开源了，一个多模态大模型，一个生不逢时的推理大模型
06-04 950
大家好，我是 Ai 学习的老章上月底，，它从零开始训练并专为推理任务设计的模型系列。通过优化的预训练和后训练策略，MiMo-7B 展现出了超越许多更大模型的推理潜力。昨天，小米又开源了 MiMo-VL-7B 系列多模态大模型、MiMo-7B-RL-0530 系列推理模型咱们挨个看一下情况。
博客
小米又开源了，一个多模态大模型 + 一个生不逢时的推理大模型
06-04 778
小米开源多模态大模型MiMo-VL-7B与推理模型MiMo-7B-RL-0530。MiMo-VL-7B支持文字、图像、视频输入，包含SFT和RL两个版本，在多项基准测试中表现优异，号称超越同参数开源模型。同时发布的MiMo-7B-RL-0530专注于数学和代码推理，支持SGLang和vLLM部署。文章对比了这些模型与阿里Qwen2.5-VL-7B和DeepSeek-R1-0528的性能，但指出缺乏详细部署文档和试用体验。文末附有技术报告PPT及相关资源链接。
博客
一个超强的代码Agent大模型，开源了，本地部署
06-04 883
大家好，我是 Ai 学习的老章。
博客
用大模型，把论文吃干榨净！
05-30 921
这篇文章总结了7款借助大模型高效阅读和处理AI论文的工具：1. Soarxiv可视化查找同类论文；2. MCP批量下载总结论文；3. 豆包插件实现网页端翻译总结；4. 沉浸式翻译提供双语对照阅读；5. AlphaXiv将论文转化为博客；6. Paper2Code自动生成论文代码；7. 论文转PPT工具生成专业演示文稿。这些工具涵盖了从论文检索、阅读理解到代码实现和展示的全流程，极大提升了研究效率。作者提供了详细的使用教程和工具链接，适合AI研究人员和开发者参考使用。
博客
DeepSeek R1 最新版本模型，排名第三，蒸馏的Qwen3深得我心
05-30 147
DeepSeek-R1-0528模型迎来升级，性能显著提升，在复杂推理任务上接近顶级模型水平。新版本在AIME测试中准确率提升至87.5%，同时优化了幻觉率、代码生成等功能。此外，DeepSeek还开源了小型模型DeepSeek-R1-0528-Qwen3-8B，通过蒸馏技术获得优秀表现。虽然部署成本较高，但该模型在AIME测试中超越原Qwen3-8B性能，值得期待。文章作者计划测试该模型性能，并分享了相关技术资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值